Вирішення машинного перекладу, крок за кроком

У дитинстві я думав, що виросту математиком чи фізиком. Я дуже рано зрозумів, що хочу вчитися та досліджувати, або навіть стати вчителем, у одній із цих галузей. Я не знав, що таке ШІ. Фактично, протягом перших років навчання на факультеті інформатики я часто відчував, що мені варто перейти на математику. Я радий, що не зробив.

Але моя бабуся не дуже розуміє, у чому полягає моя робота, тому що для цього потрібно використовувати Інтернет. Якщо ви цього не зробите, а я кажу вам, що ми в Unbabel змушуємо комп’ютери автоматично виконувати людські дії, ви б, мабуть, просто сиділи й тупо дивилися на мене.

У певному сенсі я не опинився в зовсім іншому місці, ніж я собі уявляв у дитинстві. Я маю на увазі, що вся ця галузь машинного перекладу почалася з Воррена Вівера після Другої світової війни, після того, як Аллен Тьюрінг, математик, зламав код Enigma.

Ідея полягає в тому, що ми можемо розглядати мову як код. Відмінність полягає в тому, що коди формальні, однозначні; і що робить переклад таким важким, так це саме двозначність.

Стан машинного перекладу

Деякі люди мають певні знання про те, що робить Unbabel: ми перекладаємо текст певною мовою на іншу мову. Але інші навіть не знають, що таке штучний інтелект. Дехто міг би подумати, що все, що робить штучний інтелект, це «роботи», але це не те. Те, що штучний інтелект робить, певним чином імітує людську поведінку, а в деяких речах навіть краще за людей на нього.

Почнемо з основ: що роблять системи машинного навчання? Ви представляєте їм вихідний об’єкт, у цьому випадку речення, і просите їх передбачити щось, цільове речення.

Складність перекладу полягає в тому, що золотого стандарту немає. Золотий стандарт означає справжню правду. Якщо ви намагаєтеся змусити машину розпізнавати зображення, запитуючи «це кіт чи собака?», то є золота істина, оскільки конкретне зображення буде одним або іншим. У машинному перекладі цього не існує, тому що ви можете мати 20 різних перекладів, які однаково хороші. Це набагато складніша проблема для початку. Що є хорошим перекладом, а що ні? Існує також той факт, що мова дуже неоднозначна. Слова можуть означати дуже різні речі в різних контекстах. І тому проблема з перекладом значною мірою не вирішена.

Якщо ви подивитеся глибше на машинний переклад, то побачите, що він не кращий, ніж кілька років тому, незважаючи на те, що думає більшість людей. Попередні результати систем статистичного машинного перекладу здавалися дуже неприродними або роботизованими. Сьогодні вони можуть звучати більш вільно, але вони менш адекватні, ніж попередні, які зазвичай мали правильний зміст, хоча його було важче зрозуміти. Сучасні машинні переклади можуть мати катастрофічний провал щодо змісту, але все одно звучать вільно. Загалом, це краща система.

Машинний переклад дійшов до того моменту, коли можна принаймні зрозуміти суть тексту. Він стає більш вільним, незважаючи на те, що моделі все ще дуже базові та мають слабке знання мови. Вони все ще працюють здебільшого над реченням на рівні речення. Тож кожен, хто вважає, що машинний переклад вирішений, явно не використовував його.

Для Unbabel як компанії, яка продає свої багатомовні рішення підтримки для великих компаній, які щодня взаємодіють із тисячами або мільйонами клієнтів, це створює проблему, тому що найчастіше, коли ви згадуєте машинний переклад, люди відразу думають про помилки, які він робить. Ви не можете просто вигадувати історії, щоб здавалося, що машинний переклад ідеальний, на даний момент він є таким. Це все ще вимагає людини в циклі, щоб надати йому ще трохи якості.

У чаті, наприклад, є людина, яка насправді розмовляє з іншою людиною, а це означає, що ви можете відновити помилки набагато швидше. Якщо ви скажете щось, що не має сенсу, людина на іншому кінці може сказати «що? Я не зрозумів», а потім ви повторите переклад.

По суті, це означає, що ви самі оцінюєте якість, тому що, зрештою, вам потрібен діалог, який працює.

Важливість оцінки якості

Оцінка якості — те, що ми використовуємо для оцінки якості системи перекладу без доступу до еталонних перекладів або втручання людини — це секрет машинного перекладу. Фактично, деякі люди стверджували, що це може вирішити проблему «який правильний переклад?», тому що зараз у нас є система, яка оцінює, наскільки хороший чи поганий переклад. Це не обов’язково означає переклад правильний, але це так a правильний переклад.

Але оцінка якості страждає від тих самих труднощів, що й машинний переклад, а це означає, що ви можете очікувати від нього такого ж рівня точності. Найбільша проблема з машинним перекладом полягає в тому, що він завжди містить помилки, оскільки мову дуже важко зрозуміти. Або через моделі, які надто прості через обчислювальну потужність, або через те, що будь-яка система машинного навчання допускатиме помилки, найкращі акції становлять приблизно 90 з чимось відсотків. Це може здатися чималим, але якщо ви подумаєте, це означає, що кожне десяте речення буде неправильним.

Оцінка якості намагається передбачити ці неправильні речення або принаймні намагається оцінити, чи є помилка критичною чи ні. По суті, це дозволить нам використовувати машинний переклад із набагато вищим ступенем впевненості.

У Unbabel ми приділяємо багато часу вирішенню проблеми оцінки якості. Основна команда штучного інтелекту — це та, яка здебільшого зосереджена на цьому, відкриваючи нові моделі. Крім того, потрібно багато роботи з прикладного штучного інтелекту та виробництва, щоб відповісти на такі запитання, як:

• Як це відбувається в конвеєрі?
• Чи масштабується він? Чи потрібно змінити ціль?
• Як це працює з нашими практичними даними?
• Як ви адаптуєте ці моделі?

Оскільки фундаментальний штучний інтелект працює здебільшого на загальних даних домену, прикладний штучний інтелект має підібрати їх і переконатися, що він працює в нашій реальності чату чи квитків, незалежно від того, працює він із диференційованими тонами чи ні. Є дослідження, а потім – втілення результатів у продукт.

Ми твердо віримо в наші системи оцінки якості. Ми також віримо у відтворювані та спільні дослідження, тому кілька місяців тому ми створили Open Kiwi — фреймворк із відкритим кодом, який реалізує найкращі системи оцінки якості, що робить дуже легким експериментувати та повторювати ці моделі в одній структурі, а також розробляти нові моделі.

Ми, напевно, були однією з перших компаній, яка почала використовувати оцінку якості у виробництві, і ми проводили дослідження на цю тему дуже довго. Це означає, що ми маємо кращі моделі та краще розуміємо проблему, ніж інші компанії чи дослідники, які працюють над оцінкою якості.

І нагороди дістаються…

Ось чому я був дуже радий нам відновили наше звання найкращої світової системи оцінки якості машинного перекладу на Всесвітній конференції машинного перекладу на початку цього року. Мало того, ми також виграли конкурс з автоматичного редагування публікацій.

Для нас це було дуже важливо з двох причин. По-перше, це вплив, який оцінка якості має на наш виробничий процес, повернення інвестицій, які ми отримуємо від цього. І для цього не має особливого значення, виграємо ми цей чи будь-який інший конкурс.

Але з іншого боку, отримання таких престижних нагород означає визнання бренду Unbabel, що є важливим для привернення уваги клієнтів та інвесторів. Це також важливе визнання для команди штучного інтелекту, роботу якої інколи важко зрозуміти та віддати належне. ШІ – це дуже високий ризик, висока винагорода. Можна працювати рік і нікуди не дітися. Наприклад, уся робота, яку ми виконали з оцінки якості людини, не спрацювала, тому що у нас просто не було відповідних інструментів для цього.

Таким чином, ці нагороди корисні для визнання, для підвищення обізнаності про ім’я Unbabel у бізнесі та в наукових колах, але вони також корисні для морального духу. Unbabel — це суто штучна компанія. Ми не просто використовуємо ШІ, ми фактично створюємо та відкриваємо ШІ, якого ще не існує. І бути публічним визнанням за це означає для мене все. Я думаю, що моя 9-річна дитина, яка мріє стати математиком, пишалася б цим.

Джерело: https://unbabel.com/blog/best-machine-translation-quality-estimation/