Решение машинного перевода, шаг за шагом

В детстве я думал, что вырасту математиком или физиком. Я очень рано понял, что хочу учиться и проводить исследования или даже стать учителем в одной из этих областей. Я не знал, что такое ИИ. На самом деле, в первые годы учебы на бакалавриате в области компьютерных наук я много раз чувствовал, что должен перейти на математику. Я рада, что не сделала этого.

Моя бабушка не совсем понимает, чем я занимаюсь, потому что для этого нужно использовать Интернет. Если вы этого не сделаете, и я говорю вам, что в Unbabel мы заставляем компьютеры автоматически выполнять человеческие действия, вы, вероятно, просто сидели бы и тупо смотрели на меня.

В каком-то смысле я не оказался в совершенно другом месте, чем я представлял себе в детстве. Я имею в виду, что вся эта область машинного перевода началась с Уоррена Уивера после Второй мировой войны, после того, как математик Аллен Тьюринг взломал код Enigma.

Идея в том, что мы можем рассматривать язык как код. Разница в том, что коды формальны, однозначны; и что делает перевод таким трудным, так это двусмысленность.

Состояние машинного перевода

Некоторые люди знают, что делает Unbabel: мы переводим текст с определенного языка на другой язык. Но другие даже не знают, что такое искусственный интеллект. Некоторые могут подумать, что все, что делает ИИ, - это «роботы», но это не так. ИИ каким-то образом имитирует человеческое поведение, а в некоторых вещах даже лучше, чем у людей на него.

Начнем с основ: что делают системы машинного обучения? Вы представляете им исходный объект, в данном случае предложение, и просите их что-то предсказать, целевое предложение.

Сложность перевода в том, что золотого стандарта нет. Золотой стандарт означает истинную правду. Если вы пытаетесь заставить машину обнаруживать изображения, спрашивая «это кошка или собака?», Есть золотая правда, потому что конкретное изображение может быть тем или другим. В машинном переводе этого не существует, потому что у вас может быть 20 разных переводов, которые одинаково хороши. Для начала это гораздо более сложная проблема. Какой перевод хороший, а какой нет? Существует также тот факт, что язык очень неоднозначен. В разных контекстах слова могут означать очень разные вещи. Так что проблема с переводом практически не решена.

Если вы посмотрите на машинный перевод глубже, то увидите, что он не намного лучше, чем был несколько лет назад, несмотря на то, что думает большинство людей. Предыдущие результаты систем статистического машинного перевода казались очень неестественными или роботизированными. Сегодня они могут звучать более бегло, но они менее адекватны, чем предыдущие, которые обычно имеют правильный контент, хотя его может быть труднее понять. Машинный перевод в наши дни может катастрофически провалиться с точки зрения содержания, но все равно звучит плавно. В целом это лучшая система.

Машинный перевод дошел до того момента, когда можно хотя бы понять суть текста. Он становится более беглым, несмотря на то, что модели все еще очень простые и мало знают язык. Они все еще работают в основном над своего рода предложением на уровне предложения. Так что любой, кто думает, что машинный перевод решен, явно не использовал его.

Для Unbabel как компании, продающей свои многоязычные решения поддержки для крупных компаний, которые ежедневно взаимодействуют с тысячами или миллионами клиентов, это создает проблему, потому что в большинстве случаев, когда вы упоминаете машинный перевод, люди сразу думают об ошибках, которые он делает. Вы не можете просто придумывать истории, чтобы казалось, что машинный перевод идеален, это именно то, что вам нужно. Он по-прежнему требует участия человека в круговороте, чтобы придать ему дополнительное качество.

В чате, например, есть человек, который на самом деле разговаривает с другим человеком, а это означает, что вы можете гораздо быстрее восстановиться после ошибок. Если вы скажете что-то, что не имеет смысла, собеседник на другом конце провода может сказать «что? Я не понял », а затем повторите перевод.

По сути, это означает, что вы сами оцениваете качество, потому что, в конце концов, вам нужен диалог, который работает.

Важность оценки качества

Оценка качества - то, что мы используем для оценки качества системы перевода без доступа к справочным переводам или без вмешательства человека - это секрет машинного перевода. Фактически, некоторые люди утверждали, что это может решить проблему «какой перевод правильный?», Потому что теперь у нас есть система, которая оценивает, насколько хорош или плох перевод. Это не обязательно означает, что перевод домен правильный, но это a правильный перевод.

Но оценка качества страдает теми же трудностями, что и машинный перевод, а это значит, что вы можете ожидать от нее такого же уровня точности. Самая большая проблема с машинным переводом в том, что он всегда делает ошибки, потому что язык очень сложен для понимания. Либо из-за слишком простых моделей из-за вычислительной мощности, либо из-за того, что любая система машинного обучения будет делать ошибки, лучшие акции составляют около 90 с чем-то процентов. Может показаться, что это много, но если вдуматься, это означает, что одно из десяти предложений будет неправильным.

Оценка качества пытается предсказать эти неправильные предложения или, по крайней мере, попытаться определить, является ли ошибка критической или нет. По сути, это позволит нам использовать машинный перевод с гораздо большей степенью уверенности.

В Unbabel мы уделяем много времени решению проблемы оценки качества.. Фундаментальная команда ИИ - это та, кто в основном сосредоточился на этом, открывая новые модели. Затем прикладной искусственный интеллект и производство проделали большую работу, чтобы ответить на такие вопросы, как:

• Как это работает на конвейере?
• Это масштабируемое? Нам нужно менять цель?
• Как это работает с нашими практическими данными?
• Как вы проводите адаптацию этих моделей?

Поскольку фундаментальный ИИ работает в основном с общими данными домена, прикладной ИИ должен уловить его и убедиться, что он работает в нашей реальности чата или билетов, независимо от того, работает он с дифференцированными тонами или нет. Есть исследования, а затем их результаты воплощаются в продукте.

Мы твердо верим в наши системы оценки качества. Мы также верим в воспроизводимые и совместные исследования, поэтому несколько месяцев назад мы создали Open Kiwi - фреймворк с открытым исходным кодом, который реализует лучшие системы оценки качества, что позволяет с легкостью экспериментировать и повторять эти модели в рамках одной и той же структуры, а также разрабатывать новые модели.

Мы, наверное, были одной из первых компаний, которые начали использовать оценку качества в производстве, и мы очень долго проводим исследования по этой теме. Это означает, что у нас есть лучшие модели и лучшее понимание проблемы, чем у других компаний или исследователей, работающих над оценкой качества.

А награды достаются…

Вот почему я был очень счастлив, что мы вернула себе звание лучшей глобальной системы оценки качества машинного перевода на конференции World Machine Translation Ранее в этом году. Кроме того, мы выиграли конкурс на автоматическое редактирование сообщений.

Для нас это было очень важно по двум причинам. Первое - это влияние, которое оценка качества оказывает на наш производственный конвейер, отдачу от инвестиций, которую мы получаем от нее. И для этого не имеет значения, выиграем мы это или какое-то другое соревнование.

Но, с другой стороны, получение таких престижных наград означает признание бренда Unbabel, что необходимо для привлечения внимания клиентов и инвесторов. Это также важное признание для команды ИИ, работу которой иногда трудно понять и отдать должное. ИИ - это очень высокий риск и высокая награда. Можно год работать и ни к чему не денешься. Например, вся наша работа по оценке человеческого качества не сработала, потому что у нас просто не было подходящих инструментов для этого.

Таким образом, эти награды хороши для признания, повышения осведомленности об имени Unbabel в бизнесе и в академических кругах, но они также хороши для морального духа. Unbabel - это компания, занимающаяся исключительно искусственным интеллектом. Мы не просто используем ИИ, мы фактически создаем и открываем ИИ, которого еще нет. И быть публично признанным за это означает для меня мир. Я думаю, что мой 9-летний подражатель математики гордился бы.

Источник: https://unbabel.com/blog/best-machine-translation-quality-estimation/