Résolution de la traduction automatique, une étape à la fois

Enfant, je pensais que je deviendrais mathématicien ou physicien. J'ai compris très tôt que je voulais étudier et faire de la recherche, voire devenir enseignante, dans l'un de ces domaines. Je ne savais pas ce qu'était l'IA. En fait, au cours de mes premières années d’études de premier cycle en informatique, j’ai souvent pensé que je devrais passer aux mathématiques. Je suis content de ne pas l'avoir fait.

Mais ma grand-mère ne comprend pas vraiment en quoi consiste mon travail, car pour le faire, il faut utiliser Internet. Si vous ne le faites pas, et je vous dis que chez Unbabel, nous faisons en sorte que les ordinateurs effectuent automatiquement des actions humaines, vous resterez probablement assis là et me regarderez d'un air vide.

D’une certaine manière, je ne me suis pas retrouvé dans un endroit très différent de celui que j’avais imaginé quand j’étais enfant. Je veux dire, tout ce domaine de la traduction automatique a commencé avec Warren Weaver après la Seconde Guerre mondiale, après qu'Allen Turing, un mathématicien, ait déchiffré le code Enigma.

L’idée est que nous pouvons traiter le langage comme un code. La différence est que les codes sont formels et sans ambiguïté ; et ce qui rend la traduction si difficile, c’est précisément l’ambiguïté.

L’état de la traduction automatique

Certaines personnes ont une certaine connaissance de ce que fait Unbabel : nous traduisons un texte dans une langue spécifique vers une langue différente. Mais d’autres ne savent même pas ce qu’est l’intelligence artificielle. Certains pourraient penser que l’IA ne fait que des « choses robotiques », mais ce n’est pas tout. Ce que fait l’IA, c’est imiter le comportement humain, d’une certaine manière, et dans certaines choses, c'est encore mieux que les humains à cela.

Commençons par les bases : à quoi servent les systèmes d’apprentissage automatique ? Vous leur présentez un objet source, en l’occurrence une phrase, et vous leur demandez de prédire quelque chose, une phrase cible.

La difficulté avec la traduction est qu’il n’existe pas d’étalon-or. Un étalon-or représente la vérité réelle. Si vous essayez de faire en sorte qu'une machine détecte des images en demandant « est-ce un chat ou un chien ? », il existe une vérité en or car une image spécifique serait l'une ou l'autre. En traduction automatique, cela n’existe pas, car vous pouvez avoir 20 traductions différentes de même qualité. C’est un problème beaucoup plus difficile au départ. Qu’est-ce qu’une bonne traduction et qu’est-ce qui ne l’est pas ? Il y a aussi le fait que le langage est très ambigu. Les mots peuvent signifier des choses très différentes selon les contextes. Le problème de la traduction reste donc largement irrésolu.

Si vous étudiez de plus près la traduction automatique, vous constaterez qu’elle n’est pas tellement meilleure qu’elle ne l’était il y a quelques années, malgré ce que pensent la plupart des gens. Les résultats précédents des systèmes de traduction automatique statistique semblaient très artificiels ou robotiques. Aujourd’hui, ils semblent plus fluides, mais ils sont moins adéquats que les précédents, qui avaient normalement le bon contenu même s’il pouvait être plus difficile à comprendre. De nos jours, les traductions automatiques peuvent échouer catastrophiquement en termes de contenu, mais elles restent fluides. Dans l’ensemble, c’est un meilleur système.

La traduction automatique est arrivée à un point où l’on peut au moins comprendre l’essentiel du texte. Cela devient plus fluide, même si les modèles restent très basiques et ont peu de connaissances linguistiques. Ils travaillent encore principalement sur une sorte de niveau phrase par phrase. Donc, quiconque pense que la traduction automatique est une solution ne l’a clairement pas utilisée.

Pour Unbabel en tant qu'entreprise, qui vend ses solutions d'assistance multilingues pour les grandes entreprises qui interagissent quotidiennement avec des milliers ou des millions de clients, cela pose problème car la plupart du temps, lorsqu'on évoque la traduction automatique, les gens pensent immédiatement aux erreurs qu'il commet. Vous ne pouvez pas simplement inventer des histoires pour donner l’impression que la traduction automatique est parfaite, c’est là où elle en est à ce stade. Il faut toujours un humain au courant pour lui donner ce petit plus de qualité.

Dans le chat, par exemple, il y a une personne qui parle réellement à l’autre personne, ce qui signifie que vous pouvez récupérer des erreurs beaucoup plus rapidement. Si vous dites quelque chose qui n’a pas de sens, la personne à l’autre bout du fil pourrait dire « quoi ? Je n’ai pas compris », puis vous réessayerez la traduction.

Cela signifie essentiellement que vous êtes votre propre estimation de la qualité, car, en fin de compte, ce que vous voulez, c'est un dialogue qui fonctionne.

L’importance de l’estimation de la qualité

L’estimation de la qualité – ce que nous utilisons pour évaluer la qualité d’un système de traduction sans accès à des traductions de référence ni intervention humaine – est le secret de la traduction automatique. En fait, certaines personnes ont affirmé que cela pourrait résoudre le problème de « quelle est la bonne traduction ? », car nous disposons désormais d’un système qui évalue la qualité ou la mauvaise d’une traduction. Cela ne signifie pas nécessairement qu'une traduction est le c'est correct, mais c'est a traduction correcte.

Mais l’estimation de la qualité souffre des mêmes difficultés que la traduction automatique, ce qui signifie que vous pouvez en attendre le même niveau de précision. Le plus gros problème avec la traduction automatique est qu’elle fait toujours des erreurs car la langue est très difficile à comprendre. Que ce soit à cause de modèles trop simples en raison de la puissance de calcul ou du fait que tout système d'apprentissage automatique commet des erreurs, les meilleures actions se situent à environ 90 pour cent. Cela peut sembler beaucoup, mais si vous y réfléchissez, cela signifie qu’une phrase sur dix sera fausse.

L'estimation de la qualité consiste à essayer de prédire ces phrases erronées, ou du moins à juger si une erreur est critique ou non. Cela va essentiellement nous permettre d’utiliser la traduction automatique avec un degré de confiance beaucoup plus élevé.

Chez Unbabel, nous avons consacré une grande partie de notre temps à résoudre le problème de l'estimation de la qualité.. L’équipe fondamentale de l’IA est celle qui s’y est principalement concentrée, découvrant de nouveaux modèles. Ensuite, beaucoup de travail est consacré à l’IA appliquée et à la production, pour répondre à des questions telles que :

• Comment cela se déroule-t-il sur le pipeline ?
• Est-ce évolutif ? Devons-nous changer d’objectif ?
• Comment ça marche avec nos données pratiques ?
• Comment faites-vous l’adaptation de ces modèles ?

Étant donné que l’IA fondamentale fonctionne principalement sur des données de domaine génériques, l’IA appliquée doit les récupérer et s’assurer qu’elle fonctionne sur notre réalité de chat ou de tickets, si elle fonctionne avec des tons différenciés ou non. Il y a la recherche, puis l’intégration de ses conclusions dans le produit.

Nous croyons fermement en nos systèmes d’estimation de la qualité. Nous croyons également en la recherche reproductible et collaborative, c'est pourquoi il y a quelques mois nous avons construit Open Kiwi — un framework open source qui implémente les meilleurs systèmes d'estimation de la qualité, ce qui rend très facile l'expérimentation et l'itération de ces modèles dans le même cadre, ainsi que le développement de nouveaux modèles.

Nous avons probablement été l’une des premières entreprises à avoir commencé à utiliser l’estimation de la qualité dans la production et nous effectuons des recherches sur le sujet depuis très longtemps. Cela signifie que nous disposons de meilleurs modèles et d’une meilleure compréhension du problème que d’autres entreprises ou chercheurs travaillant sur l’estimation de la qualité.

Et les récompenses reviennent à…

C'est pourquoi j'étais très heureux que nous a retrouvé notre titre de meilleur système mondial d'estimation de la qualité de la traduction automatique lors de la Conférence mondiale sur la traduction automatique. plus tôt cette année. Non seulement cela, mais nous avons également remporté le concours sur l’édition automatique des publications.

C'était très important pour nous pour deux raisons. Le premier est l’impact de l’estimation de la qualité sur notre pipeline de production, le retour sur investissement que nous en tirons. Et pour cela, peu importe que nous gagnions cette compétition ou toute autre.

Mais d’un autre côté, remporter des prix aussi prestigieux signifie une reconnaissance pour la marque Unbabel, essentielle pour attirer l’attention des clients et des investisseurs. C’est aussi une reconnaissance importante pour l’équipe d’IA, dont le travail est parfois difficile à comprendre et à reconnaître. L’IA présente un risque très élevé et une récompense élevée. Vous pouvez travailler pendant un an et n’arriver nulle part. Par exemple, tout le travail que nous avons effectué sur notre estimation de la qualité humaine n’a pas fonctionné, car nous n’avions tout simplement pas les bons outils pour cela.

Ces récompenses sont donc bonnes pour la reconnaissance, pour accroître la notoriété du nom Unbabel dans les affaires et dans le monde universitaire, mais elles sont également bonnes pour le moral. Unbabel est une entreprise purement IA. Nous n’utilisons pas seulement l’IA, nous construisons et découvrons une IA qui n’existe pas encore. Et être publiquement reconnu pour cela signifie tout pour moi. Je pense que mon enfant de 9 ans, aspirant mathématicien, serait fier.

Source : https://unbabel.com/blog/best-machine-translation-quality-estimation/