Resolver la traducción automática, paso a paso

Cuando era niño, pensé que me convertiría en matemático o físico. Comprendí muy pronto que quería estudiar e investigar, o incluso convertirme en profesor, en uno de esos campos. No sabía qué era la IA. De hecho, durante los primeros años como estudiante de licenciatura en Ciencias de la Computación, muchas veces sentí que debía cambiarme a las matemáticas. Me alegro de no haberlo hecho.

Sin embargo, mi abuela no entiende realmente cuál es mi trabajo, porque para hacerlo, tienes que usar Internet. Si no lo hace, y le digo que, en Unbabel, estamos haciendo que las computadoras realicen acciones humanas automáticamente, probablemente se quedaría allí sentado y me miraría sin comprender.

En cierto modo, no terminé en un lugar muy diferente al que había imaginado cuando era niño. Quiero decir, todo este campo de la traducción automática comenzó con Warren Weaver después de la Segunda Guerra Mundial, después de que Allen Turing, un matemático, descifró el código Enigma.

La idea es que podamos tratar el lenguaje como un código. La diferencia es que los códigos son formales, inequívocos; y lo que dificulta la traducción es precisamente la ambigüedad.

El estado de la traducción automática

Algunas personas tienen algún conocimiento de lo que hace Unbabel: traducimos un texto en un idioma específico a un idioma diferente. Pero otros ni siquiera saben qué es la Inteligencia Artificial. Algunos podrían pensar que todo lo que hace la IA son "cosas de robots", pero no es así. Lo que está haciendo la IA es imitar el comportamiento humano, de alguna manera, y en algunas cosas es incluso mejor que los humanos en eso.

Comencemos con lo básico: ¿qué hacen los sistemas de aprendizaje automático? Les presenta un objeto fuente, en este caso una oración, y les pide que predigan algo, una oración objetivo.

La dificultad con la traducción es que no existe un patrón oro. Un patrón oro representa la verdad real. Si está tratando de hacer que una máquina detecte imágenes preguntando “¿es un gato o un perro?”, Hay una verdad dorada porque una imagen específica sería una u otra. En la traducción automática esto no existe, porque puede tener 20 traducciones diferentes que son igualmente buenas. Para empezar, es un problema mucho más difícil. ¿Qué es una buena traducción y qué no? También está el hecho de que el lenguaje es muy ambiguo. Las palabras pueden significar cosas muy diferentes en diferentes contextos. Por tanto, el problema de la traducción está en gran parte sin resolver.

Si profundiza en la traducción automática, verá que no es mucho mejor de lo que era hace unos años, a pesar de lo que la mayoría de la gente piensa. Los resultados anteriores de los sistemas de traducción automática estadística parecían muy poco naturales o robóticos. Hoy en día pueden sonar más fluidos, pero son menos adecuados que los anteriores, que normalmente tenían el contenido adecuado aunque podría ser más difícil de entender. Las traducciones automáticas de hoy en día pueden fallar catastróficamente en términos de contenido, pero aún suenan fluidas. En general, es un sistema mejor.

La traducción automática ha llegado a un punto en el que al menos se puede comprender la esencia del texto. Se está volviendo más fluido, a pesar de que los modelos siguen siendo muy básicos y tienen poco conocimiento del idioma. Todavía están trabajando principalmente en una especie de oración por nivel de oración. Entonces, cualquiera que piense que la traducción automática está resuelta, claramente no la ha usado.

Para Unbabel como empresa, que está vendiendo sus soluciones de soporte multilingües para las principales empresas que interactúan con miles o millones de clientes todos los días, plantea un problema porque la mayoría de las veces, cuando se menciona la traducción automática, la gente piensa inmediatamente en los errores que comete. No puede simplemente inventar historias para que parezca que la traducción automática es perfecta, es donde está en este momento. Todavía requiere un humano en el circuito para darle ese toque extra de calidad.

En el chat, por ejemplo, hay una persona que en realidad está hablando con la otra persona, lo que significa que puede recuperarse de los errores mucho más rápido. Si dices algo que no tiene sentido, la persona del otro lado podría decir “¿qué? No lo entendí ”, y luego volverá a intentar la traducción.

Esto básicamente significa que estás siendo tu propia estimación de calidad, porque, al final del día, lo que quieres es un diálogo que funcione.

La importancia de la estimación de la calidad

La estimación de la calidad, lo que usamos para evaluar la calidad de un sistema de traducción sin acceso a traducciones de referencia o intervención humana, es el secreto de la traducción automática. De hecho, algunas personas han afirmado que podría resolver el problema de “¿cuál es la traducción correcta?”, Porque ahora tenemos un sistema que evalúa qué tan buena o mala es una traducción. No significa necesariamente que una traducción sea las correcto, pero es a traducción correcta.

Pero la estimación de la calidad adolece de las mismas dificultades que la traducción automática, lo que significa que puede esperar el mismo nivel de precisión de ella. El mayor problema con la traducción automática es que siempre comete errores porque el idioma es muy difícil de entender. Ya sea debido a modelos que son demasiado simples debido a la potencia de cálculo o al hecho de que cualquier sistema de aprendizaje automático cometerá errores, las mejores acciones están en alrededor del 90%. Puede parecer mucho, pero si lo piensas bien, significa que una de cada diez oraciones va a estar mal.

La estimación de la calidad consiste en intentar predecir esas frases incorrectas, o al menos intentar juzgar si un error es crítico o no. Básicamente, nos permitirá utilizar la traducción automática con un grado de confianza mucho mayor.

En Unbabel, hemos dedicado gran parte de nuestro tiempo a resolver el problema de la estimación de la calidad.. El equipo de IA fundamental es el que se ha centrado principalmente en él, descubriendo nuevos modelos. Luego, hay mucho trabajo realizado desde la IA aplicada y la producción, para responder preguntas como:

• ¿Cómo funciona esto en la tubería?
• ¿Es escalable? ¿Necesitamos cambiar la meta?
• ¿Cómo funciona con nuestros datos prácticos?
• ¿Cómo se hace la adaptación de estos modelos?

Dado que la IA fundamental funciona principalmente en datos de dominio genéricos, la IA aplicada tiene que recogerla y asegurarse de que funciona en nuestra realidad de chat o tickets, si funciona con tonos diferenciados o no. Está la investigación, luego está trabajando sus hallazgos en el producto.

Creemos firmemente en nuestros sistemas de estimación de calidad. También creemos en la investigación reproducible y colaborativa, por eso hace unos meses creamos Open Kiwi, un marco de código abierto que implementa los mejores sistemas de estimación de calidad, lo que hace que sea realmente fácil experimentar e iterar con estos modelos bajo el mismo marco, así como desarrollar nuevos modelos.

Probablemente fuimos una de las primeras empresas que comenzó a utilizar la estimación de la calidad en la producción y hemos estado investigando el tema durante mucho tiempo. Esto significa que tenemos mejores modelos y una mejor comprensión del problema que otras empresas o investigadores que trabajan en la estimación de la calidad.

Y los premios son para ...

Por eso estaba muy feliz de que recuperó nuestro título de mejor sistema mundial de estimación de la calidad de la traducción automática en la Conferencia para la traducción automática mundial a principios de este año. No solo eso, sino que también ganamos el concurso de edición automática de publicaciones.

Fue muy importante para nosotros por dos razones. El primero es el impacto que la estimación de la calidad está teniendo en nuestra línea de producción, el retorno de la inversión que obtenemos de ella. Y por eso, realmente no importa si ganamos esta o cualquier otra competencia.

Pero, por otro lado, ganar premios tan prestigiosos significa el reconocimiento de la marca Unbabel, que es fundamental para llamar la atención de clientes e inversores. También es un reconocimiento importante para el equipo de inteligencia artificial, cuyo trabajo a veces es difícil de entender y de reconocer. La IA tiene un riesgo muy alto y una gran recompensa. Puedes trabajar durante un año y no llegar a ninguna parte. Por ejemplo, todo el trabajo que hicimos en nuestra estimación de la calidad humana no funcionó, porque simplemente no teníamos las herramientas adecuadas para eso.

Entonces, estos premios son buenos para el reconocimiento, para aumentar el conocimiento del nombre Unbabel en los negocios y en el mundo académico, pero también son buenos para la moral. Unbabel es una empresa puramente de IA. No solo estamos usando IA, en realidad estamos construyendo y descubriendo IA que aún no existe. Y ser reconocido públicamente por eso significa mucho para mí. Creo que mi yo de 9 años, aspirante a matemático, estaría orgulloso.

Fuente: https://unbabel.com/blog/best-machine-translation-quality-estimation/