Resolvendo tradução automática, uma etapa de cada vez

Quando criança, pensei que crescesse e me tornaria um matemático ou físico. Desde muito cedo entendi que queria estudar e fazer pesquisa, ou até ser professora, em uma dessas áreas. Eu não sabia o que era IA. Na verdade, durante os primeiros anos como estudante de graduação em Ciência da Computação, muitas vezes senti que deveria mudar para a matemática. Estou feliz por não ter feito isso.

Minha avó não entende muito bem qual é o meu trabalho, porque para isso, você tem que usar a internet. Se você não fizer isso, e eu lhe digo que, na Unbabel, estamos fazendo com que os computadores executem ações humanas automaticamente, você provavelmente apenas se sentaria lá e me olharia fixamente.

De certa forma, não terminei em um lugar muito diferente do que imaginava quando era criança. Quero dizer, todo esse campo da tradução automática começou com Warren Weaver após a Segunda Guerra Mundial, depois que Allen Turing, um matemático, decifrou o código Enigma.

A ideia é que podemos tratar a linguagem como um código. A diferença é que os códigos são formais, inequívocos; e o que torna a tradução tão difícil é precisamente a ambigüidade.

O estado da tradução automática

Algumas pessoas têm algum conhecimento do que o Unbabel faz: traduzimos um texto de um idioma específico para um idioma diferente. Mas outros nem sabem o que é Inteligência Artificial. Alguns podem pensar que tudo o que a IA faz são “coisas de robô”, mas não é isso. O que a IA está fazendo é imitar o comportamento humano, de alguma forma, e em algumas coisas é ainda melhor do que os humanos Nisso.

Vamos começar com o básico: o que os sistemas de aprendizado de máquina fazem? Você apresenta a eles um objeto fonte, neste caso uma frase, e pede que eles prevejam algo, uma frase alvo.

A dificuldade com a tradução é que não existe um padrão ouro. Um padrão ouro representa a verdade real. Se você estiver tentando fazer com que uma máquina detecte imagens perguntando “isto é um gato ou um cachorro?”, Existe uma verdade dourada porque uma imagem específica seria uma ou outra. Na tradução automática isso não existe, porque você pode ter 20 traduções diferentes que são igualmente boas. É um problema muito mais difícil para começar. O que é uma boa tradução e o que não é? Também existe o fato de que a linguagem é altamente ambígua. Palavras podem significar coisas muito diferentes em contextos diferentes. E assim o problema com a tradução ainda não foi resolvido.

Se você olhar mais a fundo na tradução automática, verá que não é muito melhor do que há alguns anos, apesar do que a maioria das pessoas pensa. As saídas anteriores de sistemas de tradução automática de estatísticas pareciam muito pouco naturais ou robóticas. Hoje podem parecer mais fluentes, mas são menos adequados do que os anteriores, que normalmente tinham o conteúdo certo, embora pudesse ser mais difícil de entender. Hoje em dia, as traduções automáticas podem falhar catastroficamente em termos de conteúdo, mas ainda assim soam fluentes. No geral, é um sistema melhor.

A tradução automática chegou a um ponto em que se pode pelo menos entender a essência do texto. Está se tornando mais fluente, apesar dos modelos ainda serem muito básicos e com pouco conhecimento da língua. Eles ainda estão trabalhando principalmente em um tipo de frase por frase. Então, quem pensa que a tradução automática está resolvida, claramente não a usou.

Para a Unbabel como empresa, que está vendendo seus soluções de suporte multilíngue para grandes empresas que interagem com milhares ou milhões de clientes todos os dias, isso representa um problema porque na maioria das vezes, quando você fala de tradução automática, as pessoas pensam imediatamente nos erros que comete. Você não pode simplesmente inventar histórias para fazer parecer que a tradução automática é perfeita, é onde está agora. Ele ainda exige um humano no circuito para dar-lhe aquele toque extra de qualidade.

No chat, por exemplo, há uma pessoa que está realmente falando com a outra, o que significa que você pode se recuperar de erros muito mais rápido. Se você disser algo que não faz sentido, a pessoa do outro lado pode dizer “o quê? Não entendi ”, e então você tentará a tradução novamente.

Isso basicamente significa que você está sendo sua própria estimativa de qualidade, porque, no fim do dia, o que você quer é um diálogo que funcione.

A importância da estimativa de qualidade

A estimativa de qualidade - o que usamos para avaliar a qualidade de um sistema de tradução sem acesso a traduções de referência ou intervenção humana - é o segredo da tradução automática. Na verdade, algumas pessoas afirmaram que isso poderia resolver o problema de “qual é a tradução correta?”, Porque agora temos um sistema que avalia se uma tradução é boa ou ruim. Isso não significa necessariamente que uma tradução é que o correto, mas é a tradução correta.

Mas a estimativa de qualidade sofre das mesmas dificuldades da tradução automática, o que significa que você pode esperar o mesmo nível de precisão dela. O maior problema com a tradução automática é que ela sempre comete erros porque a linguagem é muito difícil de entender. Seja devido aos modelos que são muito simples devido ao poder de computação ou ao fato de que qualquer sistema de aprendizado de máquina cometerá erros, as melhores ações estão em torno de 90 algo por cento. Pode parecer muito, mas se você pensar bem, isso significa que uma em cada dez sentenças estará errada.

A estimativa de qualidade é tentar prever as sentenças erradas, ou pelo menos tentar julgar se um erro é crítico ou não. Basicamente, nos permitirá usar a tradução automática com um grau de confiança muito maior.

Na Unbabel, temos dedicado muito do nosso tempo para resolver o problema de estimativa de qualidade. A equipe fundamental de IA é aquela que está mais focada nisso, descobrindo novos modelos. Então, há muito trabalho colocado em IA aplicada e produção para responder a perguntas como:

• Como isso funciona no pipeline?
• É escalável? Precisamos mudar o objetivo?
• Como isso funciona com nossos dados práticos?
• Como você faz a adaptação desses modelos?

Uma vez que a IA fundamental funciona principalmente em dados de domínio genérico, a IA aplicada deve pegá-la e certificar-se de que funciona em nossa realidade de chat ou tickets, se funciona com tons diferenciados ou não. Há a pesquisa, depois há o trabalho de suas descobertas no produto.

Acreditamos firmemente em nossos sistemas de estimativa de qualidade. Também acreditamos na pesquisa reproduzível e colaborativa, e é por isso que há alguns meses construímos Open Kiwi - uma estrutura de código aberto que implementa os melhores sistemas de estimativa de qualidade, tornando realmente fácil experimentar e iterar com esses modelos na mesma estrutura, bem como desenvolver novos modelos.

Provavelmente fomos uma das primeiras empresas a começar a usar estimativa de qualidade na produção e há muito tempo fazemos pesquisas sobre o assunto. Isso significa que temos melhores modelos e uma melhor compreensão do problema do que outras empresas ou pesquisadores que trabalham na estimativa da qualidade.

E os prêmios vão para ...

É por isso que fiquei muito feliz por nós recuperou nosso título de melhor sistema global de Estimativa de Qualidade em Tradução Automática na Conferência para Tradução Automática Mundial no início deste ano. Além disso, também vencemos o concurso de pós-edição automática.

Foi muito importante para nós por dois motivos. O primeiro é o impacto que a estimativa de qualidade está tendo em nosso pipeline de produção, o retorno sobre o investimento que estamos obtendo com isso. E para isso, não importa se vencemos esta ou qualquer outra competição.

Mas, por outro lado, ganhar prêmios tão prestigiosos significa o reconhecimento da marca Unbabel, que é essencial para chamar a atenção de clientes e investidores. É também um reconhecimento importante para a equipe de IA, cujo trabalho às vezes é difícil de entender e dar crédito. IA é um risco muito alto, uma recompensa alta Você pode trabalhar por um ano e não chegar a lugar nenhum. Por exemplo, todo o trabalho que fizemos em nossa estimativa de qualidade humana não funcionou, porque simplesmente não tínhamos as ferramentas certas para isso.

Portanto, esses prêmios são bons para reconhecimento, para aumentar a consciência do nome Unbabel nos negócios e na academia, mas também são bons para o moral. A Unbabel é uma empresa puramente de IA. Não estamos apenas usando IA, na verdade estamos construindo e descobrindo IA que ainda não existe. E ser reconhecido publicamente por isso significa muito para mim. Acho que meu eu, aspirante a matemático de 9 anos, ficaria orgulhoso.

Fonte: https://unbabel.com/blog/best-machine-translation-quality-estimation/