Risolvere la traduzione automatica, un passo alla volta

Da bambino, pensavo che sarei diventato un matematico o un fisico. Ho capito molto presto che volevo studiare e fare ricerca, o anche diventare un insegnante, in uno di quei campi. Non sapevo cosa fosse l'IA. Infatti, durante i primi anni come studente universitario in Informatica, molte volte ho sentito che avrei dovuto passare alla matematica. Sono contento di non averlo fatto.

Mia nonna però non capisce bene quale sia il mio lavoro, perché per farlo devi usare internet. Se non lo fai, e ti dico che, a Unbabel, stiamo facendo in modo che i computer eseguano automaticamente azioni umane, probabilmente staresti semplicemente lì a fissarmi con uno sguardo vuoto.

In un certo senso, non sono finito in un posto molto diverso da quello che avevo immaginato da bambino. Voglio dire, l'intero campo della traduzione automatica è iniziato con Warren Weaver dopo la seconda guerra mondiale, dopo che Allen Turing, un matematico, decifrò il codice Enigma.

L'idea è che possiamo trattare il linguaggio come un codice. La differenza è che i codici sono formali, inequivocabili; e ciò che rende la traduzione così difficile è proprio l'ambiguità.

Lo stato della traduzione automatica

Alcune persone hanno una certa conoscenza di ciò che fa Unbabel: traduciamo un testo in una lingua specifica in una lingua diversa. Ma altri non sanno nemmeno cosa sia l'Intelligenza Artificiale. Alcuni potrebbero pensare che tutto ciò che l'IA fa sia "cose ​​robotiche", ma non è così. Quello che l'AI sta facendo è imitare il comportamento umano, in qualche modo, e in alcune cose è anche meglio degli umani a esso.

Cominciamo dalle basi: cosa fanno i sistemi di machine learning? Presentate loro un oggetto sorgente, in questo caso una frase, e chiedete loro di prevedere qualcosa, una frase obiettivo.

La difficoltà con la traduzione è che non esiste un gold standard. Un gold standard rappresenta la verità reale. Se stai cercando di convincere una macchina a rilevare le immagini chiedendo "è un gatto o un cane?", C'è una verità d'oro perché un'immagine specifica sarebbe l'una o l'altra. Nella traduzione automatica questo non esiste, perché puoi avere 20 traduzioni diverse ugualmente buone. È un problema molto più difficile per cominciare. Che cos'è una buona traduzione e cosa non lo è? C'è anche il fatto che la lingua è molto ambigua. Le parole possono significare cose molto diverse in contesti diversi. E quindi il problema con la traduzione è in gran parte irrisolto.

Se guardi più a fondo nella traduzione automatica, vedrai che non è molto meglio di qualche anno fa, nonostante ciò che pensa la maggior parte delle persone. I risultati precedenti dei sistemi di traduzione automatica statistica sembravano molto innaturali o robotici. Oggi potrebbero suonare più fluenti, ma sono meno adeguati dei precedenti, che normalmente avevano il contenuto giusto anche se potrebbe essere più difficile da capire. Le traduzioni automatiche al giorno d'oggi potrebbero fallire in modo catastrofico in termini di contenuto, ma continuano a suonare fluenti. Nel complesso è un sistema migliore.

La traduzione automatica è arrivata a un punto in cui si può almeno comprendere l'essenza del testo. Sta diventando più fluente, nonostante i modelli siano ancora molto elementari e abbiano poca conoscenza della lingua. Stanno ancora lavorando principalmente su una sorta di frase per livello di frase. Quindi chiunque pensi che la traduzione automatica sia risolta, chiaramente non l'ha usata.

Per Unbabel come azienda, che vende i suoi soluzioni di supporto multilingue per le grandi aziende che interagiscono con migliaia o milioni di clienti ogni giorno, rappresenta un problema perché la maggior parte delle volte, quando si parla di traduzione automatica, la gente pensa subito agli errori che fa. Non puoi inventare storie solo per far sembrare che la traduzione automatica sia perfetta, è dove si trova a questo punto. Richiede ancora un essere umano nel ciclo per dargli quel tocco in più di qualità.

Nella chat, ad esempio, c'è una persona che sta effettivamente parlando con l'altra persona, il che significa che puoi recuperare dagli errori molto più velocemente. Se dici qualcosa che non ha senso, la persona dall'altra parte potrebbe dire "cosa? Non ho capito ", quindi ritenterai la traduzione.

Questo in pratica significa che stai valutando la qualità di te stesso, perché, alla fine, quello che vuoi è un dialogo che funzioni.

L'importanza della stima della qualità

La stima della qualità - ciò che utilizziamo per valutare la qualità di un sistema di traduzione senza accesso a traduzioni di riferimento o intervento umano - è il segreto della traduzione automatica. In effetti, alcune persone hanno affermato che potrebbe risolvere il problema di "qual è la traduzione corretta?", Perché ora abbiamo un sistema in atto che valuta quanto sia buona o cattiva una traduzione. Non significa necessariamente che lo sia una traduzione , il quello corretto, ma lo è a traduzione corretta.

Ma la stima della qualità soffre delle stesse difficoltà della traduzione automatica, il che significa che puoi aspettarti lo stesso livello di accuratezza da essa. Il problema più grande con la traduzione automatica è che commette sempre errori perché la lingua è molto difficile da comprendere. O a causa di modelli che sono fin troppo semplici a causa della potenza di calcolo o del fatto che qualsiasi sistema di apprendimento automatico commetterà errori, le migliori azioni sono intorno al 90 percento. Potrebbe sembrare molto, ma se ci pensi, significa che una frase su dieci sarà sbagliata.

La stima della qualità sta cercando di prevedere quelle frasi sbagliate, o almeno cercando di giudicare se un errore è critico o meno. Fondamentalmente ci consentirà di utilizzare la traduzione automatica con un grado di sicurezza molto più elevato.

In Unbabel, abbiamo dedicato molto del nostro tempo alla risoluzione del problema della stima della qualità. Il team AI fondamentale è quello che si è concentrato maggiormente su di esso, scoprendo nuovi modelli. Poi c'è molto lavoro da fare dall'IA applicata e dalla produzione, per rispondere a domande come:

• Come funziona sulla pipeline?
• È scalabile? Dobbiamo cambiare l'obiettivo?
• Come funziona con i nostri dati pratici?
• Come si fa l'adattamento di questi modelli?

Poiché l'IA fondamentale funziona principalmente su dati di dominio generici, l'IA applicata deve prenderlo in considerazione e assicurarsi che funzioni sulla nostra realtà di chat o ticket, se funziona con toni differenziati o meno. C'è la ricerca, poi c'è il lavoro sui suoi risultati nel prodotto.

Crediamo fermamente nei nostri sistemi di stima della qualità. Crediamo anche nella ricerca riproducibile e collaborativa, motivo per cui alcuni mesi fa abbiamo costruito Open Kiwi, un framework open source che implementa i migliori sistemi di stima della qualità, rendendo davvero semplice la sperimentazione e l'iterazione di questi modelli nello stesso framework, nonché lo sviluppo di nuovi modelli.

Probabilmente siamo stati una delle prime aziende che ha iniziato a utilizzare la stima della qualità nella produzione e abbiamo svolto ricerche sull'argomento da molto tempo. Ciò significa che abbiamo modelli migliori e una migliore comprensione del problema rispetto ad altre società o ricercatori che lavorano sulla stima della qualità.

E i premi vanno a ...

Questo è il motivo per cui sono stato molto felice di noi ha riconquistato il nostro titolo di miglior sistema globale di stima della qualità della traduzione automatica alla Conferenza per la traduzione automatica mondiale all'inizio di quest'anno. Non solo, ma abbiamo anche vinto il concorso sul post editing automatico.

Per noi è stato molto importante per due motivi. Il primo è l'impatto che la stima della qualità sta avendo sulla nostra pipeline di produzione, il ritorno sull'investimento che ne stiamo ottenendo. E per questo, non importa se vinciamo questa o qualsiasi altra competizione.

Ma d'altra parte, vincere premi così prestigiosi significa un riconoscimento per il marchio Unbabel, che è essenziale per ottenere l'attenzione dei clienti e degli investitori. È anche un riconoscimento importante per il team di intelligenza artificiale, il cui lavoro a volte è difficile da capire e dare credito. L'intelligenza artificiale è un rischio molto alto, una ricompensa elevata. Puoi lavorare per un anno e non arrivare da nessuna parte. Ad esempio, tutto il lavoro che abbiamo fatto sulla nostra stima della qualità umana non ha funzionato, perché semplicemente non avevamo gli strumenti giusti per questo.

E quindi questi premi sono buoni per il riconoscimento, per aumentare la consapevolezza del nome Unbabel negli affari e nel mondo accademico, ma sono anche buoni per il morale. Unbabel è un'azienda puramente AI. Non stiamo solo usando l'IA, stiamo effettivamente costruendo e scoprendo un'IA che non esiste ancora. Ed essere pubblicamente riconosciuto per questo significa il mondo per me. Penso che il mio me stesso aspirante matematico di 9 anni ne sarebbe orgoglioso.

Fonte: https://unbabel.com/blog/best-machine-translation-quality-estimation/