Løsning af maskinoversættelse, et trin ad gangen

Som barn troede jeg, at jeg ville vokse op til at blive matematiker eller fysiker. Jeg forstod meget tidligt, at jeg ville studere og forske, eller endda blive lærer, inden for et af disse felter. Jeg vidste ikke, hvad AI var. Faktisk følte jeg i de første år som bachelorstuderende i datalogi mange gange, at jeg skulle skifte til matematik. Jeg er glad for, at jeg ikke gjorde det.

Min bedstemor forstår dog ikke rigtig, hvad mit job er, for for at gøre det skal du bruge internettet. Hvis du ikke gør det, og jeg fortæller dig, at hos Unbabel får vi computere til at udføre menneskelige handlinger automatisk, ville du nok bare sidde der og stirre tomt tilbage på mig.

På en måde endte jeg ikke et meget andet sted, end jeg havde forestillet mig som barn. Jeg mener, hele dette maskinoversættelsesfelt startede med Warren Weaver efter Anden Verdenskrig, efter at Allen Turing, en matematiker, knækkede Enigma-koden.

Tanken er, at vi kan behandle sproget som en kode. Forskellen er, at koder er formelle, utvetydige; og det, der gør oversættelse så svær, er netop tvetydighed.

Maskinoversættelsens tilstand

Nogle mennesker har en vis viden om, hvad Unbabel gør: vi oversætter en tekst på et bestemt sprog til et andet sprog. Men andre ved ikke engang, hvad kunstig intelligens er. Nogle tror måske, at alt AI gør er "robotting", men det er det ikke. Hvad AI gør er at efterligne menneskelig adfærd på en eller anden måde, og i nogle ting er det endda bedre end mennesker i gang med det.

Lad os starte med det grundlæggende: hvad gør maskinlæringssystemer? Du præsenterer dem for et kildeobjekt, i dette tilfælde en sætning, og du beder dem om at forudsige noget, en målsætning.

Vanskeligheden ved oversættelse er, at der ikke er nogen guldstandard. En guldstandard står for den faktiske sandhed. Hvis du forsøger at få en maskine til at opdage billeder ved at spørge "er det en kat eller en hund?", er der en guldsandhed, fordi et specifikt billede ville være det ene eller det andet. I maskinoversættelse findes dette ikke, for du kan have 20 forskellige oversættelser, der er lige gode. Det er et meget sværere problem til at begynde med. Hvad er en god oversættelse, og hvad er ikke? Der er også det faktum, at sproget er meget tvetydigt. Ord kan betyde meget forskellige ting i forskellige sammenhænge. Og så er problemet med oversættelse stort set uløst.

Hvis du ser dybere ind i maskinoversættelse, vil du se, at det ikke er så meget bedre, end det var for et par år siden, på trods af hvad de fleste mennesker tror. Tidligere output fra statistiske maskinoversættelsessystemer virkede meget unaturlige eller robotagtige. I dag lyder de måske mere flydende, men de er mindre fyldestgørende end de tidligere, der normalt havde det rigtige indhold, selvom det kunne være sværere at forstå. Maskinoversættelser i dag kan mislykkes katastrofalt med hensyn til indhold, men lyder stadig flydende. Alt i alt er det et bedre system.

Maskinoversættelse er kommet til et punkt, hvor man i det mindste kan forstå essensen af ​​teksten. Det bliver mere flydende, på trods af at modellerne stadig er meget basale og har ringe sprogkundskaber. De arbejder stadig mest på en slags sætning pr. sætningsniveau. Så enhver, der tror, ​​at maskinoversættelse er løst, har tydeligvis ikke brugt det.

For Unbabel som virksomhed, der sælger sit flersprogede supportløsninger for store virksomheder, der interagerer med tusinder eller millioner af kunder hver dag, udgør det et problem, fordi det meste af tiden, når du nævner maskinoversættelse, folk tænker straks på de fejl, den begår. Du kan ikke bare finde på historier for at få det til at virke som om maskinoversættelse er perfekt, det er der, det er på dette tidspunkt. Det kræver stadig, at et menneske i løkken giver det den ekstra smule kvalitet.

I chat er der for eksempel en person, der rent faktisk taler med den anden person, hvilket betyder, at du kan komme dig fra fejl meget hurtigere. Hvis du siger noget, der ikke giver mening, vil personen i den anden ende måske sige “hvad? Det forstod jeg ikke”, og så vil du prøve oversættelsen igen.

Det betyder dybest set, at du er din egen kvalitetsvurdering, for i sidste ende er det, du ønsker, en dialog, der virker.

Vigtigheden af ​​kvalitetsvurdering

Kvalitetsestimering — hvad vi bruger til at evaluere et oversættelsessystems kvalitet uden adgang til referenceoversættelser eller menneskelig indgriben — er hemmeligheden bag maskinoversættelse. Faktisk har nogle mennesker hævdet, at det kunne løse problemet med "hvilken er den rigtige oversættelse?", for nu har vi et system på plads, der vurderer, hvor god eller dårlig en oversættelse er. Det betyder ikke nødvendigvis, at en oversættelse er det og rigtigt, men det er det a korrekt oversættelse.

Men kvalitetsestimering lider under alle de samme vanskeligheder som maskinoversættelse, hvilket betyder, at du kan forvente det samme niveau af nøjagtighed fra det. Det største problem med maskinoversættelse er, at den altid laver fejl, fordi sproget er meget svært at forstå. Enten på grund af modeller, der er alt for enkle på grund af regnekraft eller det faktum, at ethvert maskinlæringssystem vil begå fejl, er de bedste aktier på omkring 90 noget procent. Det virker måske af meget, men hvis du tænker over det, betyder det, at hver tiende sætning vil være forkert.

Kvalitetsestimering forsøger at forudsige de forkerte sætninger, eller i det mindste forsøge at bedømme, om en fejl er kritisk eller ej. Det vil grundlæggende give os mulighed for at bruge maskinoversættelse med en meget højere grad af selvtillid.

Hos Unbabel har vi brugt meget af vores tid på at løse kvalitetsvurderingsproblemet. Det grundlæggende AI-team er det, der mest har været fokuseret på det, og opdaget nye modeller. Så er der lagt en masse arbejde i fra anvendt AI og produktion for at besvare spørgsmål som:

• Hvordan kører dette på rørledningen?
• Er det skalerbart? Skal vi ændre målet?
• Hvordan fungerer det med vores praktiske data?
• Hvordan tilpasser du disse modeller?

Da grundlæggende AI for det meste fungerer på generiske domænedata, skal anvendt AI samle det op og sørge for, at det fungerer på vores virkelighed med chat eller billetter, om det fungerer med differentierede toner eller ej. Der er forskningen, så arbejder dets resultater ind i produktet.

Vi er overbeviste om vores kvalitetsvurderingssystemer. Vi tror også på reproducerbar og kollaborativ forskning, hvilket er grunden til et par måneder tilbage vi byggede Open Kiwi — en open source-ramme, der implementerer de bedste kvalitetsvurderingssystemer, hvilket gør det virkelig nemt at eksperimentere og iterere med disse modeller under samme rammer, samt at udvikle nye modeller.

Vi var formentlig en af ​​de første virksomheder, der begyndte at bruge kvalitetsestimering i produktionen, og vi har forsket i emnet i meget lang tid. Det betyder, at vi har bedre modeller og en bedre forståelse af problemet end andre virksomheder eller forskere, der arbejder med kvalitetsestimering.

Og priserne går til...

Det er derfor, jeg var meget glad for, at vi genvundet vores titel som det bedste globale system til kvalitetsvurdering af maskinoversættelse ved konferencen for verdens maskinoversættelse tidligere i år. Ikke nok med det, men vi vandt også konkurrencen om automatisk postredigering.

Det var meget vigtigt for os af to grunde. Den første er den indvirkning, som kvalitetsestimering har på vores produktionspipeline, det investeringsafkast, vi får fra det. Og for det er det lige meget, om vi vinder denne eller en hvilken som helst anden konkurrence.

Men på den anden side betyder det at vinde sådanne prestigefyldte priser anerkendelse for Unbabel-brandet, som er afgørende for at få kunders og investorers opmærksomhed. Det er også en vigtig anerkendelse for AI-teamet, hvis arbejde nogle gange er svært at forstå og give kredit til. AI er meget høj risiko, høj belønning. Du kan arbejde i et år og kommer ingen vegne. For eksempel virkede alt det arbejde, vi lavede på vores menneskelige kvalitetsvurdering, ikke, fordi vi bare ikke havde de rigtige værktøjer til det.

Og så disse priser er gode til anerkendelse, for at øge bevidstheden om Unbabel-navnet i erhvervslivet og i den akademiske verden, men de er også gode for moralen. Unbabel er en ren kunstig intelligens-virksomhed. Vi bruger ikke kun AI, vi bygger og opdager faktisk AI, der ikke eksisterer endnu. Og at blive offentligt anerkendt for det betyder alverden for mig. Jeg tror, ​​at mit 9-årige, wannabe-matematiker-selv ville være stolt.

Kilde: https://unbabel.com/blog/best-machine-translation-quality-estimation/