Løsning av maskinoversettelse, ett trinn av gangen

Som barn trodde jeg at jeg skulle vokse opp til å bli matematiker eller fysiker. Jeg forsto veldig tidlig at jeg ønsket å studere og forske, eller til og med bli lærer, innen et av disse feltene. Jeg visste ikke hva AI var. Faktisk, i løpet av de første årene som studenter i informatikk, følte jeg mange ganger at jeg skulle bytte til matematikk. Jeg er glad jeg ikke gjorde det.

Min bestemor forstår ikke egentlig hva jobben min er, for for å gjøre det må du bruke internett. Hvis du ikke gjør det, og jeg forteller deg at hos Unbabel får vi datamaskiner til å gjøre menneskelige handlinger automatisk, vil du sannsynligvis bare sitte der og stirre blankt tilbake på meg.

På en måte havnet jeg ikke et helt annet sted enn jeg hadde sett for meg som barn. Jeg mener, hele dette maskinoversettelsesfeltet startet med Warren Weaver etter andre verdenskrig, etter at Allen Turing, en matematiker, knakk Enigma-koden.

Tanken er at vi kan behandle språk som en kode. Forskjellen er at koder er formelle, entydige; og det som gjør oversettelsen så vanskelig er nettopp tvetydighet.

Tilstanden med maskinoversettelse

Noen mennesker har en slags kunnskap om hva Unbabel gjør: vi oversetter en tekst på et bestemt språk til et annet språk. Men andre vet ikke engang hva kunstig intelligens er. Noen tror kanskje alt AI gjør er "robot ting", men det er ikke det. Det AI gjør er å etterligne menneskelig atferd, på en eller annen måte, og i noen ting er det enda bedre enn mennesker på det.

La oss starte med det grunnleggende: hva gjør maskinlæringssystemer? Du presenterer dem for et kildeobjekt, i dette tilfellet en setning, og du ber dem om å forutsi noe, en målsetning.

Vanskeligheten med oversettelse er at det ikke er noen gullstandard. En gullstandard står for den faktiske sannheten. Hvis du prøver å få en maskin til å oppdage bilder ved å spørre "er dette en katt eller en hund?", Er det en gullsannhet fordi et bestemt bilde ville være det ene eller det andre. I maskinoversettelse eksisterer dette ikke, fordi du kan ha 20 forskjellige oversettelser som er like gode. Det er et mye vanskeligere problem til å begynne med. Hva er en god oversettelse, og hva er det ikke? Det er også det faktum at språk er svært tvetydig. Ord kan bety veldig forskjellige ting i forskjellige sammenhenger. Og så er problemet med oversettelse stort sett uløst.

Hvis du ser dypere på maskinoversettelse, vil du se at det ikke er så mye bedre enn det var for noen år siden, til tross for hva folk flest tror. Tidligere utganger av statistiske maskinoversettelsessystemer virket veldig unaturlige eller robotiske. I dag kan de høres mer flytende ut, men de er mindre adekvate enn de forrige, som normalt hadde riktig innhold, selv om det kan være vanskeligere å forstå. Maskinoversettelser i vår tid kan mislykkes katastrofalt når det gjelder innhold, men fremdeles høres flytende ut. Samlet sett er det et bedre system.

Maskinoversettelse har kommet til et punkt der man i det minste kan forstå innholdet i teksten. Det blir mer flytende, til tross for at modellene fremdeles er veldig grunnleggende og har lite kunnskap om språk. De jobber fremdeles mest med en slags setning per setningsnivå. Så alle som tror at maskinoversettelse er løst, har tydeligvis ikke brukt den.

For Unbabel som et selskap, som selger sitt flerspråklige støtteløsninger til store selskaper som kommuniserer med tusenvis eller millioner av kunder hver dag, utgjør det et problem fordi det meste av tiden, når du nevner maskinoversettelse, folk tenker umiddelbart på feilene det gjør. Du kan ikke bare finne på historier for å få det til å virke som maskinoversettelse er perfekt, det er der det er på dette punktet. Det krever fortsatt et menneske i løkken for å gi det den ekstra kvaliteten.

I chat er det for eksempel en person som faktisk snakker med den andre personen, noe som betyr at du kan gjenopprette fra feil mye raskere. Hvis du sier noe som ikke gir mening, kan personen i den andre enden si “hva? Jeg fikk det ikke ”, og så prøver du oversettelsen på nytt.

Dette betyr i utgangspunktet at du er din egen kvalitetsestimering, fordi det du vil ha, på slutten av dagen, er en dialog som fungerer.

Betydningen av kvalitetsestimering

Kvalitetsestimering - det vi bruker for å evaluere et oversettelsessystems kvalitet uten tilgang til referanseoversettelser eller menneskelig inngripen - er hemmeligheten bak maskinoversettelse. Faktisk har noen hevdet at det kan løse problemet med "hva er riktig oversettelse?", For nå har vi et system på plass som vurderer hvor god eller dårlig en oversettelse er. Det betyr ikke nødvendigvis at en oversettelse er det de riktig, men det er det a riktig oversettelse.

Men kvalitetsestimering lider av alle de samme vanskelighetene som maskinoversettelse, noe som betyr at du kan forvente samme nøyaktighetsnivå fra den. Det største problemet med maskinoversettelse er at det alltid gjør feil fordi språk er veldig vanskelig å forstå. Enten på grunn av modeller som er altfor enkle på grunn av beregningskraft eller på grunn av at noe maskinlæringssystem vil gjøre feil, ligger de beste aksjene på rundt 90 noe prosent. Det kan virke som mye, men hvis du tenker på det, betyr det at en av ti setninger kommer til å bli feil.

Kvalitetsestimering prøver å forutsi de gale setningene, eller i det minste prøver å bedømme om en feil er kritisk eller ikke. Det vil i utgangspunktet tillate oss å bruke maskinoversettelse med en mye høyere grad av selvtillit.

Hos Unbabel har vi viet mye av vår tid til å løse kvalitetsestimeringsproblemet. Det grunnleggende AI-teamet er det som mest har vært fokusert på det og oppdaget nye modeller. Så er det lagt ned mye arbeid fra anvendt AI og produksjon for å svare på spørsmål som:

• Hvordan kjører dette på rørledningen?
• Er det skalerbart? Må vi endre målet?
• Hvordan fungerer det med de praktiske dataene våre?
• Hvordan gjør du tilpasningen av disse modellene?

Siden grunnleggende AI fungerer hovedsakelig på generiske domenedata, må anvendt AI plukke den opp og sørge for at den fungerer på vår realitet med chat eller billetter, hvis den fungerer med differensierte toner eller ikke. Det er forskningen, så jobber det funnene med produktet.

Vi tror på våre kvalitetsestimeringssystemer. Vi tror også på reproduserbar og samarbeidende forskning, og det er derfor noen måneder tilbake vi bygget Open Kiwi - et open source-rammeverk som implementerer de beste kvalitetsestimeringssystemene, noe som gjør det veldig enkelt å eksperimentere og itere med disse modellene under samme rammeverk, samt å utvikle nye modeller.

Vi var sannsynligvis et av de første selskapene som begynte å bruke kvalitetsestimering i produksjonen, og vi har forsket på emnet i veldig lang tid. Dette betyr at vi har bedre modeller og bedre forståelse av problemet enn andre selskaper eller forskere som jobber med kvalitetsestimering.

Og prisene går til ...

Dette var grunnen til at jeg var veldig glad vi gjenvunnet vår tittel som det beste globale maskinoversettelsessystemet for kvalitetsestimering på konferansen for verdens maskinoversettelse tidligere i år. Ikke bare det, men vi vant også konkurransen om automatisk redigering av innlegg.

Det var veldig viktig for oss av to grunner. Den første er innvirkningen som kvalitetsestimering har på produksjonsrørledningen vår, avkastningen på investeringen vi får fra den. Og for det spiller det ingen rolle om vi vinner denne eller andre konkurranser.

Men på den annen side betyr å vinne slike prestisjetunge priser anerkjennelse for Unbabel-merket, noe som er viktig for å få kundenes og investorenes oppmerksomhet. Det er også en viktig anerkjennelse for AI-teamet, hvis arbeid noen ganger er vanskelig å forstå og gi kreditt til. AI er veldig høy risiko, høy belønning. Du kan jobbe i ett år og komme deg ingen vei. For eksempel virket ikke alt arbeidet vi gjorde på vårt menneskelige kvalitetsestimat, fordi vi bare ikke hadde de riktige verktøyene til det.

Og så er disse prisene bra for anerkjennelse, for å øke bevisstheten om Unbabel-navnet i næringslivet og i akademia, men de er også gode for moral. Unbabel er et rent AI-selskap. Vi bruker ikke bare AI, vi bygger og oppdager faktisk AI som ikke eksisterer ennå. Og å bli offentlig anerkjent for det betyr verden for meg. Jeg tror min 9 år gamle, wannabe matematiker selv ville være stolt.

Kilde: https://unbabel.com/blog/best-machine-translation-quality-estimation/