Lösa maskinöversättning, ett steg i taget

Som barn trodde jag att jag skulle växa upp till matematiker eller fysiker. Jag förstod mycket tidigt att jag ville studera och forska eller till och med bli lärare inom ett av dessa områden. Jag visste inte vad AI var. Under de första åren som grundstudent i datavetenskap kände jag faktiskt att jag skulle byta till matematik många gånger. Jag är glad att jag inte gjorde det.

Min mormor förstår inte riktigt vad mitt jobb är, för att göra det måste du använda internet. Om du inte gör det, och jag säger att Unbabel gör att datorer gör mänskliga handlingar automatiskt, skulle du antagligen bara sitta där och stirra blankt på mig.

På ett sätt hamnade jag inte på en helt annan plats än jag hade tänkt mig som barn. Jag menar, hela detta maskinöversättningsfält började med Warren Weaver efter andra världskriget, efter att Allen Turing, en matematiker, knäckt Enigma-koden.

Tanken är att vi kan behandla språk som en kod. Skillnaden är att koder är formella, otvetydiga; och vad som gör översättningen så svår är exakt tvetydighet.

Tillståndet för maskinöversättning

Vissa har kunskap om vad Unbabel gör: vi översätter en text på ett visst språk till ett annat språk. Men andra vet inte ens vad artificiell intelligens är. Vissa kanske tror att allt AI gör är ”robot saker”, men det är inte det. Vad AI gör är att efterlikna mänskligt beteende på något sätt, och i vissa saker är det ännu bättre än människor på det.

Låt oss börja med grunderna: vad gör maskininlärningssystem? Du presenterar dem för ett källobjekt, i det här fallet en mening, och du ber dem att förutsäga något, en målsats.

Svårigheten med översättning är att det inte finns någon guldstandard. En guldstandard står för den verkliga sanningen. Om du försöker få en maskin att upptäcka bilder genom att fråga "är det här en katt eller en hund?", Finns det en guldsant eftersom en specifik bild skulle vara den ena eller den andra. I maskinöversättning existerar det inte eftersom du kan ha 20 olika översättningar som är lika bra. Det är ett mycket svårare problem till att börja med. Vad är en bra översättning och vad inte? Det finns också det faktum att språket är mycket tvetydigt. Ord kan betyda mycket olika saker i olika sammanhang. Och så är problemet med översättning till stor del olöst.

Om du tittar djupare på maskinöversättning ser du att det inte är så mycket bättre än för några år sedan, trots vad de flesta tror. Tidigare resultat av statistiska maskinöversättningssystem verkade väldigt onaturliga eller robotiska. Idag kanske de låter mer flytande, men de är mindre adekvata än de tidigare, som normalt hade rätt innehåll trots att det kan vara svårare att förstå. Maskinöversättningar kan idag misslyckas katastrofalt med avseende på innehåll, men låter fortfarande flytande. Sammantaget är det ett bättre system.

Maskinöversättning har kommit till en punkt där man åtminstone kan förstå kärnan i texten. Det blir mer flytande trots att modellerna fortfarande är väldigt grundläggande och har lite kunskaper i språket. De arbetar fortfarande mestadels med en slags mening per meningsnivå. Så den som tror att maskinöversättning är löst har tydligt inte använt den.

För Unbabel som ett företag som säljer sitt flerspråkiga supportlösningar för stora företag som interagerar med tusentals eller miljontals kunder varje dag utgör det ett problem eftersom det mesta av tiden, när du nämner maskinöversättning, människor tänker genast på misstagen det gör. Du kan inte bara skapa berättelser så att det verkar som att maskinöversättning är perfekt, det är där det är just nu. Det kräver fortfarande en människa i slingan för att ge den den extra kvaliteten.

I chatten finns det till exempel en person som faktiskt pratar med den andra personen, vilket innebär att du kan återhämta dig från fel mycket snabbare. Om du säger något som inte är vettigt kan personen i andra änden säga ”vad? Jag förstod inte det ”, och sedan försöker du igen översättningen.

Detta innebär i princip att du är din egen kvalitetsuppskattning, för i slutet av dagen är det du vill ha en dialog som fungerar.

Betydelsen av kvalitetsuppskattning

Kvalitetsuppskattning - vad vi använder för att utvärdera ett översättningssystems kvalitet utan tillgång till referensöversättningar eller mänskligt ingripande - är hemligheten med maskinöversättning. Faktum är att vissa har hävdat att det skulle kunna lösa problemet med "vilken är rätt översättning?", För nu har vi ett system på plats som bedömer hur bra eller dålig en översättning är. Det betyder inte nödvändigtvis att en översättning är det d rätt en, men det är a korrekt översättning.

Men kvalitetsuppskattning lider av samma svårigheter som maskinöversättning, vilket innebär att du kan förvänta dig samma noggrannhet från den. Det största problemet med maskinöversättning är att det alltid gör misstag eftersom språket är mycket svårt att förstå. Antingen på grund av modeller som är alltför enkla på grund av beräkningskraft eller på grund av att något maskininlärningssystem kommer att göra misstag, ligger de bästa aktierna på cirka 90 procent. Det kan tyckas mycket, men om du tänker på det betyder det att en av tio meningar kommer att vara fel.

Kvalitetsuppskattning försöker förutse dessa felaktiga meningar, eller åtminstone försöker bedöma om ett fel är kritiskt eller inte. Det kommer i princip att tillåta oss att använda maskinöversättning med mycket högre grad av självförtroende.

På Unbabel har vi ägnat mycket av vår tid åt att lösa kvalitetsuppskattningsproblemet. Det grundläggande AI-teamet är det som mest har varit fokuserat på det och upptäckt nya modeller. Sedan finns det mycket arbete från tillämpad AI och produktion för att svara på frågor som:

• Hur går detta på rörledningen?
• Är det skalbart? Behöver vi ändra målet?
• Hur fungerar det med våra praktiska data?
• Hur gör du anpassningen av dessa modeller?

Eftersom grundläggande AI huvudsakligen fungerar på generisk domendata måste tillämpad AI plocka upp den och se till att den fungerar på vår chatt eller biljetter, om den fungerar med differentierade toner eller inte. Det finns forskningen, sedan arbetar de med sina resultat i produkten.

Vi tror på våra kvalitetsuppskattningssystem. Vi tror också på reproducerbar och samverkande forskning, det är därför för några månader tillbaka Vi byggde Open Kiwi - ett ramverk med öppen källkod som implementerar de bästa kvalitetsbedömningssystemen, vilket gör det väldigt enkelt att experimentera och itera med dessa modeller inom samma ram, liksom att utveckla nya modeller.

Vi var förmodligen ett av de första företagen som började använda kvalitetsuppskattning i produktionen och vi har forskat om ämnet under mycket lång tid. Det betyder att vi har bättre modeller och en bättre förståelse för problemet än andra företag eller forskare som arbetar med kvalitetsuppskattning.

Och priserna går till ...

Det är därför jag var väldigt glad att vi återfick vår titel som bästa globala maskinöversättnings kvalitetsbedömningssystem vid konferensen för världsmaskinöversättning tidigare i år. Inte bara det, men vi vann också tävlingen om automatisk postredigering.

Det var mycket viktigt för oss av två skäl. Den första är den inverkan som kvalitetsuppskattning har på vår produktionsrörledning, avkastningen på investeringen vi får från den. Och för det spelar det ingen roll om vi vinner den här eller någon annan tävling.

Men å andra sidan innebär att vinna sådana prestigefyllda utmärkelser erkännande för Unbabel-varumärket, vilket är viktigt för att få kunder och investerare att uppmärksamma. Det är också ett viktigt erkännande för AI-teamet, vars arbete ibland är svårt att förstå och ge kredit till. AI är mycket hög risk, hög belöning. Du kan arbeta ett år och komma ingenstans. Till exempel, allt arbete vi gjorde med vår mänskliga kvalitetsbedömning fungerade inte, för vi hade bara inte rätt verktyg för det.

Och så är dessa utmärkelser bra för erkännande, för att öka medvetenheten om Unbabel-namnet i näringslivet och i den akademiska världen, men de är också bra för moral. Unbabel är ett rent AI-företag. Vi använder inte bara AI, vi bygger och upptäcker faktiskt AI som inte finns ännu. Och att bli erkänd offentligt för det betyder världen för mig. Jag tror att mitt 9-åriga, wannabe-matematikerjag skulle vara stolt.

Källa: https://unbabel.com/blog/best-machine-translation-quality-estimation/