Reševanje strojnega prevajanja, korak po korak

Kot otrok sem mislil, da bom odrasel v matematika ali fizika. Že zelo zgodaj sem razumel, da želim študirati in raziskovati ali celo postati učitelj na enem od teh področij. Nisem vedel, kaj je AI. Pravzaprav sem v prvih letih dodiplomskega študija računalništva velikokrat čutil, da bi moral preiti na matematiko. Vesel sem, da nisem.

Moja babica pa res ne razume, kaj je moje delo, saj moraš za to uporabljati internet. Če tega ne storite, in povem vam, da pri Unbabelu poskrbimo, da računalniki samodejno izvajajo človeška dejanja, bi verjetno samo sedeli tam in neumno strmeli vame.

Na nek način nisem končal v zelo drugačnem kraju, kot sem si ga predstavljal kot otrok. Mislim, celotno področje strojnega prevajanja se je začelo z Warrenom Weaverjem po drugi svetovni vojni, potem ko je Allen Turing, matematik, razbil kodo Enigma.

Ideja je, da lahko jezik obravnavamo kot kodo. Razlika je v tem, da so kode formalne, nedvoumne; in tisto, zaradi česar je prevod tako težak, je prav dvoumnost.

Stanje strojnega prevajanja

Nekateri ljudje imajo nekaj znanja o tem, kaj počne Unbabel: prevedemo besedilo v določenem jeziku v drug jezik. Toda drugi sploh ne vedo, kaj je umetna inteligenca. Nekateri morda mislijo, da so vse, kar počne AI, "robotske stvari", vendar to ni to. AI na nek način posnema človeško vedenje, in v nekaterih stvareh je celo boljši od ljudi pri tem.

Začnimo z osnovami: kaj počnejo sistemi strojnega učenja? Predstavite jim izvorni predmet, v tem primeru stavek, in jih prosite, naj nekaj napovejo, ciljni stavek.

Težava pri prevajanju je, da ni zlatega standarda. Zlati standard pomeni dejansko resnico. Če poskušate pripraviti stroj, da zazna slike z vprašanjem "je to mačka ali pes?", obstaja zlata resnica, saj bi bila določena slika eno ali drugo. Pri strojnem prevajanju to ne obstaja, ker imate lahko 20 različnih prevodov, ki so enako dobri. Za začetek je veliko težji problem. Kaj je dober prevod in kaj ne? Obstaja tudi dejstvo, da je jezik zelo dvoumen. Besede lahko v različnih kontekstih pomenijo zelo različne stvari. In tako je problem s prevajanjem večinoma nerešen.

Če pogledate globlje v strojno prevajanje, boste videli, da ni toliko bolje kot je bilo pred nekaj leti, kljub temu, kar večina misli. Prejšnji rezultati statističnih sistemov za strojno prevajanje so se zdeli zelo nenaravni ali robotizirani. Danes morda zvenijo bolj tekoče, vendar so manj primerni kot prejšnji, ki so običajno imeli pravo vsebino, čeprav bi jo bilo težje razumeti. Strojni prevodi so dandanes lahko katastrofalno neuspešni v smislu vsebine, vendar še vedno zvenijo tekoče. Na splošno je to boljši sistem.

Strojno prevajanje je prišlo do točke, ko je mogoče razumeti vsaj bistvo besedila. Postaja vse bolj tekoč, čeprav so modeli še vedno zelo osnovni in imajo malo znanja jezika. Še vedno večinoma delajo na nekem nivoju stavka na stavek. Kdor torej misli, da je strojno prevajanje rešeno, ga očitno ni uporabil.

Za podjetje Unbabel kot podjetje, ki prodaja svojo večjezične podporne rešitve večjim podjetjem, ki vsak dan komunicirajo s tisoči ali milijoni strank, predstavlja težavo, ker večino časa, ko omeniš strojno prevajanje, ljudje takoj pomislijo na napake, ki jih naredi. Ne morete si kar izmišljevati zgodb, da bi se zdelo, da je strojno prevajanje popolno, na tej točki je tam, kjer je. Še vedno zahteva človeka v zanki, ki mu da tisto dodatno kakovost.

V klepetu je na primer oseba, ki se dejansko pogovarja z drugo osebo, kar pomeni, da si lahko veliko hitreje opomorete od napak. Če rečete nekaj, kar nima smisla, lahko oseba na drugi strani reče »kaj? Tega nisem razumel«, nato pa boste znova poskusili prevod.

To v bistvu pomeni, da sami ocenjujete kakovost, saj na koncu dneva želite dialog, ki deluje.

Pomen ocene kakovosti

Ocena kakovosti – tisto, kar uporabljamo za oceno kakovosti prevajalskega sistema brez dostopa do referenčnih prevodov ali človeškega posredovanja – je skrivnost strojnega prevajanja. Pravzaprav so nekateri trdili, da bi to lahko rešilo problem "kateri je pravilen prevod?", saj imamo zdaj vzpostavljen sistem, ki ocenjuje, kako dober ali slab je prevod. To ne pomeni nujno, da prevod je o pravilno, ampak je a pravilen prevod.

Toda ocena kakovosti ima enake težave kot strojno prevajanje, kar pomeni, da lahko pričakujete enako stopnjo natančnosti. Največja težava strojnega prevajanja je, da vedno povzroča napake, ker je jezik zelo težko razumeti. Bodisi zaradi modelov, ki so preveč preprosti zaradi računske moči, bodisi zaradi dejstva, da bo kateri koli sistem strojnega učenja delal napake, so najboljše delnice okoli 90 odstotkov. To se morda zdi veliko, a če dobro pomislite, to pomeni, da bo vsak deseti stavek napačen.

Ocena kakovosti poskuša predvideti te napačne stavke ali vsaj presoditi, ali je napaka kritična ali ne. V bistvu nam bo omogočilo uporabo strojnega prevajanja z veliko večjo stopnjo zaupanja.

V podjetju Unbabel smo veliko časa posvetili reševanju problema ocenjevanja kakovosti. Temeljna ekipa AI je tista, ki je bila večinoma osredotočena na to, odkrivanje novih modelov. Nato je treba vložiti veliko dela z umetno inteligenco in proizvodnjo, da odgovorimo na vprašanja, kot so:

• Kako to poteka na cevovodu?
• Je razširljiv? Moramo spremeniti cilj?
• Kako deluje z našimi praktičnimi podatki?
• Kako poteka prilagajanje teh modelov?

Ker osnovni AI deluje večinoma na generičnih podatkih o domeni, jih mora uporabni AI pobrati in zagotoviti, da deluje v naši realnosti klepeta ali vstopnic, ne glede na to, ali deluje z diferenciranimi toni ali ne. Sledi raziskava, nato pa se njene ugotovitve vnašajo v izdelek.

Trdno verjamemo v naše sisteme ocenjevanja kakovosti. Verjamemo tudi v ponovljive in skupne raziskave, zato nekaj mesecev nazaj zgradili smo Open Kiwi — odprtokodno ogrodje, ki implementira najboljše sisteme za ocenjevanje kakovosti, zaradi česar je zelo enostavno eksperimentirati in ponavljati te modele v istem okviru ter razvijati nove modele.

Verjetno smo bili eno prvih podjetij, ki je začelo uporabljati ocenjevanje kakovosti v proizvodnji in na to temo se ukvarjamo že zelo dolgo. To pomeni, da imamo boljše modele in boljše razumevanje problema kot druga podjetja ali raziskovalci, ki delajo na ocenjevanju kakovosti.

In nagrade gredo …

Zato sem bil zelo vesel, da smo smo ponovno pridobili naslov najboljšega globalnega sistema za ocenjevanje kakovosti strojnega prevajanja na konferenci za svetovno strojno prevajanje v začetku tega leta. Ne samo to, zmagali smo tudi na tekmovanju v avtomatskem urejanju objav.

Za nas je bilo zelo pomembno iz dveh razlogov. Prvi je vpliv, ki ga ima ocena kakovosti na naš proizvodni cevovod, donosnost naložbe, ki jo dobimo od tega. In za to je povsem vseeno, ali zmagamo na tem ali katerem drugem tekmovanju.

Po drugi strani pa osvojitev tako prestižnih nagrad pomeni priznanje za blagovno znamko Unbabel, ki je ključnega pomena za pridobivanje pozornosti kupcev in vlagateljev. To je tudi pomembno priznanje za ekipo AI, katere delo je včasih težko razumeti in mu pripisati priznanje. Umetna inteligenca je zelo visoko tveganje, visoka nagrada. Lahko delaš eno leto in ne prideš nikamor. Na primer, vse delo, ki smo ga opravili pri naši oceni kakovosti ljudi, ni delovalo, ker enostavno nismo imeli pravih orodij za to.

In zato so te nagrade dobre za priznanje, za večjo prepoznavnost imena Unbabel v podjetjih in v akademskem krogu, dobre pa so tudi za moralo. Unbabel je izključno podjetje z umetno inteligenco. Ne uporabljamo samo umetne inteligence, ampak dejansko gradimo in odkrivamo umetno inteligenco, ki še ne obstaja. In biti javno priznan za to mi pomeni svet. Mislim, da bi bil moj 9-letnik, ki bi rad postal matematik, ponosen.

Vir: https://unbabel.com/blog/best-machine-translation-quality-estimation/