Masintõlke lahendamine, üks samm korraga

Lapsena arvasin, et minust saab matemaatik või füüsik. Sain väga varakult aru, et tahan õppida ja teadustööd teha või isegi saada õpetajaks ühel neist valdkondadest. Ma ei teadnud, mis on AI. Tegelikult tundsin esimestel arvutiteaduse üliõpilasena mitu korda, et peaksin üle minema matemaatikale. Mul on hea meel, et ma seda ei teinud.

Vanaema ei saa aga päriselt aru, mis minu töö on, sest selleks pead kasutama internetti. Kui te seda ei tee, ja ma ütlen teile, et Unbabelis paneme arvutid inimtegevusi automaatselt tegema, siis tõenäoliselt istuksite lihtsalt seal ja vaataksite mulle tühja pilguga otsa.

Mõnes mõttes ei sattunud ma väga erinevasse kohta, kui olin lapsena ette kujutanud. Ma mõtlen, et kogu see masintõlkevaldkond sai alguse Warren Weaverist pärast Teist maailmasõda, pärast seda, kui matemaatik Allen Turing murdis Enigma koodi.

Idee seisneb selles, et saame käsitleda keelt kui koodi. Erinevus seisneb selles, et koodid on formaalsed, üheselt mõistetavad; ja mis teeb tõlkimise nii raskeks, on just ebaselgus.

Masintõlke seis

Mõned inimesed teavad, mida Unbabel teeb: me tõlgime konkreetses keeles teksti teise keelde. Kuid teised isegi ei tea, mis on tehisintellekt. Mõned võivad arvata, et kõik, mida AI teeb, on "robotite asjad", kuid see pole see. See, mida AI teeb, jäljendab mingil moel inimeste käitumist, ja mõnes asjas on see isegi parem kui inimestel sellel.

Alustame põhitõdedest: mida masinõppesüsteemid teevad? Esitate neile lähteobjekti, antud juhul lause, ja palute neil midagi ennustada, sihtlause.

Tõlkimise raskus seisneb selles, et puudub kullastandard. Kuldstandard tähistab tegelikku tõde. Kui proovite panna masinat kujutisi tuvastama, küsides "kas see on kass või koer?", on see kuldne tõde, sest konkreetne pilt oleks üks või teine. Masintõlkes seda ei eksisteeri, sest teil võib olla 20 erinevat tõlget, mis on võrdselt head. Alustuseks on see palju raskem probleem. Mis on hea tõlge ja mis mitte? Samuti on tõsiasi, et keel on väga mitmetähenduslik. Sõnad võivad erinevates kontekstides tähendada väga erinevaid asju. Ja nii on tõlkeprobleem suures osas lahendamata.

Kui vaatate masintõlkesse sügavamalt, näete, et see pole kuigi palju parem kui paar aastat tagasi, hoolimata sellest, mida enamik inimesi arvab. Varasemad statistiliste masintõlkesüsteemide väljundid tundusid väga ebaloomulikud või robotlikud. Tänapäeval võivad need kõlada ladusamalt, kuid need on vähem adekvaatsed kui eelmised, millel oli tavaliselt õige sisu, kuigi sellest võib olla raskem aru saada. Masintõlked võivad tänapäeval sisuliselt katastroofiliselt ebaõnnestuda, kuid kõlavad siiski ladusalt. Üldiselt on see parem süsteem.

Masintõlge on jõudnud punkti, kus saab vähemalt teksti olemusest aru. See muutub sujuvamaks, hoolimata sellest, et mudelid on endiselt väga elementaarsed ja neil on vähe keelt. Nad töötavad endiselt peamiselt teatud lause tasemel. Nii et igaüks, kes arvab, et masintõlge on lahendatud, pole seda ilmselgelt kasutanud.

Unbabelile kui ettevõttele, kes oma müüb mitmekeelsed tugilahendused suurettevõtetele, kes suhtlevad iga päev tuhandete või miljonite klientidega, tekitab see probleeme, sest enamasti, kui mainite masintõlget, inimesed mõtlevad kohe selle tehtud vigadele. Te ei saa lihtsalt lugusid välja mõelda, et jätta mulje, et masintõlge on täiuslik, see on praegu koht, kus see on. See nõuab endiselt inimest, kes annaks sellele täiendava kvaliteedi.

Näiteks vestluses on inimene, kes tegelikult teise inimesega räägib, mis tähendab, et saate vigadest palju kiiremini taastuda. Kui ütlete midagi, millel pole mõtet, võib teises otsas olev inimene öelda "mida? Ma ei saanud sellest aru”, ja siis proovite tõlkida uuesti.

Põhimõtteliselt tähendab see, et hindate oma kvaliteeti, sest lõppkokkuvõttes soovite dialoogi, mis toimib.

Kvaliteedihinnangu tähtsus

Kvaliteedihinnang – see, mida me kasutame tõlkesüsteemi kvaliteedi hindamiseks ilma viitetõlgetele juurdepääsuta või inimese sekkumiseta – on masintõlke saladus. Tegelikult on mõned inimesed väitnud, et see võib lahendada probleemi „milline tõlge on õige?”, sest nüüd on meil olemas süsteem, mis hindab, kui hea või halb tõlge on. See ei tähenda tingimata, et tõlge on the,en õige, aga nii see on a õige tõlge.

Kuid kvaliteedi hindamine kannatab samade raskuste all nagu masintõlge, mis tähendab, et võite eeldada sama täpsuse taset. Masintõlke suurim probleem on see, et see teeb alati vigu, sest keelt on väga raske mõista. Kas arvutusvõimsuse tõttu liiga lihtsate mudelite või asjaolu tõttu, et iga masinõppesüsteem teeb vigu, on parimad aktsiad umbes 90 protsenti. See võib tunduda palju, kuid kui järele mõelda, tähendab see, et iga kümnes lause on vale.

Kvaliteedihinnang püüab neid valesid lauseid ennustada või vähemalt otsustada, kas viga on kriitiline või mitte. Põhimõtteliselt võimaldab see meil kasutada masintõlget palju suurema kindlustundega.

Oleme Unbabelis pühendanud palju aega kvaliteedi hindamise probleemi lahendamisele. AI põhimeeskond on see, kes on sellele peamiselt keskendunud, avastades uusi mudeleid. Seejärel tuleb rakendusliku AI ja tootmisega palju tööd teha, et vastata järgmistele küsimustele:

• Kuidas see torujuhtmel töötab?
• Kas see on skaleeritav? Kas peame eesmärki muutma?
• Kuidas see meie praktiliste andmetega töötab?
• Kuidas te neid mudeleid kohandate?

Kuna põhiline AI töötab enamasti üldistel domeeniandmetel, peab rakenduslik AI need üles võtma ja veenduma, et see toimib meie vestluse või piletite tegelikkuses, olenemata sellest, kas see töötab erinevate toonidega või mitte. Seal on uuringud, seejärel rakendatakse selle tulemusi tootesse.

Me usume kindlalt oma kvaliteedi hindamissüsteemidesse. Usume ka reprodutseeritavatesse ja koostööpõhistesse uuringutesse, mistõttu paar kuud tagasi ehitasime Open Kiwi – avatud lähtekoodiga raamistiku, mis rakendab parimaid kvaliteedihinnangusüsteeme, mis muudab nende mudelitega sama raamistiku katsetamise ja itereerimise väga lihtsaks, samuti uute mudelite väljatöötamise.

Tõenäoliselt olime üks esimesi ettevõtteid, kes hakkas tootmises kvaliteedihinnangut kasutama ja oleme selleteemalist uurimistööd teinud juba väga pikka aega. See tähendab, et meil on paremad mudelid ja parem arusaam probleemist kui teistel kvaliteedihinnanguga tegelevatel ettevõtetel või teadlastel.

Ja auhinnad saavad…

Sellepärast olin meiega väga õnnelik sai maailma masintõlkekonverentsil tagasi meie parima ülemaailmse masintõlke kvaliteedi hindamissüsteemi tiitli varem sel aastal. Vähe sellest, võitsime ka automaatse postituse redigeerimise konkursi.

See oli meie jaoks väga oluline kahel põhjusel. Esimene on mõju, mida kvaliteedihinnang avaldab meie tootmistorustikule, sellest saadav investeeringutasuvus. Ja selleks pole tegelikult vahet, kas võidame selle või mõne muu konkursi.

Kuid teisest küljest tähendab selliste prestiižsete auhindade võitmine Unbabeli kaubamärgi tunnustust, mis on klientide ja investorite tähelepanu võitmiseks hädavajalik. See on oluline tunnustus ka tehisintellekti meeskonnale, kelle tööd on mõnikord raske mõista ja sellele au anda. AI on väga suure riskiga, kõrge tasuga. Saate töötada aasta ja ei jõua kuhugi. Näiteks kogu inimliku kvaliteedi hindamisega tehtud töö ei toiminud, kuna meil lihtsalt polnud selleks õigeid tööriistu.

Ja seega on need auhinnad head tunnustuseks, suurendamaks teadlikkust Unbabeli nimest äris ja akadeemilistes ringkondades, kuid need on head ka moraalile. Unbabel on puhtalt AI ettevõte. Me ei kasuta ainult AI-d, vaid me tegelikult ehitame ja avastame AI-d, mida veel pole. Ja selle eest avalik tunnustus tähendab minu jaoks maailma. Ma arvan, et mu 9-aastane wannabe matemaatik oleks uhke.

Allikas: https://unbabel.com/blog/best-machine-translation-quality-estimation/