Rozwiązywanie tłumaczenia maszynowego, krok po kroku

Jako dziecko myślałem, że dorosnę, aby zostać matematykiem lub fizykiem. Bardzo wcześnie zrozumiałem, że chcę studiować i prowadzić badania, a nawet zostać nauczycielem w jednej z tych dziedzin. Nie wiedziałem, czym jest AI. W rzeczywistości na pierwszych latach studiów licencjackich na kierunku informatyka wiele razy czułem, że powinienem przejść na matematykę. Cieszę się, że tego nie zrobiłam.

Moja babcia tak naprawdę nie rozumie, na czym polega moja praca, ponieważ aby to zrobić, musisz skorzystać z internetu. Jeśli tego nie zrobisz, a mówię ci, że w Unbabel sprawiamy, że komputery wykonują ludzkie działania automatycznie, prawdopodobnie po prostu usiądziesz i gapisz się na mnie tępo.

W pewnym sensie nie znalazłem się w zupełnie innym miejscu, niż wyobrażałem sobie jako dziecko. Chodzi mi o to, że cała ta dziedzina tłumaczenia maszynowego zaczęła się od Warrena Weavera po drugiej wojnie światowej, po tym, jak matematyk Allen Turing złamał kod Enigmy.

Chodzi o to, że możemy traktować język jako kod. Różnica polega na tym, że kody są formalne, jednoznaczne; a to, co utrudnia tłumaczenie, to właśnie niejednoznaczność.

Stan tłumaczenia maszynowego

Niektórzy ludzie mają jakąś wiedzę na temat tego, co robi Unbabel: tłumaczymy tekst z określonego języka na inny język. Ale inni nawet nie wiedzą, czym jest sztuczna inteligencja. Niektórzy mogą pomyśleć, że wszystko, co robi sztuczna inteligencja, to „roboty”, ale to nie wszystko. Sztuczna inteligencja w pewien sposób naśladuje ludzkie zachowanie, aw niektórych przypadkach jest nawet lepszy niż ludzie na to.

Zacznijmy od podstaw: co robią systemy uczenia maszynowego? Przedstawiasz im obiekt źródłowy, w tym przypadku zdanie, i prosisz, aby coś przewidziały, zdanie docelowe.

Trudność w tłumaczeniu polega na tym, że nie ma złotego standardu. Złoty standard oznacza prawdziwą prawdę. Jeśli próbujesz zmusić maszynę do wykrywania obrazów, pytając „czy to jest kot czy pies?”, Istnieje złota prawda, ponieważ konkretny obraz byłby jednym lub drugim. W tłumaczeniu maszynowym to nie istnieje, ponieważ możesz mieć 20 różnych tłumaczeń, które są równie dobre. Na początek jest to znacznie trudniejszy problem. Co to jest dobre tłumaczenie, a co nie? Jest też fakt, że język jest wysoce niejednoznaczny. Słowa mogą oznaczać bardzo różne rzeczy w różnych kontekstach. Dlatego problem z tłumaczeniem pozostaje w dużej mierze nierozwiązany.

Jeśli przyjrzysz się dokładniej tłumaczeniu maszynowemu, zobaczysz, że nie jest ono o wiele lepsze niż kilka lat temu, wbrew temu, co myśli większość ludzi. Poprzednie wyniki statystycznych systemów tłumaczenia maszynowego wydawały się bardzo nienaturalne lub zrobotyzowane. Dziś mogą brzmieć bardziej płynnie, ale są mniej adekwatne niż poprzednie, które zwykle mają odpowiednią treść, mimo że może być trudniejsze do zrozumienia. W dzisiejszych czasach tłumaczenia maszynowe mogą zawieść katastrofalnie pod względem treści, ale nadal brzmią płynnie. Ogólnie jest to lepszy system.

Tłumaczenie maszynowe doszło do punktu, w którym można przynajmniej zrozumieć istotę tekstu. Staje się coraz bardziej płynny, mimo że modele są nadal bardzo podstawowe i mają niewielką znajomość języka. Nadal pracują głównie nad rodzajem zdania na poziomie zdania. Więc każdy, kto uważa, że ​​tłumaczenie maszynowe jest rozwiązane, najwyraźniej z niego nie korzystał.

Dla Unbabel jako firmy, która sprzedaje swoje pliki wielojęzyczne rozwiązania wsparcia dla dużych firm, które codziennie kontaktują się z tysiącami lub milionami klientów, stanowi to problem, ponieważ najczęściej, gdy wspomina się o tłumaczeniu maszynowym, ludzie natychmiast myślą o błędach, które popełnia. Nie można po prostu wymyślać historii, aby wyglądało na to, że tłumaczenie maszynowe jest idealne, w tym momencie jest. Wciąż wymaga człowieka w pętli, aby nadał mu dodatkową jakość.

Na przykład na czacie jest osoba, która faktycznie rozmawia z drugą osobą, co oznacza, że ​​możesz znacznie szybciej odzyskać sprawność po błędach. Jeśli powiesz coś, co nie ma sensu, osoba po drugiej stronie może powiedzieć „co? Nie rozumiem ”, a następnie spróbujesz ponownie wykonać tłumaczenie.

Zasadniczo oznacza to, że jesteś własną oceną jakości, ponieważ pod koniec dnia to, czego chcesz, to dialog, który działa.

Znaczenie oceny jakości

Szacowanie jakości - to, czego używamy do oceny jakości systemu tłumaczeniowego bez dostępu do tłumaczeń referencyjnych lub interwencji człowieka - jest sekretem tłumaczenia maszynowego. W rzeczywistości niektórzy twierdzili, że może to rozwiązać problem „które jest poprawne tłumaczenie?”, Ponieważ teraz mamy system, który ocenia, jak dobre lub złe jest tłumaczenie. Nie musi to oznaczać, że jest to tłumaczenie dotychczasowy poprawne, ale to jest a poprawne tłumaczenie.

Jednak ocena jakości ma te same trudności co tłumaczenie maszynowe, co oznacza, że ​​można oczekiwać od niej tego samego poziomu dokładności. Największym problemem z tłumaczeniem maszynowym jest to, że zawsze popełnia błędy, ponieważ język jest bardzo trudny do uchwycenia. Albo z powodu modeli, które są zbyt proste ze względu na moc obliczeniową, albo z faktu, że jakikolwiek system uczenia maszynowego popełnia błędy, najlepsze akcje mają około 90 procent. Może się wydawać, że to dużo, ale jeśli się nad tym zastanowić, oznacza to, że jedno na dziesięć zdań będzie błędne.

Ocena jakości to próba przewidzenia tych błędnych zdań lub przynajmniej próba oceny, czy błąd jest krytyczny, czy nie. Zasadniczo pozwoli nam to na używanie tłumaczenia maszynowego z dużo większą pewnością.

W Unbabel poświęcamy dużo czasu na rozwiązanie problemu oceny jakości. Podstawowy zespół AI to ten, który skupił się głównie na tym, odkrywając nowe modele. Następnie jest dużo pracy włożonej w zastosowaną sztuczną inteligencję i produkcję, aby odpowiedzieć na pytania takie jak:

• Jak to działa w potoku?
• Czy jest skalowalne? Czy musimy zmienić cel?
• Jak to działa z naszymi praktycznymi danymi?
• Jak dostosowujesz te modele?

Ponieważ podstawowa sztuczna inteligencja działa głównie na ogólnych danych domeny, zastosowana sztuczna inteligencja musi je odebrać i upewnić się, że działa w naszej rzeczywistości czatu lub biletów, czy działa z różnymi tonami, czy nie. Jest badanie, a następnie praca z jego odkryciami w produkcie.

Mocno wierzymy w nasze systemy oceny jakości. Wierzymy również w powtarzalne i oparte na współpracy badania, dlatego kilka miesięcy temu stworzyliśmy Open Kiwi - framework open source, który implementuje najlepsze systemy oceny jakości, co bardzo ułatwia eksperymentowanie i iterację z tymi modelami w tych samych ramach, a także tworzenie nowych modeli.

Byliśmy prawdopodobnie jedną z pierwszych firm, które zaczęły stosować ocenę jakości w produkcji i od dawna prowadzimy badania na ten temat. Oznacza to, że mamy lepsze modele i lepsze zrozumienie problemu niż inne firmy lub naukowcy zajmujący się oceną jakości.

Nagrody trafiają do…

Dlatego bardzo się ucieszyłem odzyskała tytuł najlepszego globalnego systemu oceny jakości tłumaczenia maszynowego na Konferencji Światowego Tłumaczenia Maszynowego wcześniej w tym roku. Nie tylko to, ale również wygraliśmy konkurs na automatyczną edycję postów.

Było to dla nas bardzo ważne z dwóch powodów. Pierwszą z nich jest wpływ szacowania jakości na nasz ciąg produkcyjny, czyli zwrot z inwestycji, jaki uzyskujemy dzięki temu. I w tym przypadku nie ma znaczenia, czy wygramy ten czy inny konkurs.

Ale z drugiej strony zdobycie tak prestiżowych nagród oznacza uznanie dla marki Unbabel, która jest niezbędna do przyciągnięcia uwagi klientów i inwestorów. Jest to również ważne wyróżnienie dla zespołu AI, którego praca jest czasami trudna do zrozumienia i uznania. AI to bardzo duże ryzyko, wysoka nagroda. Możesz pracować przez rok i donikąd. Na przykład cała praca, jaką wykonaliśmy w zakresie oceny jakości ludzi, nie zadziałała, ponieważ po prostu nie mieliśmy do tego odpowiednich narzędzi.

Dlatego te nagrody są dobre do uznania, aby zwiększyć świadomość marki Unbabel w biznesie i na uczelniach, ale są również dobre dla morale. Unbabel to firma zajmująca się wyłącznie sztuczną inteligencją. Nie używamy tylko sztucznej inteligencji, tak naprawdę budujemy i odkrywamy sztuczną inteligencję, która jeszcze nie istnieje. Publiczne uznanie oznacza dla mnie świat. Myślę, że moja 9-letnia osoba, która chce zostać matematykiem, byłaby dumna.

Źródło: https://unbabel.com/blog/best-machine-translation-quality-estimation/