Schritt für Schritt die maschinelle Übersetzung lösen

Als Kind dachte ich, ich würde Mathematiker oder Physiker werden. Mir war schon sehr früh klar, dass ich in einem dieser Bereiche studieren und forschen oder gar Lehrerin werden möchte. Ich wusste nicht, was KI ist. Tatsächlich hatte ich in den ersten Jahren als Bachelor-Student in Informatik oft das Gefühl, dass ich zur Mathematik wechseln sollte. Ich bin froh, dass ich es nicht getan habe.

Meine Großmutter versteht allerdings nicht so recht, was ich beruflich mache, denn dazu muss man das Internet nutzen. Wenn Sie das nicht tun, und ich sage Ihnen, dass wir bei Unbabel Computer dazu bringen, menschliche Handlungen automatisch auszuführen, würden Sie wahrscheinlich nur dasitzen und mich verständnislos anstarren.

In gewisser Weise bin ich nicht an einem ganz anderen Ort gelandet, als ich es mir als Kind vorgestellt hatte. Ich meine, dieser ganze Bereich der maschinellen Übersetzung begann mit Warren Weaver nach dem Zweiten Weltkrieg, nachdem Allen Turing, ein Mathematiker, den Enigma-Code geknackt hatte.

Die Idee ist, dass wir Sprache als Code behandeln können. Der Unterschied besteht darin, dass Codes formal und eindeutig sind; und was die Übersetzung so schwierig macht, ist genau die Mehrdeutigkeit.

Der Stand der maschinellen Übersetzung

Einige Leute wissen ungefähr, was Unbabel tut: Wir übersetzen einen Text in einer bestimmten Sprache in eine andere Sprache. Aber andere wissen nicht einmal, was künstliche Intelligenz ist. Einige mögen denken, dass alles, was KI tut, „Roboterdinge“ sind, aber das ist es nicht. Was KI tut, ahmt in gewisser Weise menschliches Verhalten nach, und in manchen Dingen sogar besser als Menschen daran.

Beginnen wir mit den Grundlagen: Was leisten maschinelle Lernsysteme? Sie präsentieren ihnen ein Ausgangsobjekt, in diesem Fall einen Satz, und bitten sie, etwas vorherzusagen, einen Zielsatz.

Die Schwierigkeit bei der Übersetzung besteht darin, dass es keinen Goldstandard gibt. Ein Goldstandard steht für die tatsächliche Wahrheit. Wenn Sie versuchen, eine Maschine dazu zu bringen, Bilder zu erkennen, indem Sie fragen: „Ist das eine Katze oder ein Hund?“, gibt es eine goldene Wahrheit, weil ein bestimmtes Bild das eine oder andere wäre. Bei der maschinellen Übersetzung gibt es das nicht, weil man 20 verschiedene Übersetzungen haben kann, die gleich gut sind. Es ist ein viel schwierigeres Problem, mit anzufangen. Was ist eine gute Übersetzung und was nicht? Hinzu kommt, dass Sprache höchst mehrdeutig ist. Wörter können in verschiedenen Zusammenhängen sehr unterschiedliche Bedeutungen haben. Damit ist das Übersetzungsproblem weitgehend ungelöst.

Wenn Sie sich genauer mit der maschinellen Übersetzung befassen, werden Sie feststellen, dass sie nicht viel besser ist als noch vor ein paar Jahren, ungeachtet dessen, was die meisten Leute denken. Frühere Ausgaben statistischer maschineller Übersetzungssysteme wirkten sehr unnatürlich oder roboterhaft. Heute mögen sie flüssiger klingen, aber sie sind weniger angemessen als die vorherigen, die normalerweise den richtigen Inhalt hatten, obwohl es schwieriger sein könnte, ihn zu verstehen. Maschinelle Übersetzungen können heutzutage zwar inhaltlich katastrophal versagen, klingen aber dennoch flüssig. Insgesamt ist es ein besseres System.

Die maschinelle Übersetzung ist an einem Punkt angelangt, an dem man zumindest den Kern des Textes verstehen kann. Es wird flüssiger, obwohl die Modelle immer noch sehr einfach sind und wenig Sprachkenntnisse haben. Sie arbeiten immer noch hauptsächlich auf einer Art Satz-für-Satz-Ebene. Wer also denkt, dass die maschinelle Übersetzung gelöst ist, hat sie eindeutig nicht genutzt.

Für Unbabel als Unternehmen, das seine verkauft mehrsprachige Support-Lösungen Für große Unternehmen, die täglich mit Tausenden oder Millionen von Kunden interagieren, stellt dies ein Problem dar, da die meiste Zeit, wenn Sie maschinelle Übersetzung erwähnen, Die Leute denken sofort an die Fehler, die es macht. Sie können sich nicht einfach Geschichten ausdenken, um den Anschein zu erwecken, dass die maschinelle Übersetzung perfekt ist, aber an diesem Punkt ist es so. Es erfordert immer noch einen Menschen in der Schleife, um ihm das gewisse Extra an Qualität zu verleihen.

Im Chat gibt es beispielsweise eine Person, die tatsächlich mit der anderen Person spricht, was bedeutet, dass Sie sich viel schneller von Fehlern erholen können. Wenn Sie etwas sagen, das keinen Sinn ergibt, könnte die Person am anderen Ende sagen: „Was? Das habe ich nicht verstanden“, und dann versuchen Sie es erneut mit der Übersetzung.

Das bedeutet im Grunde, dass Sie Ihre eigene Qualitätseinschätzung sind, denn was Sie am Ende des Tages wollen, ist ein Dialog, der funktioniert.

Die Bedeutung der Qualitätsschätzung

Qualitätsschätzung – was wir verwenden, um die Qualität eines Übersetzungssystems ohne Zugriff auf Referenzübersetzungen oder menschliches Eingreifen zu bewerten – ist das Geheimnis der maschinellen Übersetzung. Tatsächlich haben einige Leute behauptet, dass es das Problem „Welche ist die richtige Übersetzung?“ lösen könnte, weil wir jetzt ein System haben, das bewertet, wie gut oder schlecht eine Übersetzung ist. Es bedeutet nicht unbedingt, dass eine Übersetzung ist richtig, aber es ist a korrekte Übersetzung.

Aber die Qualitätsschätzung leidet unter den gleichen Schwierigkeiten wie die maschinelle Übersetzung, was bedeutet, dass Sie von ihr die gleiche Genauigkeit erwarten können. Das größte Problem bei der maschinellen Übersetzung ist, dass sie immer Fehler macht, weil die Sprache sehr schwer zu verstehen ist. Entweder aufgrund von Modellen, die aufgrund der Rechenleistung allzu einfach sind, oder aufgrund der Tatsache, dass jedes maschinelle Lernsystem Fehler macht, liegen die besten Aktien bei etwa 90 Prozent. Das mag viel erscheinen, aber wenn Sie darüber nachdenken, bedeutet das, dass einer von zehn Sätzen falsch sein wird.

Die Qualitätsschätzung versucht, diese falschen Sätze vorherzusagen oder zumindest zu beurteilen, ob ein Fehler kritisch ist oder nicht. Es wird uns im Grunde ermöglichen, maschinelle Übersetzungen mit einem viel höheren Maß an Vertrauen zu verwenden.

Bei Unbabel haben wir viel Zeit darauf verwendet, das Problem der Qualitätsschätzung zu lösen. Das grundlegende KI-Team ist dasjenige, das sich hauptsächlich darauf konzentriert hat, neue Modelle zu entdecken. Dann wird viel Arbeit aus der angewandten KI und der Produktion investiert, um Fragen zu beantworten wie:

• Wie läuft das auf der Pipeline ab?
• Ist es skalierbar? Müssen wir das Ziel ändern?
• Wie funktioniert das mit unseren Praxisdaten?
• Wie machen Sie die Adaption dieser Modelle?

Da die grundlegende KI hauptsächlich mit generischen Domänendaten arbeitet, muss die angewandte KI sie aufgreifen und sicherstellen, dass sie in unserer Realität von Chats oder Tickets funktioniert, ob sie mit differenzierten Tönen funktioniert oder nicht. Da ist die Forschung, dann die Einarbeitung der Erkenntnisse in das Produkt.

Wir glauben fest an unsere Qualitätsbewertungssysteme. Wir glauben auch an reproduzierbare und kollaborative Forschung, weshalb ein paar Monate zurück Wir haben Open Kiwi entwickelt – ein Open-Source-Framework, das die besten Qualitätsschätzungssysteme implementiertDies macht es wirklich einfach, mit diesen Modellen im gleichen Rahmen zu experimentieren und zu iterieren sowie neue Modelle zu entwickeln.

Wir waren wahrscheinlich eines der ersten Unternehmen, das begonnen hat, die Qualitätsschätzung in der Produktion einzusetzen, und wir forschen sehr lange zu diesem Thema. Das bedeutet, dass wir über bessere Modelle und ein besseres Verständnis des Problems verfügen als andere Unternehmen oder Forscher, die an der Qualitätsschätzung arbeiten.

Und die Auszeichnungen gehen an …

Deshalb habe ich mich sehr gefreut hat unseren Titel als bestes globales Qualitätsschätzungssystem für maschinelle Übersetzungen auf der Conference for World Machine Translation wiedererlangt früher in diesem Jahr. Nicht nur das, wir haben auch den Wettbewerb zur automatischen Nachbearbeitung gewonnen.

Es war für uns aus zwei Gründen sehr wichtig. Der erste ist die Auswirkung, die die Qualitätsschätzung auf unsere Produktionspipeline hat, die Kapitalrendite, die wir daraus ziehen. Und dabei spielt es keine Rolle, ob wir diesen oder einen anderen Wettbewerb gewinnen.

Andererseits bedeutet der Gewinn solch prestigeträchtiger Auszeichnungen Anerkennung für die Marke Unbabel, die unerlässlich ist, um die Aufmerksamkeit von Kunden und Investoren zu gewinnen. Es ist auch eine wichtige Anerkennung für das KI-Team, dessen Arbeit manchmal schwer zu verstehen und zu würdigen ist. KI ist ein sehr hohes Risiko, eine hohe Belohnung. Du kannst ein Jahr arbeiten und kommst nirgendwo hin. Zum Beispiel hat all die Arbeit, die wir an unserer Einschätzung der menschlichen Qualität geleistet haben, nicht funktioniert, weil wir einfach nicht die richtigen Werkzeuge dafür hatten.

Diese Auszeichnungen sind also gut für die Anerkennung, um den Bekanntheitsgrad des Namens Unbabel in Wirtschaft und Wissenschaft zu steigern, aber sie sind auch gut für die Moral. Unbabel ist ein reines KI-Unternehmen. Wir verwenden nicht nur KI, wir bauen und entdecken tatsächlich KI, die es noch nicht gibt. Und dafür öffentlich anerkannt zu werden, bedeutet mir die Welt. Ich denke, mein 9-jähriges Möchtegern-Mathematiker-Ich wäre stolz darauf.

Quelle: https://unbabel.com/blog/best-machine-translation-quality-estimation/