Memecahkan Terjemahan Mesin, selangkah demi selangkah

Sebagai seorang anak, saya pikir saya akan tumbuh menjadi ahli matematika atau fisikawan. Saya mengerti sejak awal bahwa saya ingin belajar dan melakukan penelitian, atau bahkan menjadi guru, di salah satu bidang itu. Saya tidak tahu apa itu AI. Faktanya, selama tahun-tahun pertama sebagai mahasiswa SXNUMX Ilmu Komputer, seringkali saya merasa bahwa saya harus beralih ke matematika. Saya senang saya tidak melakukannya.

Nenek saya tidak begitu paham dengan pekerjaan saya, karena untuk melakukannya, Anda harus menggunakan internet. Jika Anda tidak melakukannya, dan saya memberi tahu Anda bahwa, di Unbabel, kami membuat komputer melakukan tindakan manusia secara otomatis, Anda mungkin hanya akan duduk di sana dan balas menatap saya dengan tatapan kosong.

Di satu sisi, saya tidak berakhir di tempat yang sangat berbeda dari yang saya bayangkan sebagai seorang anak. Maksud saya, seluruh bidang terjemahan mesin ini dimulai dengan Warren Weaver setelah Perang Dunia Kedua, setelah Allen Turing, seorang ahli matematika, memecahkan kode Enigma.

Idenya adalah kita dapat memperlakukan bahasa sebagai kode. Perbedaannya adalah bahwa kode-kode itu formal, tidak ambigu; dan yang membuat terjemahan menjadi begitu sulit justru adalah ambiguitas.

Status terjemahan mesin

Beberapa orang memiliki pengetahuan tentang apa yang Unbabel lakukan: kami menerjemahkan teks dalam bahasa tertentu ke bahasa lain. Tetapi yang lain bahkan tidak tahu apa itu Artificial Intelligence. Beberapa orang mungkin berpikir bahwa semua yang dilakukan AI adalah "robot", tapi bukan itu. Apa yang dilakukan AI meniru perilaku manusia, dalam beberapa hal, dan dalam beberapa hal bahkan lebih baik daripada manusia itu

Mari kita mulai dengan hal-hal dasar: apa yang dilakukan sistem pembelajaran mesin? Anda memberi mereka objek sumber, dalam hal ini kalimat, dan Anda meminta mereka untuk memprediksi sesuatu, kalimat target.

Kesulitan dalam penerjemahan adalah tidak adanya standar emas. Standar emas berarti kebenaran yang sebenarnya. Jika Anda mencoba mendapatkan mesin untuk mendeteksi gambar dengan menanyakan "apakah ini kucing atau anjing?", Ada kebenaran emas karena gambar tertentu akan menjadi salah satunya. Dalam terjemahan mesin ini tidak ada, karena Anda dapat memiliki 20 terjemahan berbeda yang sama baiknya. Ini masalah yang jauh lebih sulit untuk dimulai. Apa terjemahan yang baik dan apa yang tidak? Ada juga fakta bahwa bahasa sangat rancu. Kata-kata dapat memiliki arti yang sangat berbeda dalam konteks yang berbeda. Dan masalah dengan terjemahan sebagian besar belum terselesaikan.

Jika Anda melihat lebih dalam terjemahan mesin, Anda akan melihat itu tidak jauh lebih baik daripada beberapa tahun yang lalu, terlepas dari apa yang kebanyakan orang pikirkan. Keluaran sebelumnya dari sistem terjemahan mesin statistik tampak sangat tidak wajar atau robotik. Sekarang mereka mungkin terdengar lebih fasih, tapi kurang memadai dari sebelumnya, yang biasanya memiliki konten yang tepat meskipun mungkin lebih sulit untuk dipahami. Terjemahan mesin saat ini mungkin gagal total dalam hal konten, tetapi tetap terdengar lancar. Secara keseluruhan ini adalah sistem yang lebih baik.

Terjemahan mesin telah sampai pada titik di mana orang setidaknya dapat memahami inti teks. Ini menjadi lebih lancar, meskipun modelnya masih sangat dasar dan memiliki sedikit pengetahuan bahasa. Mereka kebanyakan masih mengerjakan sejenis kalimat per level kalimat. Jadi siapa pun yang berpikir bahwa terjemahan mesin sudah terpecahkan, jelas belum menggunakannya.

Untuk Unbabel sebagai perusahaan yang menjualnya solusi dukungan multibahasa bagi perusahaan besar yang berinteraksi dengan ribuan atau jutaan pelanggan setiap hari, ini menimbulkan masalah karena sebagian besar waktu, saat Anda menyebutkan terjemahan mesin, orang segera memikirkan kesalahan yang dibuatnya. Anda tidak bisa hanya mengarang cerita untuk membuatnya tampak seperti terjemahan mesin yang sempurna, di situlah tempatnya pada saat ini. Itu masih membutuhkan manusia dalam lingkaran untuk memberikan sedikit kualitas ekstra.

Dalam obrolan, misalnya, ada orang yang sebenarnya sedang berbicara dengan lawan bicara, yang berarti Anda dapat memulihkan kesalahan lebih cepat. Jika Anda mengatakan sesuatu yang tidak masuk akal, lawan bicara Anda mungkin berkata "apa? Saya tidak mengerti ”, lalu Anda akan mencoba menerjemahkan lagi.

Ini pada dasarnya berarti Anda menjadi penaksir kualitas Anda sendiri, karena, pada akhirnya, yang Anda inginkan adalah dialog yang berhasil.

Pentingnya estimasi kualitas

Estimasi kualitas - apa yang kami gunakan untuk mengevaluasi kualitas sistem terjemahan tanpa akses ke terjemahan referensi atau campur tangan manusia - adalah rahasia terjemahan mesin. Faktanya, beberapa orang telah mengklaim itu dapat memecahkan masalah "terjemahan mana yang benar?", Karena sekarang kami memiliki sistem yang menilai seberapa baik atau buruk terjemahan itu. Itu tidak selalu berarti terjemahan itu benar, tapi itu a terjemahan yang benar.

Tetapi estimasi kualitas mengalami semua kesulitan yang sama seperti terjemahan mesin, yang berarti Anda dapat mengharapkan tingkat akurasi yang sama darinya. Masalah terbesar dengan terjemahan mesin adalah, selalu membuat kesalahan karena bahasa sangat sulit dipahami. Entah karena model yang terlalu sederhana karena daya komputasi atau karena fakta bahwa sistem pembelajaran mesin akan membuat kesalahan, ekuitas terbaik berada pada sekitar 90 persen. Itu mungkin terlihat banyak, tetapi jika Anda memikirkannya, itu berarti satu dari setiap sepuluh kalimat akan salah.

Estimasi kualitas mencoba memprediksi kalimat yang salah tersebut, atau setidaknya mencoba menilai apakah kesalahan itu kritis atau tidak. Ini pada dasarnya akan memungkinkan kita menggunakan terjemahan mesin dengan tingkat kepercayaan yang jauh lebih tinggi.

Di Unbabel, kami telah mendedikasikan banyak waktu kami untuk memecahkan masalah estimasi kualitas. Tim AI fundamental adalah orang yang sebagian besar fokus padanya, menemukan model baru. Lalu ada banyak pekerjaan yang dilakukan dari AI terapan dan produksi, untuk menjawab pertanyaan seperti:

• Bagaimana ini berjalan di pipeline?
• Apakah itu terukur? Apakah kita perlu mengubah tujuan?
• Bagaimana cara kerjanya dengan data praktis kita?
• Bagaimana Anda melakukan adaptasi model ini?

Karena AI fundamental sebagian besar berfungsi pada data domain generik, AI terapan harus mengambilnya dan memastikannya berfungsi pada realitas obrolan atau tiket kita, jika berfungsi dengan nada yang berbeda atau tidak. Ada penelitian, lalu mengerjakan temuannya ke dalam produk.

Kami sangat percaya pada sistem estimasi kualitas kami. Kami juga percaya pada penelitian yang dapat direproduksi dan kolaboratif, itulah sebabnya beberapa bulan yang lalu kami membangun Open Kiwi - kerangka kerja sumber terbuka yang menerapkan sistem Estimasi Kualitas terbaik, sehingga sangat mudah untuk bereksperimen dan melakukan iterasi dengan model ini dalam kerangka yang sama, serta mengembangkan model baru.

Kami mungkin salah satu perusahaan pertama yang mulai menggunakan estimasi kualitas dalam produksi dan kami telah melakukan penelitian tentang topik tersebut sejak lama. Ini berarti kami memiliki model yang lebih baik dan pemahaman masalah yang lebih baik daripada perusahaan atau peneliti lain yang mengerjakan estimasi kualitas.

Dan penghargaan diberikan kepada…

Inilah mengapa saya sangat senang kami mendapatkan kembali gelar sistem Estimasi Kualitas Terjemahan Mesin global terbaik kami di Konferensi untuk Terjemahan Mesin Dunia awal tahun ini. Tidak hanya itu, kami juga memenangkan kompetisi pengeditan posting otomatis.

Itu sangat penting bagi kami karena dua alasan. Yang pertama adalah dampak estimasi kualitas terhadap jalur produksi kami, laba atas investasi yang kami peroleh darinya. Dan untuk itu, tidak masalah jika kita memenangkan kompetisi ini atau kompetisi lainnya.

Namun di sisi lain, memenangkan penghargaan bergengsi tersebut berarti pengakuan atas merek Unbabel yang sangat penting untuk menarik perhatian pelanggan dan investor. Ini juga merupakan pengakuan penting bagi tim AI, yang pekerjaannya terkadang sulit dipahami dan dihargai. AI berisiko sangat tinggi, reward tinggi. Anda bisa bekerja selama setahun dan tidak mendapatkan apa-apa. Misalnya, semua pekerjaan yang kami lakukan pada estimasi kualitas manusia tidak berhasil, karena kami tidak memiliki alat yang tepat untuk itu.

Jadi penghargaan ini bagus untuk pengakuan, untuk meningkatkan kesadaran akan nama Unbabel dalam bisnis dan akademisi, tapi juga bagus untuk moralitas. Unbabel adalah perusahaan AI murni. Kami tidak hanya menggunakan AI, kami sebenarnya membangun dan menemukan AI yang belum ada. Dan untuk diakui secara publik karena itu berarti dunia bagi saya. Saya pikir diri saya yang berusia 9 tahun, matematikawan wannabe akan bangga.

Sumber: https://unbabel.com/blog/best-machine-translation-quality-estimation/