Giải quyết bản dịch máy, từng bước một

Khi còn là một đứa trẻ, tôi nghĩ lớn lên mình sẽ trở thành một nhà toán học hoặc một nhà vật lý. Tôi đã sớm hiểu rằng tôi muốn học tập và nghiên cứu, hoặc thậm chí trở thành một giáo viên, trong một trong những lĩnh vực đó. Tôi không biết AI là gì. Trên thực tế, trong những năm đầu tiên là sinh viên đại học ngành Khoa học Máy tính, rất nhiều lần tôi cảm thấy rằng mình nên chuyển sang học toán. Tôi rất vui vì tôi đã không.

Bà tôi không thực sự hiểu công việc của tôi là gì, bởi vì để làm như vậy, bạn phải sử dụng internet. Nếu bạn không làm như vậy, và tôi nói với bạn rằng, tại Unbabel, chúng tôi đang làm cho máy tính thực hiện các hành động của con người một cách tự động, có thể bạn sẽ chỉ ngồi đó và ngây người nhìn lại tôi.

Theo một cách nào đó, tôi đã không đến một nơi rất khác so với những gì tôi đã hình dung khi còn bé. Ý tôi là, toàn bộ lĩnh vực dịch máy này bắt đầu với Warren Weaver sau Thế chiến thứ hai, sau khi Allen Turing, một nhà toán học, bẻ khóa mã Enigma.

Ý tưởng là chúng ta có thể coi ngôn ngữ như một mã. Sự khác biệt là các mã là chính thức, rõ ràng; và điều làm cho việc dịch trở nên khó khăn chính là sự mơ hồ.

Trạng thái dịch máy

Một số người có chút hiểu biết về những gì Unbabel làm: chúng tôi dịch một văn bản bằng một ngôn ngữ cụ thể sang một ngôn ngữ khác. Nhưng những người khác thậm chí còn không biết Trí tuệ nhân tạo là gì. Một số người có thể nghĩ rằng tất cả những gì AI làm là "những thứ của người máy", nhưng không phải vậy. Những gì AI đang làm là bắt chước hành vi của con người, theo một cách nào đó, và trong một số thứ, nó thậm chí còn tốt hơn con người tại đó

Hãy bắt đầu với những điều cơ bản: hệ thống học máy làm gì? Bạn trình bày với họ một đối tượng nguồn, trong trường hợp này là một câu, và bạn yêu cầu họ dự đoán một điều gì đó, một câu đích.

Khó khăn đối với dịch thuật là không có bản vị vàng. Tiêu chuẩn vàng tượng trưng cho sự thật thực tế. Nếu bạn đang cố gắng để một chiếc máy phát hiện hình ảnh bằng cách hỏi “đây là mèo hay chó?”, Có một sự thật vàng vì một hình ảnh cụ thể sẽ là hình ảnh này hoặc hình ảnh khác. Trong dịch máy, điều này không tồn tại, bởi vì bạn có thể có 20 bản dịch khác nhau đều tốt như nhau. Đó là một vấn đề khó hơn nhiều để bắt đầu. Một bản dịch tốt là gì và không phải là gì? Cũng có một thực tế là ngôn ngữ rất mơ hồ. Các từ có thể có nghĩa rất khác nhau trong các ngữ cảnh khác nhau. Và do đó, vấn đề với bản dịch phần lớn vẫn chưa được giải quyết.

Nếu bạn nhìn sâu hơn vào dịch máy, bạn sẽ thấy nó không tốt hơn nhiều so với cách đây vài năm, bất chấp suy nghĩ của hầu hết mọi người. Các kết quả đầu ra trước đây của các hệ thống dịch máy thống kê dường như rất không tự nhiên hoặc kiểu rô bốt. Hôm nay chúng có thể nghe trôi chảy hơn, nhưng chúng kém đầy đủ hơn những bài trước, thường có nội dung phù hợp mặc dù có thể khó hiểu hơn. Các bản dịch máy ngày nay có thể thất bại thảm hại về mặt nội dung, nhưng vẫn nghe trôi chảy. Nhìn chung, đó là một hệ thống tốt hơn.

Dịch máy đã đến một thời điểm mà ít nhất người ta có thể hiểu được ý chính của văn bản. Nó trở nên trôi chảy hơn, mặc dù các mô hình vẫn còn rất cơ bản và có ít kiến ​​thức về ngôn ngữ. Họ vẫn đang làm việc chủ yếu ở một loại câu cho mỗi cấp độ câu. Vì vậy, bất cứ ai nghĩ rằng dịch máy đã được giải quyết, rõ ràng đã không sử dụng nó.

Đối với Unbabel với tư cách là một công ty, người đang bán giải pháp hỗ trợ đa ngôn ngữ đối với các công ty lớn tương tác với hàng nghìn hoặc hàng triệu khách hàng hàng ngày, điều này đặt ra một vấn đề vì hầu hết thời gian, khi bạn đề cập đến dịch máy, mọi người nghĩ ngay đến những sai lầm mà nó mắc phải. Bạn không thể chỉ bịa ra các câu chuyện để làm cho nó có vẻ như bản dịch máy là hoàn hảo, nó chính là ở điểm này. Nó vẫn kêu gọi một con người trong vòng lặp để cung cấp cho nó chất lượng bổ sung.

Ví dụ: trong trò chuyện, có một người đang thực sự nói chuyện với người kia, điều đó có nghĩa là bạn có thể khắc phục lỗi nhanh hơn nhiều. Nếu bạn nói điều gì đó không có ý nghĩa, người ở đầu dây bên kia có thể nói “sao? Tôi không hiểu ”, và sau đó bạn sẽ thử bản dịch lại.

Về cơ bản, điều này có nghĩa là bạn đang ước tính chất lượng của chính mình, bởi vì, vào cuối ngày, điều bạn muốn là một cuộc đối thoại hoạt động.

Tầm quan trọng của ước lượng chất lượng

Ước tính chất lượng - những gì chúng tôi sử dụng để đánh giá chất lượng của hệ thống dịch mà không cần truy cập vào các bản dịch tham chiếu hoặc sự can thiệp của con người - là bí mật của dịch máy. Trên thực tế, một số người đã tuyên bố rằng nó có thể giải quyết vấn đề “đâu là bản dịch chính xác?”, Bởi vì hiện nay chúng ta đã có một hệ thống đánh giá mức độ tốt hay xấu của một bản dịch. Nó không nhất thiết có nghĩa là một bản dịch là các sửa một cái, nhưng nó a bản dịch chính xác.

Nhưng ước tính chất lượng gặp phải tất cả những khó khăn giống như dịch máy, có nghĩa là bạn có thể mong đợi mức độ chính xác tương tự từ nó. Vấn đề lớn nhất của dịch máy là nó luôn mắc lỗi vì ngôn ngữ rất khó nắm bắt. Có thể là do các mô hình quá đơn giản do sức mạnh tính toán hoặc thực tế là bất kỳ hệ thống học máy nào cũng sẽ mắc lỗi, tỷ lệ chứng khoán tốt nhất là khoảng 90 phần trăm. Điều đó có vẻ hơi nhiều, nhưng nếu bạn nghĩ về nó, điều đó có nghĩa là cứ mười câu thì có một câu sai.

Ước lượng chất lượng là cố gắng dự đoán những câu sai đó, hoặc ít nhất là cố gắng đánh giá xem một lỗi có nghiêm trọng hay không. Về cơ bản, nó sẽ cho phép chúng tôi sử dụng dịch máy với mức độ tự tin cao hơn nhiều.

Tại Unbabel, chúng tôi đã dành rất nhiều thời gian để giải quyết vấn đề ước tính chất lượng. Nhóm AI cơ bản là những người chủ yếu tập trung vào nó, khám phá các mô hình mới. Sau đó, có rất nhiều công việc được thực hiện từ AI ứng dụng và sản xuất, để trả lời các câu hỏi như:

• Làm thế nào để điều này chạy trên đường ống?
• Nó có khả năng mở rộng không? Chúng ta có cần thay đổi mục tiêu không?
• Nó hoạt động như thế nào với dữ liệu thực tế của chúng tôi?
• Làm thế nào để bạn điều chỉnh các mô hình này?

Vì AI cơ bản hoạt động chủ yếu trên dữ liệu miền chung, nên AI được ứng dụng phải chọn nó và đảm bảo rằng nó hoạt động trên thực tế trò chuyện hoặc vé của chúng ta, nếu nó hoạt động với các tông màu khác biệt hay không. Có nghiên cứu, sau đó đưa những phát hiện của mình vào sản phẩm.

Chúng tôi là những người tin tưởng vững chắc vào hệ thống ước tính chất lượng của mình. Chúng tôi cũng tin tưởng vào nghiên cứu có thể tái tạo và hợp tác, đó là lý do tại sao một vài tháng trở lại đây chúng tôi đã xây dựng Open Kiwi - một khuôn khổ mã nguồn mở triển khai các hệ thống Ước tính Chất lượng tốt nhất, giúp bạn thực sự dễ dàng thử nghiệm và lặp lại với các mô hình này trong cùng một khuôn khổ, cũng như phát triển các mô hình mới.

Chúng tôi có lẽ là một trong những công ty đầu tiên bắt đầu sử dụng ước tính chất lượng trong sản xuất và chúng tôi đã nghiên cứu về chủ đề này trong một thời gian rất dài. Điều này có nghĩa là chúng tôi có các mô hình tốt hơn và hiểu rõ hơn về vấn đề so với các công ty hoặc nhà nghiên cứu khác làm việc về ước tính chất lượng.

Và giải thưởng được trao cho…

Đây là lý do tại sao tôi rất vui khi chúng tôi giành lại danh hiệu hệ thống ước tính chất lượng dịch máy tốt nhất toàn cầu của chúng tôi tại Hội nghị về dịch máy thế giới đầu năm nay. Không chỉ vậy, chúng tôi còn chiến thắng trong cuộc thi về chỉnh sửa bài đăng tự động.

Nó rất quan trọng đối với chúng tôi vì hai lý do. Đầu tiên là tác động mà ước tính chất lượng đang có đối với quy trình sản xuất của chúng tôi, lợi tức đầu tư mà chúng tôi nhận được từ nó. Và đối với điều đó, nó không thực sự quan trọng nếu chúng tôi giành chiến thắng trong cuộc thi này hay bất kỳ cuộc thi nào khác.

Nhưng mặt khác, việc giành được những giải thưởng danh giá như vậy đồng nghĩa với sự công nhận thương hiệu Unbabel, điều cần thiết để thu hút sự chú ý của khách hàng và nhà đầu tư. Đó cũng là một sự công nhận quan trọng đối với nhóm AI, những người mà đôi khi công việc của họ rất khó hiểu và khó có thể ghi nhận. AI có rủi ro rất cao, phần thưởng cao. Bạn có thể làm việc trong một năm và chẳng đi đến đâu. Ví dụ, tất cả công việc chúng tôi thực hiện về ước tính chất lượng con người của mình đều không hoạt động, bởi vì chúng tôi không có công cụ phù hợp cho việc đó.

Và vì vậy, những giải thưởng này rất tốt cho sự công nhận, để nâng cao nhận thức về cái tên Unbabel trong kinh doanh và học thuật, nhưng chúng cũng tốt cho tinh thần. Unbabel là một công ty thuần túy về AI. Chúng tôi không chỉ sử dụng AI, chúng tôi thực sự đang xây dựng và khám phá những AI chưa tồn tại. Và được công khai thừa nhận điều đó có nghĩa là cả thế giới đối với tôi. Tôi nghĩ rằng bản thân một nhà toán học 9 tuổi, muốn trở thành nhà toán học của tôi sẽ rất tự hào.

Nguồn: https://unbabel.com/blog/best-machine-translation-quality-estimation/