פתרון תרגום מכונה, צעד אחר צעד

כילד, חשבתי שאגדל להיות מתמטיקאי או פיזיקאי. מוקדם מאוד הבנתי שאני רוצה ללמוד ולעשות מחקר, או אפילו להיות מורה, באחד מהתחומים האלה. לא ידעתי מה זה AI. למעשה, בשנים הראשונות כסטודנט לתואר ראשון במדעי המחשב, הרבה פעמים הרגשתי שאני צריך לעבור למתמטיקה. אני שמח שלא עשיתי זאת.

אבל סבתא שלי לא ממש מבינה מה העבודה שלי, כי לשם כך אתה צריך להשתמש באינטרנט. אם לא תעשה זאת, ואני אומר לך שב-Unbabel, אנחנו גורמים למחשבים לבצע פעולות אנושיות באופן אוטומטי, כנראה שהיית פשוט יושב שם ובוהה בי במבט אטום.

במובן מסוים, לא הגעתי למקום שונה מאוד ממה שדמיינתי כילד. כלומר, כל תחום תרגום המכונה הזה התחיל עם וורן וויבר אחרי מלחמת העולם השנייה, אחרי שאלן טיורינג, מתמטיקאי, פיצח את קוד האניגמה.

הרעיון הוא שאנחנו יכולים להתייחס לשפה כאל קוד. ההבדל הוא שקודים הם פורמליים, חד משמעיים; ומה שהופך את התרגום לקשה כל כך הוא דווקא אי בהירות.

מצב התרגום המכונה

יש אנשים שיש להם ידע מסוים על מה ש-Unbabel עושה: אנחנו מתרגמים טקסט בשפה ספציפית לשפה אחרת. אבל אחרים אפילו לא יודעים מהי בינה מלאכותית. חלקם עשויים לחשוב שכל מה ש-AI עושה הוא "דברים רובוטיים", אבל זה לא זה. מה שבינה מלאכותית עושה זה לחקות התנהגות אנושית, בדרך כלשהי, ובדברים מסוימים זה אפילו יותר טוב מבני אדם בזה.

נתחיל עם היסודות: מה עושות מערכות למידת מכונה? אתה מציג להם אובייקט מקור, במקרה הזה משפט, ומבקש מהם לחזות משהו, משפט מטרה.

הקושי בתרגום הוא שאין תקן זהב. תקן זהב מייצג את האמת הממשית. אם אתה מנסה לגרום למכונה לזהות תמונות על ידי שאלת "האם זה חתול או כלב?", יש אמת זהב מכיוון שתמונה ספציפית תהיה כזו או אחרת. בתרגום מכונה זה לא קיים, כי אתה יכול לקבל 20 תרגומים שונים שהם טובים באותה מידה. זו בעיה הרבה יותר קשה מלכתחילה. מה זה תרגום טוב ומה לא? יש גם את העובדה שהשפה היא מאוד מעורפלת. מילים יכולות להיות דברים שונים מאוד בהקשרים שונים. ולכן הבעיה בתרגום ברובה לא נפתרה.

אם תסתכל לעומק על תרגום מכונה, תראה שזה לא כל כך טוב ממה שהיה לפני כמה שנים, למרות מה שרוב האנשים חושבים. פלטים קודמים של מערכות תרגום מכונה סטטיסטיות נראו מאוד לא טבעיות או רובוטיות. היום הם אולי נשמעים יותר שוטפים, אבל הם פחות מספקים מהקודמים, שבדרך כלל היה להם את התוכן הנכון למרות שזה יכול להיות קשה יותר להבנה. תרגומי מכונה בימינו עשויים להיכשל בצורה קטסטרופלית מבחינת תוכן, אבל עדיין נשמע שוטף. בסך הכל זו מערכת טובה יותר.

תרגום מכונה הגיע לנקודה שבה אפשר לפחות להבין את תמצית הטקסט. זה הופך להיות שוטף יותר, למרות שהדגמים עדיין בסיסיים מאוד ובעלי ידע מועט בשפה. הם עדיין עובדים בעיקר על סוג של משפט לכל רמת משפט. אז כל מי שחושב שתרגום מכונה נפתר, ברור שלא השתמש בו.

עבור Unbabel כחברה, שמוכרת את שלה פתרונות תמיכה רב לשוניים לחברות גדולות שמקיימות אינטראקציה עם אלפי או מיליוני לקוחות מדי יום, זה מהווה בעיה כי רוב הזמן, כאשר אתה מזכיר תרגום מכונה, אנשים חושבים מיד על הטעויות שהוא עושה. אתה לא יכול פשוט להמציא סיפורים כדי שזה ייראה כאילו תרגום מכונה מושלם, זה המקום שבו הוא נמצא בשלב זה. זה עדיין קורא לאדם שנמצא במעגל כדי לתת לזה את המעט איכות הנוספת.

בצ'אט, למשל, יש אדם שבאמת מדבר עם האדם השני, מה שאומר שאתה יכול להתאושש משגיאות הרבה יותר מהר. אם אתה אומר משהו לא הגיוני, האדם בצד השני עשוי לומר "מה? לא הבנתי", ואז תנסה שוב את התרגום.

זה בעצם אומר שאתה הערכת איכות משלך, כי בסופו של יום, מה שאתה רוצה זה דיאלוג שעובד.

החשיבות של הערכת איכות

הערכת איכות - מה שאנו משתמשים בה כדי להעריך את איכות מערכת התרגום ללא גישה לתרגומי עזר או התערבות אנושית - היא הסוד לתרגום מכונה. למעשה, כמה אנשים טענו שזה יכול לפתור את הבעיה של "מהו התרגום הנכון?", כי עכשיו יש לנו מערכת שמעריכה כמה טוב או רע תרגום. זה לא בהכרח אומר שתרגום כן מה היא נכון, אבל כן a תרגום נכון.

אבל הערכת איכות סובלת מכל אותם קשיים כמו תרגום מכונה, מה שאומר שאתה יכול לצפות ממנה לאותה רמת דיוק. הבעיה הגדולה ביותר בתרגום מכונה היא שהוא תמיד עושה טעויות כי קשה מאוד לתפוס את השפה. בין אם בגלל מודלים שהם פשוטים מדי בגלל כוח חישוב או בגלל העובדה שכל מערכת למידת מכונה תעשה טעויות, המניות הטובות ביותר הן בסביבות 90 משהו אחוז. זה אולי נראה הרבה, אבל אם אתה חושב על זה, זה אומר שאחד מכל עשרה משפטים יטעה.

אומדן איכות מנסה לחזות את המשפטים השגויים האלה, או לפחות לנסות לשפוט אם שגיאה היא קריטית או לא. זה בעצם יאפשר לנו להשתמש בתרגום מכונה עם רמה גבוהה בהרבה של ביטחון.

ב-Unbabel, הקדשנו הרבה מזמננו לפתרון בעיית הערכת האיכות. צוות ה-AI הבסיסי הוא זה שהתמקד בעיקר בו, מגלה דגמים חדשים. אז יש הרבה עבודה שהושקעה מ-AI יישומי וייצור, כדי לענות על שאלות כמו:

• איך זה פועל על הצינור?
• האם זה ניתן להרחבה? האם אנחנו צריכים לשנות את המטרה?
• איך זה עובד עם הנתונים המעשיים שלנו?
• איך עושים את ההתאמה של הדגמים האלה?

מכיוון שבינה מלאכותית בסיסית עובדת בעיקר על נתוני דומיין גנריים, בינה מלאכותית יישומית חייבת לאסוף אותה ולוודא שהיא עובדת על המציאות שלנו של צ'אט או כרטיסים, אם היא עובדת עם גוונים מובחנים או לא. יש את המחקר, ואז יש לעבוד את הממצאים שלו לתוך המוצר.

אנו מאמינים בתוקף במערכות האומדן האיכותיות שלנו. אנחנו גם מאמינים במחקר שניתן לשחזר ושיתופי, וזו הסיבה שכמה חודשים אחורה בנינו את Open Kiwi - מסגרת קוד פתוח המיישמת את מיטב מערכות הערכת האיכות, מה שמקל על הניסוי והחזרה עם המודלים הללו באותה מסגרת, כמו גם פיתוח מודלים חדשים.

היינו כנראה אחת החברות הראשונות שהחלו להשתמש באומדן איכות בייצור ועשינו מחקר בנושא כבר הרבה מאוד זמן. זה אומר שיש לנו מודלים טובים יותר והבנה טובה יותר של הבעיה מאשר חברות או חוקרים אחרים שעובדים על הערכת איכות.

והפרסים מגיעים ל...

זו הסיבה ששמחתי מאוד שאנחנו החזירו לנו את התואר של מערכת הערכת איכות תרגום המכונה העולמית הטובה ביותר בכנס לתרגום מכונות עולמי מוקדם יותר השנה. לא רק זה, אלא גם זכינו בתחרות על עריכת פוסטים אוטומטית.

זה היה מאוד חשוב עבורנו משתי סיבות. הראשון הוא ההשפעה שיש להערכת איכות על צינור הייצור שלנו, ההחזר על ההשקעה שאנו מקבלים ממנה. ובשביל זה, זה לא ממש משנה אם ננצח בתחרות זו או אחרת.

אבל מצד שני, זכייה בפרסים יוקרתיים שכאלה פירושה הכרה במותג Unbabel, שהוא חיוני למשיכת תשומת לב הלקוחות והמשקיעים. זו גם הכרה חשובה לצוות ה-AI, שלפעמים קשה להבין את עבודתו ולתת לו קרדיט. AI הוא בסיכון גבוה מאוד, תגמול גבוה. אתה יכול לעבוד שנה ולא להגיע לשום מקום. לדוגמה, כל העבודה שעשינו על הערכת האיכות האנושית שלנו לא עבדה, כי פשוט לא היו לנו הכלים המתאימים לכך.

ולכן הפרסים האלה טובים להכרה, להגברת המודעות לשם Unbabel בעסקים ובאקדמיה, אבל הם טובים גם למורל. Unbabel היא חברת AI גרידא. אנחנו לא רק משתמשים בבינה מלאכותית, אנחנו בעצם בונים ומגלים בינה מלאכותית שעדיין לא קיימת. ולזכות להכרה פומבית על כך זה אומר העולם בשבילי. אני חושב שהאני בן ה-9, המתמטיקאי הרצוי שלי, יהיה גאה.

מקור: https://unbabel.com/blog/best-machine-translation-quality-estimation/