למידה אפס-שוט, הסבר

ברוס וורינגטון דרך Unsplash
 

הסיבה לכך שמודלים של למידת מכונה בכלל הופכים לחכמים יותר היא בגלל התלות שלהם בשימוש בנתונים מסומנים כדי לעזור להם להבחין בין שני אובייקטים דומים. 

עם זאת, ללא מערכי הנתונים המסומנים הללו, אתה תיתקל במכשולים עיקריים בעת יצירת מודל למידת המכונה היעיל והאמין ביותר. מערכי נתונים מסומנים במהלך שלב ההדרכה של מודל חשובים. 

נעשה שימוש נרחב בלמידה עמוקה כדי לפתור משימות כמו ראייה ממוחשבת באמצעות למידה מפוקחת. עם זאת, כמו בהרבה דברים בחיים, זה מגיע עם הגבלות. סיווג מפוקח דורש כמות ואיכות גבוהה של נתוני הכשרה מסומנים על מנת לייצר מודל חזק. המשמעות היא שמודל הסיווג אינו יכול להתמודד עם מחלקות בלתי נראות. 

וכולנו יודעים כמה כוח חישוב, אימון מחדש, זמן וכסף נדרשים כדי לאמן מודל למידה עמוקה.

אבל האם מודל עדיין יכול להבחין בין שני אובייקטים מבלי להשתמש בנתוני אימון? כן, זה נקרא למידה אפס שוט. למידה בזריקת אפס היא היכולת של מודל להיות מסוגל להשלים משימה מבלי שקיבל או השתמש בדוגמאות הדרכה כלשהן. 

בני אדם מסוגלים באופן טבעי ללמידת אפס-shot מבלי להתאמץ. המוח שלנו כבר מאחסן מילונים ומאפשר לנו להבדיל בין אובייקטים על ידי התבוננות במאפיינים הפיזיים שלהם בשל בסיס הידע הנוכחי שלנו. אנו יכולים להשתמש בבסיס הידע הזה כדי לראות את הדמיון וההבדלים בין אובייקטים ולמצוא את הקשר ביניהם.

לדוגמה, נניח שאנו מנסים לבנות מודל סיווג על מיני בעלי חיים. לפי OurWorldInData, היו 2.13 מיליון מינים מחושבים בשנת 2021. לכן, אם אנחנו רוצים ליצור את מודל הסיווג היעיל ביותר עבור מיני בעלי חיים, נצטרך 2.13 מיליון מחלקות שונות. כמו כן, יהיה צורך בהרבה נתונים. קשה למצוא נתונים בכמות ואיכות גבוהה.

אז איך למידה בזריקת אפס פותרת את הבעיה הזו?

מכיוון שלמידת זריקת אפס אינה מחייבת את המודל שילמד את נתוני ההדרכה וכיצד לסווג שיעורים, היא מאפשרת לנו להסתמך פחות על הצורך של המודל בנתונים מסומנים. 

להלן מה הנתונים שלך יצטרכו להיות מורכבים כדי להמשיך בלמידה אפס.

ראה שיעורים

זה מורכב ממחלקות הנתונים ששימשו בעבר להכשרת מודל. 

שיעורים בלתי נראים

זה מורכב משיעורי הנתונים שלא שימשו להכשרת מודל ומודל הלמידה החדש של זריקת אפס יעשה הכללה. 

מידע עזר

מכיוון שהנתונים בשיעורים הבלתי נראים אינם מסומנים, למידה ב-Zero-shot תדרוש מידע עזר על מנת ללמוד ולמצוא מתאמים, קישורים ומאפיינים. זה יכול להיות בצורה של הטבעת מילים, תיאורים ומידע סמנטי.

שיטות למידה בזריקת אפס

בדרך כלל נעשה שימוש בלמידה עם זריקת אפס ב:

• שיטות מבוססות סיווג
• שיטות מבוססות מופעים

התמחות

למידת זריקת אפס משמשת לבניית מודלים עבור כיתות שאינן מתאמנות באמצעות נתונים מסומנים, לכן היא דורשת את שני השלבים הבאים:

1. הדרכה

שלב ההכשרה הוא תהליך של שיטת הלמידה המנסה ללכוד כמה שיותר ידע על איכויות הנתונים. אנחנו יכולים לראות בזה את שלב הלמידה. 

2. מסקנות

במהלך שלב ההסקה, כל הידע הנלמד משלב ההכשרה מיושם ומנוצל על מנת לסווג דוגמאות למערך חדש של כיתות. אנו יכולים לראות זאת כשלב יצירת התחזיות. 

כיצד זה עובד?

הידע מהמחלקות הנראות יועבר למחלקות הבלתי נראות במרחב וקטורי ממדי גבוה; זה נקרא מרחב סמנטי. לדוגמה, בסיווג תמונה המרחב הסמנטי יחד עם התמונה יעבור שני שלבים:

1. חלל הטבעה משותף

זה המקום אליו מוקרנים הוקטורים הסמנטיים והווקטורים של התכונה החזותית. 

2. הדמיון הגבוה ביותר

זה המקום שבו תכונות מותאמות לאלו של מחלקה בלתי נראית. 

כדי לעזור להבין את התהליך עם שני השלבים (הדרכה והסקת מסקנות), בואו ליישם אותם בשימוש בסיווג תמונה.

הדרכה

ג'ארי היטונן דרך Unsplash
 

כבן אדם, אם היית קורא את הטקסט בצד ימין בתמונה למעלה, היית מניח מיידית שיש 4 גורים בסל חום. אבל נניח שאין לך מושג מה זה 'חתלתול'. אתם תניחו שיש סל חום ובתוכו 4 דברים, שנקראים 'חתלתולים'. ברגע שתתקלו בעוד תמונות המכילות משהו שנראה כמו 'חתלתול', תוכלו להבדיל בין 'חתלתול' מבעלי חיים אחרים. 

זה מה שקורה כשאתה משתמש אימון מקדים לשפה קונטרסטית-תמונה (CLIP) של OpenAI ללמידה של צילום אפס בסיווג תמונות. זה ידוע בתור מידע עזר. 

אולי אתה חושב, 'טוב, זה רק נתונים מתויגים'. אני מבין למה אתה חושב כך, אבל הם לא. מידע עזר אינו תוויות של הנתונים, הם סוג של פיקוח כדי לעזור למודל ללמוד בשלב ההכשרה.

כאשר מודל למידה של זריקת אפס רואה כמות מספקת של זיווג תמונה-טקסט, הוא יוכל להבדיל ולהבין ביטויים וכיצד הם מתואמים עם דפוסים מסוימים בתמונות. באמצעות טכניקת CLIP 'למידה מנוגדת', מודל הלמידה של זריקת אפס הצליח לצבור בסיס ידע טוב כדי להיות מסוגל לבצע תחזיות על משימות סיווג. 

זהו סיכום של גישת ה-CLIP שבה הם מאמנים מקודד תמונה ומקודד טקסט יחד על מנת לחזות את הזיווגים הנכונים של אצווה של דוגמאות אימון (תמונה, טקסט). אנא ראה את התמונה למטה:

 

לימוד מודלים חזותיים הניתנים להעברה מפיקוח על שפה טבעית

הסקה

לאחר שהמודל עבר את שלב ההכשרה, יש לו בסיס ידע טוב של צימוד תמונה-טקסט וכעת ניתן להשתמש בו כדי לבצע תחזיות. אבל לפני שנוכל להיכנס ישר לביצוע תחזיות, עלינו להגדיר את משימת הסיווג על ידי יצירת רשימה של כל התוויות האפשריות שהמודל יוכל להוציא. 

לדוגמה, אם נצמד למשימת סיווג התמונות על מיני בעלי חיים, נצטרך רשימה של כל מיני בעלי החיים. כל אחת מהתוויות הללו תקודד, T? ל-T? באמצעות מקודד הטקסט שהוכשר מראש שהתרחש בשלב ההדרכה. 

לאחר קידוד התוויות, נוכל להזין תמונות דרך מקודד התמונות שהוכשר מראש. נשתמש בדמיון הקוסינוס המטרי למרחק כדי לחשב את קווי הדמיון בין קידוד התמונה לכל קידוד תווית טקסט.

סיווג התמונה נעשה על סמך התווית בעלת הדמיון הגדול ביותר לתמונה. וכך מושגת למידה של זריקת אפס, במיוחד בסיווג תמונה. 

מחסור בנתונים

כפי שצוין קודם לכן, נתונים בכמות ואיכות גבוהה קשה לשים עליהם את היד. בניגוד לבני אדם שכבר יש להם יכולת למידה אפסית, מכונות דורשות קלט נתונים עם תווית כדי ללמוד ואז להיות מסוגלות להסתגל לשונות שעלולות להתרחש באופן טבעי. 

אם נתבונן בדוגמה של מיני בעלי חיים, היו כל כך הרבה. וככל שמספר הקטגוריות ממשיך לגדול בתחומים שונים, תידרש עבודה רבה כדי לעמוד בקצב של איסוף נתונים מוערים.

בשל כך, לימוד אפס שוט הפך ליותר ערך עבורנו. יותר ויותר חוקרים מעוניינים בזיהוי אוטומטי של תכונות כדי לפצות על המחסור בנתונים זמינים. 

תיוג נתונים

יתרון נוסף של למידה אפסית הוא תכונות תיוג הנתונים שלה. תיוג נתונים יכול להיות עתיר עבודה ומייגע מאוד, ובשל כך הוא עלול להוביל לטעויות במהלך התהליך. תיוג נתונים דורש מומחים, כגון אנשי מקצוע רפואיים שעובדים על מערך נתונים ביו-רפואי, שהוא יקר מאוד וגוזל זמן. 

למידה ב-Zero-shot הופכת פופולרית יותר בשל מגבלות הנתונים לעיל. יש כמה מאמרים שהייתי ממליץ לך לקרוא אם אתה מתעניין ביכולות שלו:

 
 
נישה אריה הוא מדען נתונים וכותב טכני עצמאי. היא מעוניינת במיוחד במתן ייעוץ קריירה או הדרכות וידע מבוסס תיאוריה סביב Data Science. היא גם רוצה לחקור את הדרכים השונות שבהן אינטליגנציה מלאכותית היא/יכולה להועיל לאריכות חיי האדם. לומדת נלהבת, המבקשת להרחיב את הידע הטכני וכישורי הכתיבה שלה, תוך כדי עזרה בהדרכת אחרים.
 

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://www.kdnuggets.com/2022/12/zeroshot-learning-explained.html?utm_source=rss&utm_medium=rss&utm_campaign=zero-shot-learning-explained