כיצד הבחירה האבולוציונית יכולה להכשיר מכוניות בעלות יכולת נהיגה עצמית יותר

התפתחות ב- Waymo

הניסויים הראשונים ש- DeepMind ו- Waymo שיתפו פעולה בהם כללו הכשרת רשת המייצרת תיבות סביב הולכי רגל, רוכבי אופניים ורוכבי אופנוע שזוהו על ידי חיישנינו - נקראה "רשת הצעות אזור". המטרה הייתה לחקור האם PBT יכול לשפר את יכולתו של רשת עצבית לזהות הולכי רגל בשני אמצעים: זיכרון (החלק של הולכי הרגל שזוהו על ידי הרשת העצבית לעומת המספר הכולל של הולכי הרגל בזירה) ודיוק (החלק של הולכי הרגל שזוהו. למעשה הולכי רגל, ולא "חיובי כוזב" מזויפים). כלי הרכב של Waymo מזהים את משתמשי הדרך הללו באמצעות רשתות עצביות מרובות ושיטות אחרות, אך מטרת הניסוי הייתה להכשיר רשת עצבית יחידה זו כדי לשמור על זיכרון מעל 99%, תוך הפחתת תוצאות חיוביות שגויות באמצעות הכשרה מבוססת אוכלוסייה.

למדנו הרבה מהניסוי הזה. ראשית גילינו שעלינו ליצור הערכה מציאותית וחזקה לרשתות כדי שנדע אם רשת עצבית באמת תשתפר טוב יותר כאשר היא נפרסת על פני מגוון מצבים בעולם האמיתי. הערכה זו היוותה בסיס לתחרות בה פועלת PBT לבחירת רשת עצבית מנצחת אחת על פני אחרת. כדי להבטיח שרשתות עצביות מתפקדות בצורה טובה באופן כללי, ולא פשוט לשנן תשובות לדוגמאות שראו במהלך האימון, הערכת תחרות ה- PBT שלנו משתמשת במערכת דוגמאות ("ערכת האימות") השונה מאלו המשמשות באימונים ( "סט אימונים.") כדי לאמת את הביצועים הסופיים, אנו משתמשים גם במערך שלישי של דוגמאות ("מערך ההערכה") שהרשתות העצביות מעולם לא ראו באימונים או בתחרות.

שנית, למדנו כי אנו זקוקים להערכה מהירה כדי לתמוך בתחרות אבולוציונית תכופה. לעתים רחוקות חוקרים מעריכים את המודלים שלהם במהלך אימונים, וכשמגיעים להערכתם, מתבצעת לעתים רחוקות. מודלים של PBT נדרשים להערכה כל 15 דקות. לשם כך ניצלנו את מרכזי הנתונים של גוגל כדי להקביל את ההערכה במאות מכונות מופצות.

כוח הגיוון בתחרות האבולוציונית

במהלך ניסויים אלה שמנו לב שאחת מכוחות החוזק של PBT - הקצאת משאבים רבים יותר לצאצאים של רשתות עם ביצועים טובים יותר - יכולה גם היא להיות חולשה, מכיוון ש- PBT מייעל את ההווה ולא מצליח להתחשב בתוצאות לטווח הארוך. זו יכולה להיות בעיה מכיוון שהיא פוגעת בפורחים מאוחרים, כך שלרשתות עצביות עם יתר פרמטרים שמניבים ביצועים טובים יותר לטווח הארוך אין סיכוי להתבגר ולהצליח. אחת הדרכים להילחם בכך היא להגדיל את מגוון האוכלוסיות, אשר ניתן להשיג על ידי הכשרה של אוכלוסייה גדולה יותר. אם האוכלוסייה גדולה מספיק, יש סיכוי גדול יותר שרשתות עם פרפרמטר מאוחר פורחות ישרדו ויתפסו בדורות מאוחרים יותר.

בניסויים אלו הצלחנו להגדיל את הגיוון על ידי יצירת אוכלוסיות משנה המכונות "נישות", בהן הרשתות העצביות הורשו להתחרות רק בתוך תת-קבוצות משלהן - בדומה לאופן בו המינים מתפתחים כשהם מבודדים על איים. ניסינו לתגמל באופן ישיר את הגיוון באמצעות טכניקה שנקראת "שיתוף כושר", שם אנו מודדים את ההבדל בין בני האוכלוסייה ומעניקים לרשתות עצביות ייחודיות יותר יתרון בתחרות. גיוון רב יותר מאפשר ל- PBT לחקור חלל גדול יותר של היפר-פרמטרים.

תוצאות

PBT אפשר שיפורים דרמטיים בביצועי הדגם. לצורך הניסוי שלמעלה, דגמי ה- PBT שלנו הצליחו להשיג דיוק גבוה יותר על ידי הפחתת חיוביות שגויות ב- 24% לעומת המקבילה המותאמת לו ביד, תוך שמירה על שיעור זיכרון גבוה. היתרון העיקרי בשיטות אבולוציוניות כמו PBT הוא בכך שהם יכולים לייעל מדדים מורכבים באופן שרירותי. באופן מסורתי, ניתן לאמן רשתות עצביות באמצעות פונקציות אובדן פשוטות וחלקות, המשמשות כמתנה למען מה שאכפת לנו באמת. PBT אפשר לנו לחרוג מכלל העדכונים המשמש לאימוני רשתות עצביות, ולקראת המדדים המורכבים יותר המתאימים עבור תכונות שאכפת לנו מהן, כמו מקסימום דיוק תחת שיעורי זיכרון גבוהים.

PBT גם חוסך זמן ומשאבים. לוח הזמנים של היפר-פרמטר שהתגלה עם רשתות מאומנות PBT גבר על הרשת הקודמת של Waymo במחצית זמן האימון והמשאבים. בסך הכל, PBT משתמש במחצית ממשאבי החישוב המשמשים חיפוש מקבילי אקראי כדי לגלות ביעילות לוחות זמנים טובים יותר של פרפרמטרים. זה גם חוסך זמן לחוקרים - על ידי שילוב PBT ישירות בתשתית הטכנית של Waymo, חוקרים מכל רחבי החברה יכולים ליישם שיטה זו בלחיצת כפתור, ולהשקיע פחות זמן בכוונון שיעורי הלמידה שלהם. מאז סיום הניסויים הללו, ה- PBT הוחל על דגמי Waymo רבים ושונים, ומחזיק בהבטחה רבה לסייע ביצירת כלי רכב מסוגלים יותר לכביש.

תורמים: העבודה שתוארה כאן הייתה שיתוף פעולה מחקרי בין יו-חסין חן ומת'יו דווין מוומו, לבין עלי רזאבי, אנג לי, סיבון לי, אולה ספירה, פרמוד גופטה ואוריול ויניאלס מ- DeepMind. היועצים לפרויקט כוללים את מקס ג'דרברג, ולנטין דליארד, מאיר פורטונטו וג'קסון ברושיר מ- DeepMind.

מקור: https://deepmind.com/blog/article/how-evolutionary-selection-can-train-more-capable-self-driving-cars