צ'יפ נוירומורפי חדש יכול לפתח עידן של בינה מלאכותית יעילה במיוחד

כשזה מגיע למחשוב המוח, התזמון הוא הכל. כך נוירונים מתחברים למעגלים. כך מעבדים מעגלים אלה נתונים מורכבים ביותר, מה שמוביל לפעולות שמשמעותן יכולה להיות חיים או מוות. כך המוח שלנו יכול לקבל החלטות של שבריר שנייה, גם כאשר הוא מתמודד עם נסיבות חדשות לגמרי. ואנחנו עושים זאת מבלי לטגן את המוח מצריכת אנרגיה רבה.

אם לנסח מחדש, המוח מהווה דוגמה מצוינת למחשב חזק ביותר לחיקוי - ומדעני מחשב ומהנדסים עשו את הצעדים הראשונים לעשות זאת. תחום המחשוב הנוירומורפי נראה ליצור מחדש את יכולות הארכיטקטורה ועיבוד הנתונים של המוח עם שבבי חומרה ואלגוריתמי תוכנה חדשים. זה עשוי להיות נתיב לקראת אמת בינה מלאכותית.

אבל מרכיב אחד מכריע חסר. לרוב האלגוריתמים המפעילים שבבים נוירומורפיים אכפת רק מהתרומה של כל נוירון מלאכותי - כלומר עד כמה הם מתחברים זה לזה, המכונה "משקל סינפטי". מה שחסר - ובכל זאת זהה לעבודה הפנימית של המוח שלנו - הוא תזמון.

החודש הוסיף צוות המזוהה עם פרויקט המוח האנושי, מפעל הדגל של האיחוד האירופי למדעי המוח הגדולים. אלמנט הזמן לאלגוריתם נוירומורפי. התוצאות יושמו לאחר מכן על חומרה פיזית - ה BrainScaleS-2 פלטפורמה נוירומורפית - ומתמודדת מול GPUs חדישים ופתרונות נוירומורפיים קונבנציונליים.

"בהשוואה לרשתות העצבים המופשטות המשמשות בלמידה עמוקה, הארכיטיפים הביולוגיים יותר... עדיין מפגרים במונחים של ביצועים ומדרגיות" בשל המורכבות המובנית שלהם, אמרו המחברים.

במספר בדיקות, האלגוריתם השווה "לטובה, במונחים של דיוק, חביון ויעילות אנרגטית" במבחן בנצ'מרק סטנדרטי, אמר ד"ר שרלוט פרנקל מאוניברסיטת ציריך ו-ETH ציריך בשוויץ, שלא הייתה מעורבת במחקר. על ידי הוספת רכיב זמני למחשוב נוירומורפי, נוכל לפתוח עידן חדש של בינה מלאכותית יעילה ביותר שעוברת ממשימות נתונים סטטיים - נגיד, זיהוי תמונה - לכזו שכוללת טוב יותר זמן. חשבו על סרטונים, סיגנלים ביולוגיים או דיבור ממוח למחשב.

לסופר הראשי ד"ר מיחאי פטרוביץ', הפוטנציאל הולך לשני הכיוונים. "העבודה שלנו לא מעניינת רק עבור מחשוב נוירומורפי וחומרה בהשראה ביולוגית. הוא גם מכיר בדרישה... להעביר גישות כביכול למידה עמוקה למדעי המוח ובכך לחשוף עוד יותר את סודות המוח האנושי", הוא אמר.

בואו נדבר קוצים

בבסיס האלגוריתם החדש עומד עיקרון בסיסי במחשוב המוח: קוצים.

בואו נסתכל על נוירון מופשט מאוד. זה כמו גליל שושן, עם חלק אמצעי בולבוסי שבצדו שתי עטיפות שמגיעות החוצה. צד אחד הוא הקלט - עץ מורכב שמקבל אותות מנוירון קודם. השני הוא הפלט, פיצוץ אותות לנוירונים אחרים באמצעות ספינות דמויות בועות מלאות בכימיקלים, אשר בתורו מפעיל תגובה חשמלית בקצה הקולט.

הנה העיקר: כדי שכל הרצף הזה יתרחש, הנוירון צריך "להתפרץ". אם, ורק אם, הנוירון יקבל רמת קלט גבוהה מספיק - מנגנון הפחתת רעש מובנה בצורה יפה - החלק הבולבוסי יפיק ספייק שנוסע במורד ערוצי הפלט כדי להתריע על הנוירון הבא.

אבל נוירונים לא משתמשים רק בספייק אחד כדי להעביר מידע. במקום זאת, הם מתגברים ברצף זמן. תחשוב על זה כמו קוד מורס: התזמון שבו מתרחש פרץ חשמלי נושא שפע של נתונים. זה הבסיס לנוירונים המתחברים למעגלים ולהיררכיות, המאפשרים עיבוד יעיל מאוד באנרגיה.

אז למה לא לאמץ את אותה אסטרטגיה עבור מחשבים נוירומורפיים?

שבב דמוי מוח ספרטני

במקום למפות קוצים של נוירון מלאכותי בודד - משימה הרקוליאנית - הצוות חידד מדד בודד: כמה זמן לוקח לנוירון להידלק.

הרעיון מאחורי קוד "זמן-עד-הספייק הראשון" הוא פשוט: ככל שלוקח לנוירון זמן רב יותר לספוג, כך רמות הפעילות שלו נמוכות יותר. בהשוואה לספירת קוצים, זוהי דרך דלילה ביותר לקודד פעילות של נוירון, אבל מגיעה עם הטבות. מכיוון שרק ההשהיה לפעם הראשונה שבה נוירון מתגבר משמשת לקידוד הפעלה, היא לוכדת את ההיענות של הנוירון מבלי להציף מחשב עם יותר מדי נקודות נתונים. במילים אחרות, זה מהיר, חסכוני באנרגיה וקל.

לאחר מכן, הצוות קידד את האלגוריתם על גבי שבב נוירומורפי - ה BrainScaleS-2, שמחקה בערך "נוירונים" פשוטים בתוך המבנה שלו, אבל פועל מהר יותר פי 1,000 מאשר המוח הביולוגי שלנו. לפלטפורמה יש למעלה מ-500 נוירונים מלאכותיים פיזיים, שכל אחד מהם מסוגל לקבל 256 תשומות באמצעות סינפסות הניתנות להגדרה, שבהן נוירונים ביולוגיים מחליפים, מעבדים ומאחסנים מידע.

ההתקנה היא היברידית. "למידה" מושגת בשבב המיישם את האלגוריתם התלוי בזמן. עם זאת, כל עדכונים למעגל העצבי - כלומר, כמה חזק נוירון אחד מתחבר לאחר - מושגים באמצעות תחנת עבודה חיצונית, משהו שמכונה "אימון בלולאה".

במבחן ראשון, האלגוריתם אותגר במשימת "יין-יאנג", המחייבת את האלגוריתם לנתח אזורים שונים בסמל המזרחי המסורתי. האלגוריתם הצטיין, עם ממוצע של 95 אחוז דיוק.

הצוות הבא אתגר את ההגדרה עם משימת למידה עמוקה קלאסית -MNIST, מערך נתונים של מספרים בכתב יד שחולל מהפכה בראייה הממוחשבת. האלגוריתם הצטיין שוב, עם כמעט 97 אחוז דיוק. אפילו יותר מרשים, למערכת BrainScaleS-2 לקח פחות משנייה אחת לסווג 10,000 דגימות בדיקה, עם צריכת אנרגיה יחסית נמוכה במיוחד.

בהקשר של תוצאות אלה, הצוות השווה בשלב הבא את הביצועים של BrainScaleS-2 - חמוש באלגוריתם החדש - לפלטפורמות נוירומורפיות מסחריות ואחרות. לקחת ספינקר, ארכיטקטורה מסיבית, מבוזרת מקבילה, המחקה גם מחשוב עצבי ודוקרנים. האלגוריתם החדש היה מהיר יותר פי 100 בזיהוי תמונה תוך שהוא צורך רק חלק קטן מהכוח ש-SpiNNaker צורך. תוצאות דומות נראו עם True North, השבב הנוירומורפי המבשר של IBM.

מה הלאה?

שתי תכונות המחשוב החשובות ביותר של המוח - יעילות אנרגטית ועיבוד מקביל - מהוות כעת השראה רבה לדור הבא של שבבי מחשב. המטרה? בנו מכונות גמישות ומסתגלות כמו המוח שלנו תוך שימוש רק בחלק מהאנרגיה הנדרשת עבור השבבים המבוססים על הסיליקון הנוכחיים שלנו.

עם זאת, בהשוואה ללמידה עמוקה, הנשענת על רשתות עצביות מלאכותיות, אלה הסבירות מבחינה ביולוגית נמחקו. חלק מזה, הסביר פרנקל, הוא הקושי "לעדכן" את המעגלים הללו באמצעות למידה. עם זאת, עם BrainScaleS-2 ומגע של נתוני תזמון, זה כעת אפשרי.

יחד עם זאת, קיום בורר "חיצוני" לעדכון קשרים סינפטיים נותן לכל המערכת קצת זמן לנשום. חומרה נוירומורפית, בדומה לבלגן של חישוב המוח שלנו, מלאה באי-התאמה ושגיאות. עם השבב ובורר חיצוני, המערכת כולה יכולה ללמוד להסתגל לשונות הזו, ובסופו של דבר לפצות על - או אפילו לנצל - את המוזרויות שלה ללמידה מהירה וגמישה יותר.

עבור פרנקל, כוחו של האלגוריתם טמון בדלילות שלו. המוח, היא הסבירה, מופעל על ידי קודים דלילים ש"יכולים להסביר את זמני התגובה המהירים... כמו לעיבוד חזותי." במקום להפעיל אזורים שלמים במוח, יש צורך רק בכמה רשתות עצביות - כמו ריצה בכבישים מהירים ריקים במקום להיתקע בתנועה של שעות העומס.

למרות כוחו, לאלגוריתם עדיין יש שיהוקים. הוא נאבק בפענוח נתונים סטטיים, למרות שהוא מצטיין ברצפי זמן - למשל, דיבור או סיגנלים ביולוגיים. אבל בעיני פרנקל, זו התחלה של מסגרת חדשה: ניתן לקודד מידע חשוב במדד גמיש אך פשוט, ולהכליל כדי להעשיר עיבוד נתונים מבוססי מוח ובינה מלאכותית בשבריר מעלות האנרגיה המסורתית.

"[זה]... עשוי להיות אבן קפיצה חשובה לחיזוק חומרה נוירומורפית כדי להפגין סוף סוף יתרון תחרותי על פני גישות קונבנציונליות של רשתות עצביות", אמרה.

קרדיט תמונה: סיווג נקודות נתונים במערך הנתונים של Yin-Yang, מאת Göltz ו-Kriener et al. (היידלברג / ברן)

מקור: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/