הבינה המלאכותית נקרעת. מכונות יכולות לדבר, לכתוב, לשחק משחקים וליצור תמונות מקוריות, וידאו ומוזיקה. אבל ככל שהיכולות של AI גדלו, כך גם האלגוריתמים שלה גדלו.
לפני עשור, אלגוריתמים של למידת מכונה הסתמך על עשרות מיליוני קשרים פנימיים, או פרמטרים. האלגוריתמים של היום מגיעים באופן קבוע למאות מיליארדים ו אפילו טריליוני פרמטרים. חוקרים אומרים שהגדלה עדיין מניבה שיפורי ביצועים, ומודלים עם עשרות טריליוני פרמטרים עשויים להגיע תוך זמן קצר.
כדי להכשיר דגמים כל כך גדולים, אתה צריך מחשבים חזקים. בעוד שבינה מלאכותית בתחילת שנות ה-2010 רצה על קומץ יחידות עיבוד גרפיות - שבבי מחשב המצטיינים בעיבוד מקביל החיוני ל-AI - צורכי מחשוב גדלו באופן אקספוננציאלי, ודגמים מובילים דורשים כעת מאות או אלפים. OpenAI, מיקרוסופט, meta, ואחרים בונים מחשבי-על ייעודיים כדי להתמודד עם המשימה, ולדבריהם מכונות הבינה המלאכותית הללו מדורגות בין המהירות ביותר על פני כדור הארץ.
אבל למרות שמעבדי GPU היו מכריעים לקנה מידה של AI - ה-A100 של Nvidia, למשל, הוא עדיין אחד מהשבבים המהירים והנפוץ ביותר באשכולות AI - צצו בשנים האחרונות חלופות מוזרות יותר שתוכננו במיוחד עבור AI.
Cerebras מציעה חלופה אחת כזו.
הכנת ארוחה של AI
בגודל של צלחת ארוחת ערב - כ-8.5 אינץ' בצד - מנוע קנה המידה של החברה הוא שבב הסיליקון הגדול בעולם, המתהדר ב-2.6 טריליון טרנזיסטורים ו-850,000 ליבות חרוטות על פרוסת סיליקון אחת. כל Wafer Scale Engine משמש כלב המחשב CS-2 של החברה.
לבד, ה-CS-2 הוא חיה, אבל בשנה שעברה Cerebras חשפה תוכנית לקשר CS-2s יחד עם מערכת זיכרון חיצונית בשם MemoryX ומערכת לחיבור CS-2s בשם SwarmX. החברה אמרה שהטכנולוגיה החדשה יכולה לקשר עד 192 שבבים ולאמן דגמים שני סדרי גודל גדולים יותר מה-AI הגדולים והמתקדמים ביותר של היום.
"התעשייה עוברת מעבר למודלים של טריליון פרמטרים, ואנחנו מרחיבים את הגבול הזה בשני סדרי גודל, ומאפשרים רשתות עצביות בקנה מידה מוח עם 1 טריליון פרמטרים", אמר מנכ"ל ומייסד משותף של Cerebras, אנדרו פלדמן.
בזמנו כל זה היה תיאורטי. אבל בשבוע שעבר, ה הודיעה החברה הם חיברו 16 CS-2 למחשב-על ברמה עולמית של AI.
הכירו את אנדרומדה
למכונה החדשה, הנקראת אנדרומדה, יש 13.5 מיליון ליבות המסוגלות למהירות על פני אקספלופ (קווינטיליון פעולות בשנייה) בדיוק של חצי סיביות של 16 סיביות. בשל השבב הייחודי בליבתו, לא ניתן להשוות את אנדרומדה בקלות למחשבי-על הפועלים על מעבדים ו-GPU מסורתיים יותר, אבל אמר פלדמן חוט HPC אנדרומדה מקבילה בערך למחשב העל Polaris של המעבדה הלאומית של Argonne, המדורגת מקום 17 המהיר בעולם, על פי רשימת Top500 העדכנית ביותר.
בנוסף לביצועים, זמן הבנייה המהיר של אנדרומדה, העלות וטביעת הרגל בולטים. ארגון החל להתקין את פולריס בקיץ 2021, ומחשב העל עלה לאוויר כשנה לאחר מכן. הוא תופס 40 מתלים, המארזים דמויי ארון התיוק מכילים רכיבי מחשבי-על. לשם השוואה, אנדרומדה עלתה 35 מיליון דולר - מחיר צנוע למכונה בעלת הכוח שלה - לקחה רק שלושה ימים להרכבה, ומשתמש ב-16 מתלים בלבד.
Cerebras בדקה את המערכת על ידי הכשרת חמש גרסאות של מודל השפה הגדול GPT-3 של OpenAI וכן GPT-J ו-GPT-NeoX של Eleuther AI בקוד פתוח. ולפי Cerebras, אולי הממצא החשוב ביותר הוא שאנדרומדה הדגימה את מה שהם מכנים "קנה מידה ליניארי כמעט מושלם" של עומסי עבודה של AI עבור מודלים של שפות גדולות. בקיצור, זה אומר שככל שמתווספים CS-2 נוספים, זמני האימון יורדים באופן יחסי.
בדרך כלל, אמרה החברה, ככל שמוסיפים יותר שבבים, השיפור בביצועים פוחת. מצד שני, שבב ה-WSE של Cerebras עשוי להתגלות בצורה יעילה יותר מכיוון ש-850,000 הליבות שלו מחוברות זו לזו על אותה פיסת סיליקון. מה שכן, לכל ליבה יש מודול זיכרון ממש ליד. ביחד, השבב מקצץ את משך הזמן המושקע בהעברת נתונים בין הליבות לזיכרון.
"קנה מידה ליניארי פירושו שכאשר אתה עובר ממערכת אחת לשניה, לוקח חצי יותר זמן עד שהעבודה שלך תושלם. זה מאפיין מאוד חריג במחשוב", אמר פלדמן חוט HPC. והוא אמר, זה יכול להתרחב מעבר ל-16 מערכות מחוברות.
מעבר לבדיקות של Cerebras עצמו, תוצאות קנה המידה הליניאריות הוכחו גם במהלך עבודה במעבדה הלאומית של Argonne, שם חוקרים השתמשו באנדרומדה כדי לאמן את אלגוריתם השפה הגדול GPT-3-XL על רצפים ארוכים של הגנום Covid-19.
כמובן, למרות שהמערכת עשויה להתרחב מעבר ל-16 CS-2s, עד כמה קנה מידה ליניארי נמשך נותר לראות. כמו כן, אנחנו עדיין לא יודעים איך Cerebras מתפקד ראש בראש מול שבבי AI אחרים. יצרניות שבבי בינה מלאכותית כמו Nvidia ואינטל החלו השתתפות בהשוואה קבועה של צד שלישי על ידי אנשים כמו MLperf. Cerebras עדיין לא השתתף.
מקום לחסוך
ובכל זאת, נראה שהגישה חוצבת נישה משלה בעולם מחשוב העל, והמשך קנה מידה ב-AI בשפה גדולה הוא מקרה שימוש מעולה. אכן, פלדמן אמר לי קווית אשתקד שהחברה כבר דיברה עם מהנדסים ב-OpenAI, מובילה במודלים של שפות גדולות. (מייסד OpenAI, סם אלטמן, הוא גם משקיע ב-Cerebras.)
עם יציאתו בשנת 2020, דגם השפה הגדול של OpenAI GPT-3, שינה את המשחק הן מבחינת ביצועים והן מבחינת גודל. במשקל של 175 מיליארד פרמטרים, זה היה מודל הבינה המלאכותית הגדול ביותר באותה תקופה והפתיע את החוקרים ביכולותיו. מאז, מודלים של שפה הגיעו לטריליוני פרמטרים, וייתכן שיגיעו מודלים גדולים יותר. יש שמועות- רק זה, עד כה - ש-OpenAI תשחרר את GPT-4 בעתיד הלא רחוק וזו תהיה קפיצת מדרגה נוספת מ-GPT-3. (נצטרך לחכות ולראות בספירה הזו.)
עם זאת, למרות היכולות שלהם, דגמי שפה גדולים אינם מושלמים ואינם נערצים באופן אוניברסלי. הפגמים שלהם כוללים פלט שיכול להיות שקרי, מוטה ופוגעני. Galactica של Meta, מאומן על טקסטים מדעיים, הוא דוגמה עדכנית. למרות מערך נתונים שאפשר להניח שהוא פחות נוטה לרעילות מאשר אימון באינטרנט הפתוח, המודל עורר בקלות לייצר טקסט מזיק ולא מדויק ונגרר תוך שלושה ימים בלבד. עדיין לא ברור אם חוקרים יכולים לפתור את החסרונות של AI בשפה.
אבל סביר להניח שההגדלה תימשך עד שתתחיל החזרות מצטמצמות. הקפיצה הבאה עשויה להיות ממש מעבר לפינה - ואולי כבר יש לנו את החומרה לגרום לזה לקרות.
תמונת אשראי: מוחין
