Az AI-ajánlók egyre jobbak lesznek, ahogy nőnek. Számos modellt adtak ki korábban milliárd paraméterrel, a közelmúltban akár trillió is lehet. A modellkapacitás minden ugrása jelentős minőségjavulást hozott. A 100 billió paraméter korszaka a sarkon van.
A bonyolult, sűrű nyugalmi neurális hálózatok egyre számításigényesebbek, minden oktatási iterációban több mint 100 TFLOP-val. Ezért fontos, hogy rendelkezzünk valamilyen kifinomult mechanizmussal egy heterogén erőforrásokkal rendelkező klaszter kezelésére az ilyen képzési feladatokhoz.
A közelmúltban a Kwai Seattle AI Lab és a DS3 Lab az ETH Zürichtől együttműködve egy új, „Persia” elnevezésű rendszert javasoltak ennek a problémának a megoldására, mind az oktatási algoritmus, mind a képzési rendszer gondos közös tervezésével. Algoritmus szinten a Persia hibrid betanító algoritmust alkalmaz a beágyazóréteg és a sűrű neurális hálózati modulok eltérő kezelésére. A beágyazási réteget aszinkron módon tanítják a betanítási minták átviteli sebességének javítása érdekében, míg a többi neurális hálózatot szinkron módon képezik a statisztikai hatékonyság megőrzése érdekében. Rendszerszinten a memóriakezelés és a kommunikáció csökkentésére szolgáló rendszeroptimalizálások széles skáláját hajtották végre, hogy a hibrid algoritmusban rejlő lehetőségeket teljes mértékben kiaknázhassák.
Felhőforrások 100 trillió paraméteres AI-modellhez
Persia 100 billió paraméteres mesterséges intelligencia munkaterhelés a következő heterogén erőforrásokon fut:
3,000 magnyi számításigényes virtuális gép
8 A2 virtuális gép, összesen 64 A100 Nvidia GPU-val
30 nagy memóriával rendelkező virtuális gép, mindegyik 12 TB RAM-mal, összesen 360 TB
Hangszerelés Kubernetes-szel
Az összes erőforrást egyidejűleg ugyanabban a zónában kellett elindítani a hálózati késleltetés minimalizálása érdekében. A Google Cloud nagyon kevés értesítéssel tudta biztosítani a szükséges kapacitást.
Az AI-képzéshez sorozatban erőforrásokra van szükség.
A Google Kubernetes Engine-t (GKE) használták a 138 virtuális gép és szoftverkonténer telepítésének megszervezésére. A munkaterhelés konténerbe foglalása lehetővé teszi a képzés áthelyezését és megismételhetőségét is.
Eredmények és következtetések
A Google Cloud infrastruktúra támogatásával a csapat bemutatta Persia skálázhatóságát 100 billió paraméterig. A hibrid elosztott képzési algoritmus kidolgozott rendszerrelaxációkat vezetett be a heterogén klaszterek hatékony kihasználása érdekében, miközben olyan gyorsan konvergál, mint a vanília SGD. A Google Cloud elengedhetetlen volt a helyszíni hardverek korlátainak leküzdéséhez, és optimális számítási környezetnek bizonyult az elosztott gépi tanulási képzéshez hatalmas léptékben.
A Persia nyílt forráskódú projektként jelent meg a githubon, a Google Cloud beállítási utasításaival – mind a tudományos körökből, mind az iparból mindenki könnyen taníthatna 100 billió paraméteres skálájú, mély tanulást ajánló modelleket.
Brian Wang futurista gondolatvezető és népszerű tudományos blogger, havi 1 millió olvasóval. Blogja a Nextbigfuture.com a Science News Blog első helyén van. Számos zavaró technológiát és trendet fed le, beleértve az űrt, a robotikát, a mesterséges intelligenciát, az orvostudományt, az öregedésgátló biotechnológiát és a nanotechnológiát.
A legmodernebb technológiák azonosításáról ismert, jelenleg társalapítója a nagy potenciállal rendelkező korai stádiumú cégek indításának és adománygyűjtésének. Ő a mélytechnológiai beruházások elosztásának kutatási vezetője és egy angyalbefektető a Space Angels -nél.
A vállalatok gyakori előadója, volt TEDx -előadó, a Szingularitás Egyetem előadója és számos rádió- és podcast -interjú vendége. Nyitott a nyilvános beszédre és tanácsadásra.
