Az új tüskés neuromorf chip bevezetheti a rendkívül hatékony AI korszakát

Ha az agyi számítástechnikáról van szó, az időzítés a minden. Így kapcsolódnak be az idegsejtek áramkörökbe. Így dolgoznak fel ezek az áramkörök a rendkívül összetett adatokat, és olyan műveletekhez vezetnek, amelyek életet vagy halált jelenthetnek. Így tud agyunk a másodperc törtrésze alatt döntéseket hozni, még akkor is, ha teljesen új körülményekkel szembesülünk. És ezt anélkül tesszük, hogy megsütjük az agyat a kiterjedt energiafogyasztástól.

Átfogalmazva, az agy kiváló példája egy rendkívül nagy teljesítményű számítógépnek, amelyet utánozhat – és az informatikusok és mérnökök megtették az első lépéseket ennek érdekében. A neuromorf számítástechnika új hardverchipekkel és szoftveralgoritmusokkal kívánja újrateremteni az agy architektúráját és adatfeldolgozási képességeit. Lehet, hogy ez egy út az igazság felé mesterséges intelligencia.

De egy lényeges elem hiányzik. A legtöbb neuromorf chipet működtető algoritmus csak az egyes mesterséges neuronok hozzájárulásával foglalkozik, vagyis azzal, hogy milyen erősen kapcsolódnak egymáshoz, ezt „szinaptikus súlynak” nevezik. Ami hiányzik – mégis egyenértékű agyunk belső működésével –, az az időzítés.

Ebben a hónapban a Human Brain Projecthez kapcsolódó csapat, az Európai Unió zászlóshajója, a big data idegtudományi törekvése hozzátette. az idő eleme neuromorf algoritmusra. Az eredményeket ezután fizikai hardveren – a BrainScaleS-2 neuromorf platform – és szembeállítják a legmodernebb GPU-kkal és a hagyományos neuromorf megoldásokkal.

"A mély tanulásban használt absztrakt neurális hálózatokhoz képest a biológiai archetípusok… még mindig elmaradnak a teljesítmény és a skálázhatóság tekintetében" eredendő összetettségük miatt, mondták a szerzők.

Számos tesztben az algoritmus „előnyösen, a pontosság, a késleltetés és az energiahatékonyság tekintetében” hasonlított össze egy szabványos benchmark teszttel, mondott Dr. Charlotte Frenkel a Zürichi Egyetemről és a svájci ETH Zürichről, aki nem vett részt a vizsgálatban. Ha egy időbeli komponenst adunk a neuromorf számítástechnikához, a rendkívül hatékony mesterséges intelligencia új korszakát nyithatjuk meg, amely a statikus adatfeladatokról – mondjuk a képfelismerésről – az időt jobban magába foglaló feladatra lép át. Gondoljon a videókra, a biojelekre vagy az agytól a számítógépig tartó beszédre.

A vezető szerző, Dr. Mihai Petrovici szerint a potenciál mindkét irányba mutat. „Munkánk nem csak a neuromorf számítástechnika és a biológiai ihletésű hardverek szempontjából érdekes. Elismeri azt az igényt is, hogy az úgynevezett mély tanulási megközelítéseket át kell vinni az idegtudományba, és ezáltal tovább kell tárni az emberi agy titkait. mondott.

Beszéljünk Tüskékről

Az új algoritmus gyökere az agyi számítástechnika egyik alapelve: a tüskék.

Vessünk egy pillantást egy erősen absztrahált neuronra. Olyan, mint egy tekercs, hagymás középső részével, amelyet két kifelé nyúló burkolat szegélyez. Az egyik oldal a bemenet – egy bonyolult fa, amely egy korábbi neurontól kap jeleket. A másik a kimenő jel, amely vegyi anyagokkal töltött buborékszerű hajók segítségével más neuronokhoz juttatja a jeleket, ami viszont elektromos választ vált ki a vevő oldalon.

Íme a lényeg: ahhoz, hogy ez az egész szekvencia létrejöjjön, a neuronnak „tüskéznie” kell. Ha, és csak akkor, ha a neuron elég magas szintű bemenetet kap – egy szépen beépített zajcsökkentő mechanizmus –, a bulbos rész egy tüskét generál, amely a kimeneti csatornákon haladva figyelmezteti a következő neuront.

De a neuronok nem csak egy tüskét használnak az információ továbbítására. Inkább egy időbeli sorrendben pörögnek. Gondoljon úgy, mint a Morse-kód: az elektromos robbanás időpontja rengeteg adatot hordoz. Ez az alapja annak, hogy a neuronok áramkörökbe és hierarchiákba kapcsolódnak, lehetővé téve a rendkívül energiahatékony feldolgozást.

Miért ne alkalmazhatnánk ugyanezt a stratégiát a neuromorf számítógépeknél?

Egy Spartan Brain-szerű chip

Ahelyett, hogy egyetlen mesterséges neuron tüskéit feltérképezték volna – ez egy herkulesi feladat –, a csapat egyetlen mérőszámot csiszolt: mennyi ideig tart egy neuron tüzelése.

A „time-to-first-spike” kód mögött meghúzódó ötlet egyszerű: minél tovább tart egy neuronnak a kiugráshoz, annál alacsonyabb az aktivitási szintje. A tüskék számlálásához képest ez egy rendkívül ritka módja a neuronok aktivitásának kódolásának, de előnyökkel jár. Mivel csak az idegsejt első felfutásának késleltetését használják fel az aktiválás kódolására, ez rögzíti az idegsejt reakciókészségét anélkül, hogy túl sok adatponttal túlterhelné a számítógépet. Más szóval, gyors, energiatakarékos és egyszerű.

A csapat ezután egy neuromorf chipre kódolta az algoritmust – a BrainScaleS-2, amely nagyjából szimpla „neuronokat” emulál a szerkezetén belül, de fut több mint 1,000-szer gyorsabb mint a biológiai agyunk. A platform több mint 500 mesterséges mesterséges neuronnal rendelkezik, amelyek mindegyike 256 bemenetet képes fogadni konfigurálható szinapszisokon keresztül, ahol a biológiai neuronok információt cserélnek, dolgoznak fel és tárolnak.

A beállítás hibrid. A „tanulás” egy chipen történik, amely megvalósítja az időfüggő algoritmust. Azonban az idegi áramkör minden frissítése – azaz, hogy az egyik neuron milyen erősen kapcsolódik a másikhoz – külső munkaállomáson keresztül érhető el, amit „in-the-loop képzésnek” neveznek.

Az első tesztben az algoritmust megtámadták a „Yin-Yang” feladattal, amely megköveteli, hogy az algoritmus elemezze a hagyományos keleti szimbólum különböző területeit. Az algoritmus remekelt, átlagosan 95 százalékos pontossággal.

A csapat ezután egy klasszikus mély tanulási feladattal vetette szembe magát a beállítással –MNIST, kézzel írt számokból álló adathalmaz, amely forradalmasította a számítógépes látást. Az algoritmus ismét remekelt, közel 97 százalékos pontossággal. Még lenyűgözőbb, hogy a BrainScaleS-2 rendszernek kevesebb mint egy másodpercbe telt 10,000 XNUMX tesztminta osztályozása rendkívül alacsony relatív energiafogyasztás mellett.

Ezeket az eredményeket kontextusba helyezve a csapat ezután összehasonlította a BrainScaleS-2 teljesítményét – az új algoritmussal felvértezve – a kereskedelmi és más neuromorf platformokkal. Vesz Versenyvitorla, egy hatalmas, párhuzamosan elosztott architektúra, amely a neurális számítástechnikát és a tüskéket is utánozza. Az új algoritmus több mint 100-szor gyorsabb volt a képfelismerésben, miközben a SpiNNaker által fogyasztott energia csak töredékét fogyasztja. Hasonló eredményeket tapasztaltunk a True North esetében, az IBM neuromorf chip előhírnökeként.

Mi a következő lépés?

Az agy két legértékesebb számítási funkciója – az energiahatékonyság és a párhuzamos feldolgozás – immár erőteljesen inspirálja a számítógépes chipek következő generációját. A cél? Építsünk olyan gépeket, amelyek ugyanolyan rugalmasak és alkalmazkodóképesek, mint a saját agyunk, miközben a jelenlegi szilícium alapú chipjeinkhez szükséges energia töredékét használjuk fel.

A mesterséges neurális hálózatokra épülő mély tanuláshoz képest azonban a biológiailag valószínűtlenek elsorvadtak. Ennek része, magyarázta Frenkel, az, hogy ezeket az áramköröket tanulással nehéz „frissíteni”. A BrainScaleS-2-vel és egy kis időzítési adattal azonban ez most lehetséges.

Ugyanakkor egy „külső” döntőbíró a szinaptikus kapcsolatok frissítésére ad az egész rendszernek egy kis levegőt. A neuromorf hardver, hasonlóan agyunk számítási rendetlenségéhez, tele van eltérésekkel és hibákkal. A chippel és egy külső döntőbíróval az egész rendszer megtanulhat alkalmazkodni ehhez a változékonysághoz, és végül kompenzálni – vagy akár kihasználni – annak furcsaságait a gyorsabb és rugalmasabb tanulás érdekében.

Frenkel számára az algoritmus ereje a ritkaságában rejlik. Elmagyarázta, hogy az agyat ritka kódok hajtják, amelyek „megmagyarázhatják a gyors reakcióidőket… például a vizuális feldolgozást”. Ahelyett, hogy egész agyi régiókat aktiválnánk, csak néhány neurális hálózatra van szükség – például üres autópályákon zúgunk le, ahelyett, hogy elakadnánk a csúcsforgalomban.

Erőssége ellenére az algoritmusnak még mindig vannak akadozásai. Nehezen értelmezi a statikus adatokat, bár kitűnik az idősorokkal – például a beszéddel vagy a biojelekkel. Frenkel számára azonban ez egy új keretrendszer kezdete: a fontos információk egy rugalmas, de egyszerű mérőszámmal kódolhatók, és általánosíthatók, hogy az agy- és mesterségesintelligencia-alapú adatfeldolgozást a hagyományos energiaköltségek töredékével gazdagítsák.

„[Ez]… fontos lépcsőfok lehet a neuromorf hardverek felpörgetésében, hogy végre versenyelőnyt bizonyítson a hagyományos neurális hálózati megközelítésekkel szemben” – mondta.

Kép jóváírása: Adatpontok osztályozása a Yin-Yang adatkészletben, Göltz és Kriener et al. (Heidelberg / Bern)

Forrás: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/