Nov vrtljivi nevromorfni čip bi lahko začel dobo visoko učinkovite umetne inteligence

Ko gre za možgansko računalništvo, je čas najpomembnejši. Tako se nevroni povezujejo v vezja. Tako ta vezja obdelujejo zelo zapletene podatke, kar vodi do dejanj, ki lahko pomenijo življenje ali smrt. Tako lahko naši možgani sprejmejo odločitve v delčku sekunde, tudi ko se soočijo s povsem novimi okoliščinami. In to počnemo, ne da bi ocvrli možgane zaradi velike porabe energije.

Če preoblikujemo, so možgani odličen primer izjemno zmogljivega računalnika za posnemanje – in računalniški znanstveniki in inženirji so naredili prve korake k temu. Področje nevromorfnega računalništva želi poustvariti možgansko arhitekturo in zmožnosti obdelave podatkov z novimi strojnimi čipi in programskimi algoritmi. Morda je to pot do resnice Umetna inteligenca.

Manjka pa en ključni element. Večina algoritmov, ki poganjajo nevromorfne čipe, skrbi samo za prispevek vsakega umetnega nevrona - to je, kako močno se povezujejo drug z drugim, kar imenujemo "sinaptična teža". Tisto, kar manjka – a je enako notranjemu delovanju naših možganov – je čas.

Ta mesec je ekipa, povezana s Projektom človeških možganov, vodilnim podvigom Evropske unije na področju nevroznanosti z velikimi podatki, dodala element časa na nevromorfni algoritem. Rezultati so bili nato implementirani na fizično strojno opremo BrainScaleS-2 nevromorfna platforma—in se spopada z najsodobnejšimi grafičnimi procesorji in običajnimi nevromorfnimi rešitvami.

"V primerjavi z abstraktnimi nevronskimi mrežami, ki se uporabljajo pri globokem učenju, bolj biološki arhetipi ... še vedno zaostajajo v smislu zmogljivosti in razširljivosti" zaradi svoje inherentne kompleksnosti, so povedali avtorji.

V več testih je bil algoritem "ugoden v primerjavi z natančnostjo, zakasnitvijo in energetsko učinkovitostjo" na standardnem primerjalnem testu, je dejal Dr. Charlotte Frenkel z Univerze v Zürichu in ETH Zürich v Švici, ki ni bila vključena v študijo. Z dodajanjem časovne komponente v nevromorfno računalništvo bi lahko začeli novo dobo visoko učinkovite umetne inteligence, ki se premakne od statičnih podatkovnih nalog – recimo prepoznavanje slik – k tisti, ki bolje zajema čas. Pomislite na videoposnetke, biosignale ali govor med možgani in računalnikom.

Za glavnega avtorja dr. Mihaia Petrovicija je potencial obojestranski. »Naše delo ni zanimivo samo za nevromorfno računalništvo in biološko navdihnjeno strojno opremo. Prav tako priznava zahtevo … po prenosu tako imenovanih pristopov globokega učenja v nevroznanost in s tem nadaljnjemu razkrivanju skrivnosti človeških možganov,« je dejal. je dejal.

Let's Talk Spikes

Osnova novega algoritma je temeljno načelo možganskega računalništva: konice.

Oglejmo si zelo abstrakten nevron. Je kot tootsie zvitek, z gomoljastim srednjim delom, ki ga obdajata dva navzven segajoča ovoja. Ena stran je vhod - zapleteno drevo, ki sprejema signale prejšnjega nevrona. Drugi je izhod, razstreljevanje signalov drugim nevronom z uporabo mehurčkov podobnih ladij, napolnjenih s kemikalijami, kar nato sproži električni odziv na sprejemnem koncu.

Tukaj je bistvo: da se to celotno zaporedje zgodi, se mora nevron "zvišati". Če in samo če nevron prejme dovolj visoko raven vnosa – lepo vgrajen mehanizem za zmanjševanje hrupa – bo čebulasti del ustvaril konico, ki potuje po izhodnih kanalih in opozori naslednji nevron.

Toda nevroni ne uporabljajo samo ene konice za prenos informacij. Namesto tega se vrtijo v časovnem zaporedju. Pomislite na to kot na Morsejevo abecedo: čas, ko pride do električnega izbruha, vsebuje veliko podatkov. Je osnova za povezovanje nevronov v vezja in hierarhije, kar omogoča visoko energetsko učinkovito obdelavo.

Zakaj torej ne bi sprejeli iste strategije za nevromorfne računalnike?

Špartanski čip, podoben možganom

Namesto načrtovanja konic enega umetnega nevrona – herkulova naloga – se je ekipa izpilila na eno samo metriko: koliko časa traja, da se nevron sproži.

Zamisel za kodo »čas do prvega skoka« je preprosta: dlje ko nevron potrebuje za skok, nižje so njegove ravni aktivnosti. V primerjavi s štetjem konic je to izjemno redek način za kodiranje dejavnosti nevrona, vendar prinaša ugodnosti. Ker se za kodiranje aktivacije uporabi le zakasnitev do prvega dviga nevrona, zajame odzivnost nevrona, ne da bi računalnik preobremenil s preveč podatkovnimi točkami. Z drugimi besedami, je hiter, energetsko učinkovit in enostaven.

Ekipa je nato kodirala algoritem na nevromorfni čip - BrainScaleS-2, ki v svoji strukturi približno posnema preproste "nevrone", vendar teče več kot 1,000-krat hitreje kot naši biološki možgani. Platforma ima več kot 500 fizičnih umetnih nevronov, od katerih lahko vsak sprejme 256 vhodov prek nastavljivih sinaps, kjer biološki nevroni izmenjujejo, obdelujejo in shranjujejo informacije.

Postavitev je hibridna. »Učenje« je doseženo na čipu, ki implementira časovno odvisen algoritem. Vse posodobitve nevronskega vezja – to je, kako močno se en nevron povezuje z drugim – dosežejo z zunanjo delovno postajo, nekaj, kar imenujemo »usposabljanje v zanki«.

V prvem preizkusu je bil algoritem izzvan z nalogo "jin-jang", ki zahteva, da algoritem razčleni različna področja v tradicionalnem vzhodnem simbolu. Algoritem se je izkazal s povprečno 95-odstotno natančnostjo.

Ekipa je nato izzvala nastavitev s klasično nalogo globokega učenja –MNIST, podatkovni niz ročno napisanih številk, ki je revolucioniral računalniški vid. Algoritem je znova blestel s skoraj 97-odstotno natančnostjo. Še bolj impresivno je, da je sistem BrainScaleS-2 za klasifikacijo 10,000 testnih vzorcev potreboval manj kot eno sekundo z izjemno nizko relativno porabo energije.

Ko je te rezultate postavila v kontekst, je ekipa nato primerjala zmogljivost BrainScaleS-2 – oboroženo z novim algoritmom – s komercialnimi in drugimi nevromorfnimi platformami. Vzemi SpiNNaker, masivna, vzporedno porazdeljena arhitektura, ki posnema tudi nevronsko računalništvo in konice. Novi algoritem je bil več kot 100-krat hitrejši pri prepoznavanju slike, medtem ko je porabil le delček energije, ki jo porabi SpiNNaker. Podobne rezultate smo opazili pri True North, predhodniku IBM-ovega nevromorfnega čipa.

Kaj sledi?

Dve najdragocenejši računalniški funkciji možganov – energetska učinkovitost in vzporedna obdelava – zdaj močno navdihujeta naslednjo generacijo računalniških čipov. Cilj? Izdelajte stroje, ki so tako prožni in prilagodljivi kot naši lastni možgani, pri tem pa porabijo le delček energije, potrebne za naše trenutne čipe na osnovi silicija.

Toda v primerjavi z globokim učenjem, ki temelji na umetnih nevronskih mrežah, so biološko verjetne zamrle. Del tega, je pojasnil Frenkel, je težava "posodabljanja" teh vezij z učenjem. Z BrainScaleS-2 in kančkom časovnih podatkov pa je to zdaj mogoče.

Hkrati pa prisotnost "zunanjega" arbitra za posodabljanje sinaptičnih povezav daje celotnemu sistemu nekaj časa, da zadiha. Nevromorfna strojna oprema, podobna zmešnjavi našega možganskega računanja, je polna neusklajenosti in napak. S čipom in zunanjim razsodnikom se lahko celoten sistem nauči prilagoditi tej variabilnosti in sčasoma kompenzira – ali celo izkoristi – njegove posebnosti za hitrejše in bolj prilagodljivo učenje.

Za Frenkela je moč algoritma v njegovi redkosti. Možgane, je pojasnila, poganjajo redke kode, ki "lahko razložijo hitre reakcijske čase ... kot na primer za vizualno obdelavo." Namesto aktiviranja celih predelov možganov je potrebnih le nekaj nevronskih mrež – kot bi švigali po praznih avtocestah, namesto da bi obtičali v prometnih konicah.

Kljub svoji moči ima algoritem še vedno kolcanje. Težave ima pri interpretaciji statičnih podatkov, čeprav se odlično znajde pri časovnih zaporedjih, na primer pri govoru ali biosignalih. Toda za Frenkela je to začetek novega okvira: pomembne informacije je mogoče kodirati s prilagodljivo, a preprosto metriko in jih posplošiti, da obogatijo obdelavo podatkov, ki temelji na možganih in umetni inteligenci, z delčkom tradicionalnih stroškov energije.

"[To] ... je lahko pomembna odskočna deska za razširitev nevromorfne strojne opreme, da se končno pokaže konkurenčna prednost pred običajnimi pristopi nevronske mreže," je dejala.

Avtorstvo slike: Razvrščanje podatkovnih točk v naboru podatkov Yin-Yang, Göltz in Kriener et al. (Heidelberg / Bern)

Vir: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/