Uusi spiking neuromorfinen siru voi aloittaa erittäin tehokkaan tekoälyn aikakauden

Mitä tulee aivojen tietojenkäsittelyyn, ajoitus on kaikki kaikessa. Näin neuronit kytkeytyvät piireihin. Näin nämä piirit käsittelevät erittäin monimutkaista dataa, mikä johtaa toimiin, jotka voivat tarkoittaa elämää tai kuolemaa. Näin aivomme voivat tehdä päätöksiä sekunnin murto-osassa, jopa täysin uusien olosuhteiden edessä. Ja teemme niin ilman, että aivot paistavat laajasta energiankulutuksesta.

Toisin sanoen aivot ovat erinomainen esimerkki erittäin tehokkaasta tietokoneesta, jota voidaan jäljitellä – ja tietotekniikan tutkijat ja insinöörit ovat ottaneet ensimmäiset askeleet sitä kohti. Neuromorfisen laskennan alalla pyritään luomaan uudelleen aivojen arkkitehtuuri ja tietojenkäsittelykyky uusilla laitteistosiruilla ja ohjelmistoalgoritmeilla. Se voi olla tie kohti totuutta tekoäly.

Mutta yksi ratkaiseva elementti puuttuu. Useimmat neuromorfisia siruja käyttävät algoritmit välittävät vain kunkin keinotekoisen hermosolun panoksesta – toisin sanoen kuinka vahvasti ne liittyvät toisiinsa, ja niitä kutsutaan "synaptiseksi painoksi". Puuttuva on ajoitus, joka kuitenkin vastaa aivojen sisäistä toimintaa.

Tässä kuussa Human Brain Projectiin, Euroopan unionin big datan neurotieteen lippulaivahankkeeseen, liittyvä tiimi lisäsi. ajan elementti neuromorfiseen algoritmiin. Tulokset toteutettiin sitten fyysisellä laitteistolla BrainScaleS-2 neuromorfinen alusta – ja vastakkain uusimpien GPU:iden ja perinteisten neuromorfisten ratkaisujen kanssa.

"Verrattuna syväoppimisessa käytettyihin abstrakteihin hermoverkkoihin, biologisemmat arkkityypit ovat edelleen jäljessä suorituskyvyn ja skaalautuvuuden suhteen" niiden luontaisen monimutkaisuuden vuoksi, kirjoittajat sanoivat.

Useissa testeissä algoritmi vertasi "suotuisasti, mitä tulee tarkkuuteen, latenssiin ja energiatehokkuuteen" tavallisessa vertailutestissä, sanoi Dr. Charlotte Frenkel Zürichin yliopistosta ja ETH Zurichista Sveitsistä, joka ei ollut mukana tutkimuksessa. Lisäämällä ajallisen komponentin neuromorfiseen laskentaan voisimme aloittaa uuden aikakauden erittäin tehokkaassa tekoälyssä, joka siirtyy staattisista datatehtävistä – esimerkiksi kuvantunnistuksesta – ajan paremmin kapseloiviin tehtäviin. Ajattele videoita, biosignaaleja tai aivoista tietokoneelle tapahtuvaa puhetta.

Johtava kirjailija tohtori Mihai Petrovici, potentiaali kulkee molempiin suuntiin. "Työmme ei ole kiinnostavaa vain neuromorfisen laskennan ja biologisesti inspiroidun laitteiston kannalta. Se myös tunnustaa vaatimuksen … siirtää niin sanottuja syväoppimisen lähestymistapoja neurotieteeseen ja siten paljastaa edelleen ihmisaivojen salaisuuksia", hän sanoi.

Puhutaan piikeistä

Uuden algoritmin ytimessä on aivojen tietojenkäsittelyn perusperiaate: piikit.

Katsotaanpa erittäin abstraktia neuronia. Se on kuin tootsie-rulla, jossa on sipulimainen keskiosa, jota reunustavat kaksi ulospäin suuntautuvaa käärettä. Toinen puoli on tulo - monimutkainen puu, joka vastaanottaa signaaleja edelliseltä neuronilta. Toinen on lähtö, räjäyttää signaaleja muille hermosoluille käyttämällä kuplamaisia ​​aluksia, jotka on täytetty kemikaaleilla, mikä puolestaan ​​laukaisee sähköisen vasteen vastaanottavassa päässä.

Tässä on ydin: jotta tämä koko sekvenssi toteutuisi, hermosolun täytyy "piikeillä". Jos ja vain jos neuroni vastaanottaa riittävän korkean tason syöttöä – hienosti sisäänrakennetun kohinanvaimennusmekanismin – sipulimainen osa tuottaa piikin, joka kulkee ulostulokanavia pitkin varoittamaan seuraavaa neuronia.

Mutta neuronit eivät käytä vain yhtä piikkiä tiedon välittämiseen. Pikemminkin ne piiskaavat aikajärjestyksessä. Ajattele sitä kuin morsekoodia: sähköpurskeen ajoitus sisältää runsaasti tietoa. Se on perusta neuronien kytkeytymiselle piireihin ja hierarkioihin, mikä mahdollistaa erittäin energiatehokkaan käsittelyn.

Joten miksi ei omaksuisi samaa strategiaa neuromorfisille tietokoneille?

Spartan Brain-like Chip

Sen sijaan, että olisi kartoitettu yhden keinotekoisen hermosolun piikit – herkuleinen tehtävä – tiimi hioi yhtä mittaria: kuinka kauan hermosolun laukeaminen kestää.

Ajatus "time-to-first-spike" -koodin takana on yksinkertainen: mitä kauemmin neuronin piikkiin kuluu, sitä alhaisempi on sen aktiivisuus. Piikkien laskemiseen verrattuna se on erittäin harvinainen tapa koodata neuronin toimintaa, mutta mukana tulee etuja. Koska aktivaation koodaamiseen käytetään vain hermosolujen ensimmäisen vireyskerran viivettä, se kaappaa hermosolujen reagointikyvyn kuormittamatta tietokonetta liian monella datapisteellä. Toisin sanoen se on nopeaa, energiatehokasta ja helppoa.

Seuraavaksi ryhmä koodasi algoritmin neuromorfiselle sirulle BrainScaleS-2, joka karkeasti jäljittelee yksinkertaisia ​​"neuroneja" rakenteensa sisällä, mutta toimii yli 1,000 kertaa nopeampi kuin biologiset aivomme. Alustalla on yli 500 fyysistä keinotekoista neuronia, joista jokainen pystyy vastaanottamaan 256 syöttöä konfiguroitavien synapsien kautta, joissa biologiset neuronit vaihtavat, käsittelevät ja tallentavat tietoa.

Kokoonpano on hybridi. "Oppiminen" tapahtuu sirulla, joka toteuttaa ajasta riippuvan algoritmin. Kuitenkin kaikki hermopiirin päivitykset - eli kuinka vahvasti yksi neuroni muodostaa yhteyden toiseen - saavutetaan ulkoisen työaseman avulla, jota kutsutaan "silmukan sisäiseksi harjoitukseksi".

Ensimmäisessä testissä algoritmi haastettiin "Yin-Yang" -tehtävällä, joka vaatii algoritmin jäsentämään eri alueita perinteisessä itäisessä symbolissa. Algoritmi oli erinomainen, keskimäärin 95 prosentin tarkkuudella.

Seuraavaksi tiimi haastoi asennuksen klassisella syväoppimistehtävällä –MNIST, käsinkirjoitettujen numeroiden tietojoukko, joka mullisti tietokonenäön. Algoritmi loisti jälleen lähes 97 prosentin tarkkuudella. Vieläkin vaikuttavampaa on, että BrainScaleS-2-järjestelmällä 10,000 XNUMX testinäytteen luokittelu kesti alle sekunnin, ja suhteellinen energiankulutus oli erittäin alhainen.

Laittamalla nämä tulokset kontekstiin, tiimi vertasi seuraavaksi BrainScaleS-2:n suorituskykyä uudella algoritmilla kaupallisiin ja muihin neuromorfisiin alustoihin. Ota SpiNNaker, massiivinen, rinnakkain hajautettu arkkitehtuuri, joka myös jäljittelee hermolaskentaa ja piikkejä. Uusi algoritmi oli yli 100 kertaa nopeampi kuvantunnistuksessa samalla kun se kulutti vain murto-osan SpiNNakerin käyttämästä tehosta. Samanlaisia ​​tuloksia havaittiin True Northilla, IBM:n neuromorfisella sirulla.

Mitä seuraavaksi?

Aivojen kaksi arvokkainta tietojenkäsittelyominaisuutta – energiatehokkuus ja rinnakkaiskäsittely – inspiroivat nyt voimakkaasti seuraavan sukupolven tietokonesiruja. Maali? Rakenna koneita, jotka ovat yhtä joustavia ja mukautuvia kuin omat aivomme ja käyttävät vain murto-osan nykyisten piipohjaisten sirujen tarvitsemasta energiasta.

Mutta verrattuna syväoppimiseen, joka perustuu keinotekoisiin hermoverkkoihin, biologisesti uskottavat ovat laantuneet. Frenkel selitti, että osa tästä on vaikeus "päivittää" näitä piirejä oppimisen avulla. Kuitenkin BrainScaleS-2:n ja ripaus ajoitusdataa ansiosta se on nyt mahdollista.

Samalla "ulkoinen" välimies synaptisten yhteyksien päivittämiseen antaa koko järjestelmälle jonkin aikaa hengähtää. Neuromorfinen laitteisto, joka muistuttaa aivolaskennan sotkuisuutta, on täynnä yhteensopimattomuutta ja virheitä. Sirun ja ulkoisen välimiehen avulla koko järjestelmä voi oppia sopeutumaan tähän vaihteluun ja lopulta kompensoida – tai jopa hyödyntää – sen omituisuuksia nopeampaan ja joustavampaan oppimiseen.

Frenkelille algoritmin voima piilee sen harvassa. Hän selitti, että aivot saavat virtansa harvasta koodista, joka "voi selittää nopeat reaktioajat... kuten visuaalisen käsittelyn". Sen sijaan, että aktivoitaisiin kokonaisia ​​aivoalueita, tarvitaan vain muutamia hermoverkkoja – kuten tyhjien valtateiden sihiseminen sen sijaan, että juuttuisit ruuhkaliikenteeseen.

Tehosta huolimatta algoritmissa on edelleen hikkauksia. Se kamppailee staattisen datan tulkinnan kanssa, vaikka se loistaa aikajaksojen – esimerkiksi puheen tai biosignaalien – kanssa. Mutta Frenkelille se on uuden kehyksen alku: tärkeät tiedot voidaan koodata joustavalla mutta yksinkertaisella mittarilla ja yleistää aivoihin ja tekoälyyn perustuvan tietojenkäsittelyn rikastamiseksi murto-osalla perinteisistä energiakustannuksista.

"[Se]… voi olla tärkeä ponnahduslauta neuromorfisten laitteistojen lisäämiselle, jotta voidaan vihdoin osoittaa kilpailuetu tavanomaisiin hermoverkkoihin verrattuna", hän sanoi.

Kuvaluotto: Datapisteiden luokittelu Yin-Yang-tietojoukossa, Göltz ja Kriener et al. (Heidelberg / Bern)

Lähde: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/