Ny spids neuromorf chip kunne indlede en æra med højeffektiv kunstig intelligens

Når det kommer til brain computing, er timing alt. Det er hvordan neuroner forbinder sig til kredsløb. Det er, hvordan disse kredsløb behandler meget komplekse data, hvilket fører til handlinger, der kan betyde liv eller død. Det er sådan, vores hjerner kan træffe beslutninger på et splitsekund, selv når de står over for helt nye omstændigheder. Og det gør vi uden at stege hjernen af ​​omfattende energiforbrug.

For at omformulere er hjernen et glimrende eksempel på en ekstremt kraftfuld computer at efterligne - og dataloger og ingeniører har taget de første skridt hen imod at gøre det. Området neuromorfisk databehandling ser ud til at genskabe hjernens arkitektur og databehandlingsevner med nye hardwarechips og softwarealgoritmer. Det kan være en vej mod sandt kunstig intelligens.

Men et afgørende element mangler. De fleste algoritmer, der driver neuromorfe chips, bekymrer sig kun om bidraget fra hver kunstig neuron - det vil sige, hvor stærkt de forbinder til hinanden, kaldet "synaptisk vægt." Det, der mangler – dog ensbetydende med vores hjernes indre arbejde – er timing.

I denne måned tilføjede et hold tilknyttet Human Brain Project, Den Europæiske Unions flagskib for big data neuroscience. tidselementet til en neuromorf algoritme. Resultaterne blev derefter implementeret på fysisk hardware-den BrainScaleS-2 neuromorfisk platform – og sat op imod avancerede GPU'er og konventionelle neuromorfe løsninger.

"Sammenlignet med de abstrakte neurale netværk, der bruges i dyb læring, halter de mere biologiske arketyper ... stadig bagud med hensyn til ydeevne og skalerbarhed" på grund af deres iboende kompleksitet, sagde forfatterne.

I flere tests sammenlignede algoritmen "gunstigt med hensyn til nøjagtighed, latens og energieffektivitet" på en standard benchmark-test, sagde Dr. Charlotte Frenkel ved Universitetet i Zürich og ETH Zürich i Schweiz, som ikke var involveret i undersøgelsen. Ved at tilføje en tidsmæssig komponent i neuromorfisk databehandling kunne vi indlede en ny æra med højeffektiv kunstig intelligens, der bevæger sig fra statiske dataopgaver - for eksempel billedgenkendelse - til en, der bedre indkapsler tid. Tænk på videoer, biosignaler eller hjerne-til-computer-tale.

For hovedforfatteren Dr. Mihai Petrovici går potentialet begge veje. "Vores arbejde er ikke kun interessant for neuromorfisk databehandling og biologisk inspireret hardware. Den anerkender også kravet … om at overføre såkaldte deep learning-tilgange til neurovidenskab og derved yderligere afsløre hemmeligheder i den menneskelige hjerne,” han sagde.

Lad os tale pigge

Grundlaget for den nye algoritme er et grundlæggende princip i hjernecomputere: spidser.

Lad os tage et kig på en meget abstraheret neuron. Det er som en tuderulle med en løgformet midtersektion flankeret af to udadgående indpakninger. Den ene side er input - et indviklet træ, der modtager signaler fra en tidligere neuron. Den anden er outputtet, der sprænger signaler til andre neuroner ved hjælp af boblelignende skibe fyldt med kemikalier, som igen udløser en elektrisk reaktion på den modtagende ende.

Her er kernen: for at hele denne sekvens kan opstå, skal neuronen "spidse". Hvis, og kun hvis, neuronen modtager et højt nok niveau af input - en pænt indbygget støjreduktionsmekanisme - vil den bulbusformede del generere en spids, der bevæger sig ned ad outputkanalerne for at advare den næste neuron.

Men neuroner bruger ikke kun en spids til at formidle information. Tværtimod stiger de i en tidssekvens. Tænk på det som morsekode: tidspunktet for, hvornår et elektrisk udbrud opstår, indeholder et væld af data. Det er grundlaget for neuroner, der forbinder sig med kredsløb og hierarkier, hvilket muliggør meget energieffektiv behandling.

Så hvorfor ikke vedtage den samme strategi for neuromorfe computere?

En spartansk hjernelignende chip

I stedet for at kortlægge en enkelt kunstig neurons spidser - en herkulisk opgave - arbejdede holdet på en enkelt metrik: hvor lang tid det tager for en neuron at affyre.

Ideen bag "tid til første spike"-kode er enkel: Jo længere tid det tager en neuron at spike, jo lavere er dens aktivitetsniveau. Sammenlignet med at tælle spidser er det en ekstrem sparsom måde at kode en neurons aktivitet på, men den kommer med frynsegoder. Fordi kun latensen til den første gang, en neuron frisker op, bruges til at kode aktivering, fanger den neurons reaktionsevne uden at overvælde en computer med for mange datapunkter. Med andre ord er det hurtigt, energieffektivt og nemt.

Holdet kodede derefter algoritmen på en neuromorf chip - den BrainScaleS-2, som groft efterligner simple "neuroner" inde i sin struktur, men kører over 1,000 gange hurtigere end vores biologiske hjerner. Platformen har over 500 fysiske kunstige neuroner, som hver er i stand til at modtage 256 input gennem konfigurerbare synapser, hvor biologiske neuroner udveksler, behandler og lagrer information.

Opsætningen er en hybrid. "Læring" opnås på en chip, der implementerer den tidsafhængige algoritme. Men enhver opdatering af det neurale kredsløb - det vil sige hvor stærkt en neuron forbinder til en anden - opnås gennem en ekstern arbejdsstation, noget der kaldes "in-the-loop-træning".

I en første test blev algoritmen udfordret med opgaven "Yin-Yang", som kræver, at algoritmen analyserer forskellige områder i det traditionelle østlige symbol. Algoritmen udmærkede sig med en gennemsnitlig nøjagtighed på 95 procent.

Holdet udfordrede derefter opsætningen med en klassisk deep learning-opgave—MNIST, et datasæt af håndskrevne tal, der revolutionerede computersyn. Algoritmen udmærkede sig igen med næsten 97 procent nøjagtighed. Endnu mere imponerende var det, at BrainScaleS-2-systemet tog mindre end et sekund at klassificere 10,000 testprøver med ekstremt lavt relativt energiforbrug.

Ved at sætte disse resultater i kontekst sammenlignede holdet derefter BrainScaleS-2's ydeevne – bevæbnet med den nye algoritme – med kommercielle og andre neuromorfe platforme. Tage SpinNaker, en massiv, parallel distribueret arkitektur, der også efterligner neural computing og spidser. Den nye algoritme var over 100 gange hurtigere ved billedgenkendelse, mens den kun forbrugte en brøkdel af den strøm, som SpiNNaker forbruger. Lignende resultater blev set med True North, den indledende IBM neuromorfe chip.

Hvad er det næste?

Hjernens to mest værdifulde computerfunktioner – energieffektivitet og parallel behandling – inspirerer nu i høj grad den næste generation af computerchips. Målet? Byg maskiner, der er lige så fleksible og tilpasningsdygtige som vores egen hjerne, mens de kun bruger en brøkdel af den energi, der kræves til vores nuværende siliciumbaserede chips.

Men sammenlignet med dyb læring, som er afhængig af kunstige neurale netværk, er biologisk plausible netværk forsvundet. En del af dette, forklarede Frenkel, er vanskeligheden ved at "opdatere" disse kredsløb gennem læring. Men med BrainScaleS-2 og et strejf af timingdata er det nu muligt.

Samtidig giver det hele systemet lidt tid til at trække vejret at have en "ekstern" voldgiftsdommer til at opdatere synaptiske forbindelser. Neuromorf hardware, der ligner rodet i vores hjerneberegning, er fyldt med uoverensstemmelser og fejl. Med chippen og en ekstern voldgiftsmand kan hele systemet lære at tilpasse sig denne variabilitet og til sidst kompensere for – eller endda udnytte – dets særheder for hurtigere og mere fleksibel læring.

For Frenkel ligger algoritmens magt i dens sparsomhed. Hjernen, forklarede hun, er drevet af sparsomme koder, der "kunne forklare de hurtige reaktionstider ... såsom til visuel behandling." I stedet for at aktivere hele hjerneregioner er der kun brug for nogle få neurale netværk - som at suse ned ad tomme motorveje i stedet for at sidde fast i myldretidstrafikken.

På trods af sin kraft har algoritmen stadig hikke. Det kæmper med at fortolke statiske data, selvom det udmærker sig med tidssekvenser - for eksempel tale eller biosignaler. Men for Frenkel er det starten på en ny ramme: vigtig information kan kodes med en fleksibel, men enkel metrik og generaliseres for at berige hjerne- og AI-baseret databehandling med en brøkdel af de traditionelle energiomkostninger.

"[Det]...kan være et vigtigt springbræt for at spike neuromorf hardware til endelig at demonstrere en konkurrencefordel i forhold til konventionelle neurale netværkstilgange," sagde hun.

Billedkredit: Klassificering af datapunkter i Yin-Yang-datasættet af Göltz og Kriener et al. (Heidelberg / Bern)

Kilde: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/