Neuer neuromorpher Chip mit Spitzenfunktion könnte eine Ära hocheffizienter KI einläuten

Wenn es um Brain Computing geht, kommt es auf das Timing an. Auf diese Weise vernetzen sich Neuronen zu Schaltkreisen. Auf diese Weise verarbeiten diese Schaltkreise hochkomplexe Daten und führen zu Aktionen, die über Leben oder Tod entscheiden können. Auf diese Weise kann unser Gehirn in Sekundenbruchteilen Entscheidungen treffen, selbst wenn es mit völlig neuen Umständen konfrontiert wird. Und das, ohne das Gehirn durch übermäßigen Energieverbrauch zu verbrennen.

Um es anders auszudrücken: Das Gehirn ist ein hervorragendes Beispiel für die Nachahmung eines äußerst leistungsstarken Computers – und Informatiker und Ingenieure haben die ersten Schritte in diese Richtung unternommen. Das Gebiet des neuromorphen Rechnens versucht, die Architektur und Datenverarbeitungsfähigkeiten des Gehirns mit neuartigen Hardware-Chips und Software-Algorithmen nachzubilden. Es kann ein Weg zur Wahrheit sein künstliche Intelligenz.

Aber ein entscheidendes Element fehlt. Die meisten Algorithmen, die neuromorphe Chips antreiben, kümmern sich nur um den Beitrag jedes künstlichen Neurons – das heißt, wie stark sie miteinander verbunden sind, was als „synaptisches Gewicht“ bezeichnet wird. Was fehlt – und doch gleichbedeutend mit der inneren Funktionsweise unseres Gehirns ist – ist das Timing.

Diesen Monat fügte ein Team des Human Brain Project, dem Flaggschiffprojekt der Europäischen Union für Big-Data-Neurowissenschaften, hinzu das Element der Zeit zu einem neuromorphen Algorithmus. Die Ergebnisse wurden dann auf physischer Hardware implementiert – der BrainScaleS-2 neuromorphe Plattform – und tritt gegen modernste GPUs und herkömmliche neuromorphe Lösungen an.

„Im Vergleich zu den abstrakten neuronalen Netzen, die beim Deep Learning verwendet werden, hinken die biologischeren Archetypen … aufgrund ihrer inhärenten Komplexität immer noch hinterher, was Leistung und Skalierbarkeit betrifft“, sagten die Autoren.

In mehreren Tests schnitt der Algorithmus im Vergleich zu einem Standard-Benchmark-Test „in Bezug auf Genauigkeit, Latenz und Energieeffizienz positiv“ ab. sagte Dr. Charlotte Frenkel von der Universität Zürich und der ETH Zürich in der Schweiz, die nicht an der Studie beteiligt war. Indem wir dem neuromorphen Computing eine zeitliche Komponente hinzufügen, könnten wir eine neue Ära hocheffizienter KI einläuten, die von statischen Datenaufgaben – beispielsweise der Bilderkennung – zu Aufgaben übergeht, die die Zeit besser erfassen. Denken Sie an Videos, Biosignale oder die Kommunikation zwischen Gehirn und Computer.

Für den Hauptautor Dr. Mihai Petrovici besteht Potenzial in beide Richtungen. „Unsere Arbeit ist nicht nur für neuromorphes Computing und biologisch inspirierte Hardware interessant. Es wird auch der Forderung Rechnung getragen, … sogenannte Deep-Learning-Ansätze auf die Neurowissenschaften zu übertragen und so die Geheimnisse des menschlichen Gehirns weiter zu enthüllen“, sagte er sagte.

Reden wir über Spikes

Die Grundlage des neuen Algorithmus ist ein grundlegendes Prinzip des Brain Computing: Spikes.

Werfen wir einen Blick auf ein hochabstrahiertes Neuron. Es ist wie eine Tootsie-Rolle, mit einem bauchigen Mittelteil, der von zwei nach außen reichenden Deckblättern flankiert wird. Eine Seite ist der Eingang – ein komplizierter Baum, der Signale von einem vorherigen Neuron empfängt. Das andere ist die Ausgabe, bei der mithilfe blasenartiger Schiffe, die mit Chemikalien gefüllt sind, Signale an andere Neuronen gesendet werden, was wiederum eine elektrische Reaktion auf der Empfängerseite auslöst.

Hier ist der Knackpunkt: Damit diese gesamte Sequenz ablaufen kann, muss das Neuron einen „Spitzenwert“ erreichen. Wenn und nur dann, wenn das Neuron ein ausreichend hohes Eingangsniveau erhält – ein gut integrierter Rauschunterdrückungsmechanismus –, erzeugt der bauchige Teil eine Spitze, die sich über die Ausgangskanäle ausbreitet, um das nächste Neuron zu alarmieren.

Aber Neuronen nutzen nicht nur eine Spitze, um Informationen zu übermitteln. Sie steigen vielmehr in einer zeitlichen Abfolge an. Stellen Sie sich das wie den Morsecode vor: Der Zeitpunkt, zu dem ein Stromschlag auftritt, enthält eine Fülle von Daten. Es ist die Grundlage für die Verschaltung von Neuronen zu Schaltkreisen und Hierarchien und ermöglicht so eine äußerst energieeffiziente Verarbeitung.

Warum also nicht die gleiche Strategie für neuromorphe Computer anwenden?

Ein spartanischer gehirnähnlicher Chip

Anstatt die Spitzen eines einzelnen künstlichen Neurons abzubilden – eine Herkulesaufgabe – konzentrierte sich das Team auf eine einzige Metrik: wie lange es dauert, bis ein Neuron feuert.

Die Idee hinter dem „Time-to-First-Spike“-Code ist einfach: Je länger es dauert, bis ein Neuron einen Spike erzeugt, desto geringer ist seine Aktivität. Im Vergleich zum Zählen von Spikes ist dies eine äußerst spärliche Methode, die Aktivität eines Neurons zu kodieren, bringt aber Vorteile mit sich. Da zur Codierung der Aktivierung nur die Latenzzeit bis zum ersten Hochfahren eines Neurons verwendet wird, erfasst es die Reaktionsfähigkeit des Neurons, ohne einen Computer mit zu vielen Datenpunkten zu überfordern. Mit anderen Worten: Es ist schnell, energieeffizient und einfach.

Als nächstes kodierte das Team den Algorithmus auf einen neuromorphen Chip – den BrainScaleS-2, das in seiner Struktur grob einfache „Neuronen“ nachahmt, aber läuft über 1,000 Mal schneller als unser biologisches Gehirn. Die Plattform verfügt über mehr als 500 physische künstliche Neuronen, von denen jedes 256 Eingaben über konfigurierbare Synapsen empfangen kann, wo biologische Neuronen Informationen austauschen, verarbeiten und speichern.

Das Setup ist ein Hybrid. „Lernen“ wird auf einem Chip erreicht, der den zeitabhängigen Algorithmus implementiert. Allerdings werden alle Aktualisierungen des neuronalen Schaltkreises – also wie stark sich ein Neuron mit einem anderen verbindet – über eine externe Workstation durchgeführt, was als „In-the-Loop-Training“ bezeichnet wird.

In einem ersten Test wurde der Algorithmus mit der „Yin-Yang“-Aufgabe herausgefordert, bei der der Algorithmus verschiedene Bereiche im traditionellen östlichen Symbol analysieren muss. Der Algorithmus war mit einer durchschnittlichen Genauigkeit von 95 Prozent hervorragend.

Als nächstes testete das Team das Setup mit einer klassischen Deep-Learning-Aufgabe:MNIST, ein Datensatz handgeschriebener Zahlen, der das Computersehen revolutionierte. Der Algorithmus glänzte erneut mit einer Genauigkeit von fast 97 Prozent. Noch beeindruckender ist, dass das BrainScaleS-2-System weniger als eine Sekunde benötigte, um 10,000 Testproben zu klassifizieren, und das bei extrem niedrigem relativen Energieverbrauch.

Um diese Ergebnisse in einen Kontext zu setzen, verglich das Team anschließend die Leistung von BrainScaleS-2 – ausgestattet mit dem neuen Algorithmus – mit kommerziellen und anderen neuromorphen Plattformen. Nehmen SpiNNaker, eine massive, parallel verteilte Architektur, die auch neuronale Berechnungen und Spikes nachahmt. Der neue Algorithmus war bei der Bilderkennung über 100-mal schneller und verbrauchte dabei nur einen Bruchteil der Energie, die SpiNNaker verbraucht. Ähnliche Ergebnisse wurden mit True North beobachtet, dem Vorboten des neuromorphen Chips von IBM.

Was kommt als Nächstes?

Die beiden wertvollsten Rechenfunktionen des Gehirns – Energieeffizienz und Parallelverarbeitung – sind mittlerweile eine wichtige Inspiration für die nächste Generation von Computerchips. Das Ziel? Bauen Sie Maschinen, die genauso flexibel und anpassungsfähig sind wie unser eigenes Gehirn und dabei nur einen Bruchteil der Energie verbrauchen, die für unsere aktuellen Chips auf Siliziumbasis erforderlich ist.

Doch im Vergleich zu Deep Learning, das auf künstlichen neuronalen Netzen basiert, sind biologisch plausible Lösungen zurückgeblieben. Ein Teil davon, erklärte Frenkel, ist die Schwierigkeit, diese Schaltkreise durch Lernen zu „aktualisieren“. Mit BrainScaleS-2 und ein paar Timing-Daten ist es jetzt jedoch möglich.

Gleichzeitig gibt die Anwesenheit eines „externen“ Schiedsrichters zur Aktualisierung synaptischer Verbindungen dem gesamten System etwas Zeit zum Durchatmen. Neuromorphe Hardware ist, ähnlich wie die Unordnung unserer Gehirnberechnungen, mit Unstimmigkeiten und Fehlern übersät. Mit dem Chip und einem externen Schiedsrichter kann das gesamte System lernen, sich an diese Variabilität anzupassen und schließlich seine Eigenheiten auszugleichen oder sogar auszunutzen, um schneller und flexibler zu lernen.

Für Frenkel liegt die Stärke des Algorithmus in seiner Sparsamkeit. Das Gehirn, erklärte sie, wird von spärlichen Codes angetrieben, die „die schnellen Reaktionszeiten erklären könnten … etwa bei der visuellen Verarbeitung“. Anstatt ganze Gehirnregionen zu aktivieren, sind nur wenige neuronale Netze erforderlich – etwa, um über leere Autobahnen zu sausen, anstatt im Berufsverkehr stecken zu bleiben.

Trotz seiner Leistungsfähigkeit hat der Algorithmus immer noch Probleme. Es hat Schwierigkeiten mit der Interpretation statischer Daten, obwohl es bei Zeitsequenzen – zum Beispiel Sprache oder Biosignalen – hervorragende Ergebnisse liefert. Aber für Frenkel ist es der Beginn eines neuen Rahmenwerks: Wichtige Informationen können mit einer flexiblen, aber einfachen Metrik kodiert und verallgemeinert werden, um die gehirn- und KI-basierte Datenverarbeitung mit einem Bruchteil der herkömmlichen Energiekosten zu bereichern.

„[Es] … könnte ein wichtiger Meilenstein für die Weiterentwicklung neuromorpher Hardware sein, um endlich einen Wettbewerbsvorteil gegenüber herkömmlichen neuronalen Netzwerkansätzen zu demonstrieren“, sagte sie.

Bildquelle: Klassifizierung von Datenpunkten im Yin-Yang-Datensatz, von Göltz und Kriener et al. (Heidelberg / Bern)

Quelle: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/