Une nouvelle puce neuromorphique à pointes pourrait inaugurer une ère d'IA hautement efficace

En ce qui concerne l'informatique cérébrale, le timing est primordial. C'est ainsi que les neurones se connectent aux circuits. C'est ainsi que ces circuits traitent des données très complexes, conduisant à des actions qui peuvent signifier la vie ou la mort. C'est ainsi que notre cerveau peut prendre des décisions en une fraction de seconde, même face à des circonstances entièrement nouvelles. Et nous le faisons sans faire frire le cerveau à cause d'une consommation d'énergie importante.

Pour reformuler, le cerveau est un excellent exemple d'ordinateur extrêmement puissant à imiter - et les informaticiens et les ingénieurs ont fait les premiers pas en ce sens. Le domaine de l'informatique neuromorphique cherche à recréer l'architecture du cerveau et les capacités de traitement des données avec de nouvelles puces matérielles et des algorithmes logiciels. C'est peut-être une voie vers le vrai intelligence artificielle.

Mais il manque un élément crucial. La plupart des algorithmes qui alimentent les puces neuromorphiques ne se soucient que de la contribution de chaque neurone artificiel, c'est-à-dire de la force avec laquelle ils se connectent les uns aux autres, appelée «poids synaptique». Ce qui manque, mais qui équivaut au fonctionnement interne de notre cerveau, c'est le timing.

Ce mois-ci, une équipe affiliée au Human Brain Project, l'initiative phare de l'Union européenne en matière de neurosciences des mégadonnées, a ajouté l'élément du temps à un algorithme neuromorphique. Les résultats ont ensuite été implémentés sur du matériel physique - le BrainScaleS-2 plate-forme neuromorphique et opposé aux GPU de pointe et aux solutions neuromorphiques conventionnelles.

"Par rapport aux réseaux de neurones abstraits utilisés dans l'apprentissage en profondeur, les archétypes les plus biologiques … sont toujours à la traîne en termes de performances et d'évolutivité" en raison de leur complexité inhérente, ont déclaré les auteurs.

Dans plusieurs tests, l'algorithme s'est comparé "favorablement, en termes de précision, de latence et d'efficacité énergétique" à un test de référence standard, a affirmé Valérie Plante. Dr Charlotte Frenkel de l'Université de Zurich et de l'ETH Zurich en Suisse, qui n'a pas participé à l'étude. En ajoutant une composante temporelle à l'informatique neuromorphique, nous pourrions inaugurer une nouvelle ère d'IA hautement efficace qui passerait de tâches de données statiques, par exemple la reconnaissance d'images, à une tâche qui encapsule mieux le temps. Pensez aux vidéos, aux biosignaux ou à la parole entre le cerveau et l'ordinateur.

Pour l'auteur principal, le Dr Mihai Petrovici, le potentiel va dans les deux sens. « Notre travail n'est pas seulement intéressant pour l'informatique neuromorphique et le matériel d'inspiration biologique. Il reconnaît également la demande… de transférer les approches dites d'apprentissage en profondeur aux neurosciences et ainsi de dévoiler davantage les secrets du cerveau humain », a-t-il déclaré. a affirmé Valérie Plante..

Parlons pointes

À la base du nouvel algorithme se trouve un principe fondamental de l'informatique cérébrale : les pointes.

Examinons un neurone très abstrait. C'est comme un tootsie roll, avec une section médiane bulbeuse flanquée de deux emballages qui s'étendent vers l'extérieur. Un côté est l'entrée - un arbre complexe qui reçoit des signaux d'un neurone précédent. L'autre est la sortie, envoyant des signaux à d'autres neurones à l'aide de vaisseaux en forme de bulles remplis de produits chimiques, qui à leur tour déclenchent une réponse électrique du côté récepteur.

Voici le point crucial : pour que toute cette séquence se produise, le neurone doit "augmenter". Si, et seulement si, le neurone reçoit un niveau d'entrée suffisamment élevé - un mécanisme de réduction du bruit bien intégré - la partie bulbeuse générera un pic qui se propagera dans les canaux de sortie pour alerter le neurone suivant.

Mais les neurones n'utilisent pas qu'un seul pic pour transmettre des informations. Au contraire, ils augmentent dans une séquence temporelle. Pensez-y comme au code Morse : le moment où une rafale électrique se produit contient une mine de données. C'est la base du câblage des neurones en circuits et en hiérarchies, permettant un traitement hautement économe en énergie.

Alors pourquoi ne pas adopter la même stratégie pour les ordinateurs neuromorphiques ?

Une puce ressemblant à un cerveau spartiate

Au lieu de cartographier les pointes d'un seul neurone artificiel - une tâche herculéenne - l'équipe s'est concentrée sur une seule métrique : le temps qu'il faut à un neurone pour se déclencher.

L'idée derrière le code « time-to-first-spike » est simple : plus il faut de temps à un neurone pour atteindre un pic, plus ses niveaux d'activité sont faibles. Comparé au comptage des pics, c'est un moyen extrêmement clairsemé d'encoder l'activité d'un neurone, mais il comporte des avantages. Parce que seule la latence à la première fois qu'un neurone se redresse est utilisée pour coder l'activation, elle capture la réactivité du neurone sans surcharger un ordinateur avec trop de points de données. En d'autres termes, c'est rapide, économe en énergie et facile.

L'équipe a ensuite encodé l'algorithme sur une puce neuromorphique - le BrainScaleS-2, qui émule à peu près de simples "neurones" à l'intérieur de sa structure, mais fonctionne plus de 1,000 XNUMX fois plus rapide que nos cerveaux biologiques. La plate-forme compte plus de 500 neurones artificiels physiques, chacun capable de recevoir 256 entrées via des synapses configurables, où les neurones biologiques échangent, traitent et stockent des informations.

La configuration est hybride. "L'apprentissage" est réalisé sur une puce qui implémente l'algorithme dépendant du temps. Cependant, toute mise à jour du circuit neuronal, c'est-à-dire la force avec laquelle un neurone se connecte à un autre, est réalisée via un poste de travail externe, ce que l'on appelle "l'entraînement en boucle".

Dans un premier test, l'algorithme a été mis au défi avec la tâche "Yin-Yang", qui nécessite que l'algorithme analyse différentes zones du symbole oriental traditionnel. L'algorithme a excellé, avec une précision moyenne de 95 %.

L'équipe a ensuite mis au défi la configuration avec une tâche d'apprentissage en profondeur classique :MNIST, un ensemble de données de chiffres manuscrits qui a révolutionné la vision par ordinateur. L'algorithme a de nouveau excellé, avec une précision de près de 97 %. Encore plus impressionnant, le système BrainScaleS-2 a mis moins d'une seconde pour classer 10,000 XNUMX échantillons de test, avec une consommation d'énergie relative extrêmement faible.

En remettant ces résultats en contexte, l'équipe a ensuite comparé les performances de BrainScaleS-2, équipées du nouvel algorithme, aux plates-formes commerciales et autres plates-formes neuromorphiques. Prendre SpiNNaker, une architecture distribuée massive et parallèle qui imite également l'informatique neuronale et les pointes. Le nouvel algorithme était plus de 100 fois plus rapide pour la reconnaissance d'image tout en ne consommant qu'une fraction de la puissance consommée par SpiNNaker. Des résultats similaires ont été observés avec True North, la puce neuromorphique IBM annonciatrice.

Que faire ensuite?

Les deux caractéristiques informatiques les plus précieuses du cerveau - l'efficacité énergétique et le traitement parallèle - inspirent désormais fortement la prochaine génération de puces informatiques. Le but? Construisez des machines aussi flexibles et adaptatives que nos propres cerveaux tout en n'utilisant qu'une fraction de l'énergie requise pour nos puces actuelles à base de silicium.

Pourtant, par rapport à l'apprentissage en profondeur, qui repose sur des réseaux de neurones artificiels, ceux qui sont biologiquement plausibles ont langui. Une partie de cela, a expliqué Frenkel, est la difficulté de « mettre à jour » ces circuits par l'apprentissage. Cependant, avec BrainScaleS-2 et une touche de données de synchronisation, c'est désormais possible.

En même temps, avoir un arbitre "externe" pour mettre à jour les connexions synaptiques donne à l'ensemble du système un peu de temps pour respirer. Le matériel neuromorphique, semblable au désordre de nos calculs cérébraux, est jonché de décalages et d'erreurs. Avec la puce et un arbitre externe, l'ensemble du système peut apprendre à s'adapter à cette variabilité, et éventuellement compenser, voire exploiter, ses caprices pour un apprentissage plus rapide et plus flexible.

Pour Frenkel, la puissance de l'algorithme réside dans sa rareté. Le cerveau, a-t-elle expliqué, est alimenté par des codes clairsemés qui "pourraient expliquer les temps de réaction rapides... comme pour le traitement visuel". Plutôt que d'activer des régions entières du cerveau, seuls quelques réseaux de neurones sont nécessaires, comme filer sur des autoroutes vides au lieu de rester coincé dans le trafic aux heures de pointe.

Malgré sa puissance, l'algorithme a encore des ratés. Il a du mal à interpréter les données statiques, bien qu'il excelle avec les séquences temporelles, par exemple, la parole ou les biosignaux. Mais pour Frenkel, c'est le début d'un nouveau cadre : des informations importantes peuvent être encodées avec une métrique flexible mais simple, et généralisées pour enrichir le traitement des données basé sur le cerveau et l'IA avec une fraction des coûts énergétiques traditionnels.

"[It]... peut être un tremplin important pour doter le matériel neuromorphique de démonstration d'un avantage concurrentiel par rapport aux approches de réseau neuronal conventionnelles", a-t-elle déclaré.

Crédit d'image : Classification des points de données dans l'ensemble de données Yin-Yang, par Göltz et Kriener et al. (Heidelberg / Berne)

Source : https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/