Νέο Spiking Neuromorphic Chip θα μπορούσε να οδηγήσει σε μια εποχή υψηλής απόδοσης AI

Όταν πρόκειται για υπολογιστές εγκεφάλου, ο συγχρονισμός είναι το παν. Είναι ο τρόπος με τον οποίο οι νευρώνες συνδέονται σε κυκλώματα. Είναι ο τρόπος με τον οποίο αυτά τα κυκλώματα επεξεργάζονται εξαιρετικά πολύπλοκα δεδομένα, οδηγώντας σε ενέργειες που μπορεί να σημαίνουν ζωή ή θάνατο. Είναι ο τρόπος με τον οποίο ο εγκέφαλός μας μπορεί να πάρει αποφάσεις σε κλάσματα δευτερολέπτου, ακόμη και όταν αντιμετωπίζουμε εντελώς νέες συνθήκες. Και το κάνουμε χωρίς να φρενάρουμε τον εγκέφαλο από την εκτεταμένη κατανάλωση ενέργειας.

Για να επαναδιατυπώσουμε, ο εγκέφαλος αποτελεί ένα εξαιρετικό παράδειγμα ενός εξαιρετικά ισχυρού υπολογιστή για μίμηση—και οι επιστήμονες και οι μηχανικοί υπολογιστών έχουν κάνει τα πρώτα βήματα για να το κάνουν. Ο τομέας των νευρομορφικών υπολογιστών προσπαθεί να αναδημιουργήσει την αρχιτεκτονική του εγκεφάλου και τις ικανότητες επεξεργασίας δεδομένων με νέα τσιπ υλικού και αλγόριθμους λογισμικού. Μπορεί να είναι μια πορεία προς την αλήθεια τεχνητή νοημοσύνη.

Λείπει όμως ένα κρίσιμο στοιχείο. Οι περισσότεροι αλγόριθμοι που τροφοδοτούν τα νευρομορφικά τσιπ ενδιαφέρονται μόνο για τη συνεισφορά κάθε τεχνητού νευρώνα - δηλαδή πόσο ισχυρά συνδέονται μεταξύ τους, που ονομάζεται «συναπτικό βάρος». Αυτό που λείπει - αλλά ισοδυναμεί με την εσωτερική λειτουργία του εγκεφάλου μας - είναι ο συγχρονισμός.

Αυτόν τον μήνα, μια ομάδα που συνδέεται με το Human Brain Project, το εμβληματικό εγχείρημα της Ευρωπαϊκής Ένωσης για τα μεγάλα δεδομένα νευροεπιστήμης, πρόσθεσε το στοιχείο του χρόνου σε έναν νευρομορφικό αλγόριθμο. Τα αποτελέσματα εφαρμόστηκαν στη συνέχεια σε φυσικό υλικό-το BrainScaleS-2 νευρομορφική πλατφόρμα—και έρχεται σε αντίθεση με υπερσύγχρονες GPU και συμβατικές νευρομορφικές λύσεις.

«Σε σύγκριση με τα αφηρημένα νευρωνικά δίκτυα που χρησιμοποιούνται στη βαθιά μάθηση, τα περισσότερα βιολογικά αρχέτυπα… εξακολουθούν να υστερούν ως προς την απόδοση και την επεκτασιμότητα» λόγω της εγγενούς πολυπλοκότητάς τους, είπαν οι συγγραφείς.

Σε αρκετές δοκιμές, ο αλγόριθμος συγκρίθηκε «ευνοϊκά, όσον αφορά την ακρίβεια, την καθυστέρηση και την ενεργειακή απόδοση» σε μια τυπική δοκιμή αναφοράς, είπε Η Δρ Charlotte Frenkel στο Πανεπιστήμιο της Ζυρίχης και το ETH Zurich στην Ελβετία, η οποία δεν συμμετείχε στη μελέτη. Με την προσθήκη ενός χρονικού στοιχείου στον νευρομορφικό υπολογισμό, θα μπορούσαμε να εγκαινιάσουμε μια νέα εποχή υψηλής απόδοσης τεχνητής νοημοσύνης που μετακινείται από τις εργασίες στατικών δεδομένων - ας πούμε, την αναγνώριση εικόνας - σε μια που ενσωματώνει καλύτερα τον χρόνο. Σκεφτείτε βίντεο, βιοσήματα ή ομιλία εγκεφάλου σε υπολογιστή.

Για τον επικεφαλής συγγραφέα Dr. Mihai Petrovici, οι δυνατότητες είναι αμφίδρομες. «Η δουλειά μας δεν είναι ενδιαφέρουσα μόνο για νευρομορφικούς υπολογιστές και βιολογικά εμπνευσμένο υλικό. Αναγνωρίζει επίσης την απαίτηση … να μεταφερθούν οι λεγόμενες προσεγγίσεις βαθιάς μάθησης στη νευροεπιστήμη και έτσι να αποκαλυφθούν περαιτέρω τα μυστικά του ανθρώπινου εγκεφάλου», είπε.

Let's Talk Spikes

Στη ρίζα του νέου αλγορίθμου βρίσκεται μια θεμελιώδης αρχή στον υπολογισμό του εγκεφάλου: οι αιχμές.

Ας ρίξουμε μια ματιά σε έναν εξαιρετικά αφηρημένο νευρώνα. Μοιάζει με ένα ρολό, με βολβώδες μεσαίο τμήμα που πλαισιώνεται από δύο περιτυλίγματα που φτάνουν προς τα έξω. Η μία πλευρά είναι η είσοδος - ένα περίπλοκο δέντρο που λαμβάνει σήματα από έναν προηγούμενο νευρώνα. Το άλλο είναι η έξοδος, η εκτόξευση σημάτων σε άλλους νευρώνες χρησιμοποιώντας πλοία που μοιάζουν με φυσαλίδες γεμάτα με χημικά, τα οποία με τη σειρά τους προκαλούν μια ηλεκτρική απόκριση στο άκρο λήψης.

Εδώ είναι η ουσία: για να συμβεί ολόκληρη αυτή η αλληλουχία, ο νευρώνας πρέπει να "αιχμωθεί". Εάν, και μόνο εάν, ο νευρώνας λάβει ένα αρκετά υψηλό επίπεδο εισόδου - έναν όμορφα ενσωματωμένο μηχανισμό μείωσης θορύβου - το βολβώδες τμήμα θα δημιουργήσει μια ακίδα που ταξιδεύει προς τα κάτω στα κανάλια εξόδου για να ειδοποιήσει τον επόμενο νευρώνα.

Αλλά οι νευρώνες δεν χρησιμοποιούν μόνο μια ακίδα για να μεταφέρουν πληροφορίες. Αντίθετα, εκτινάσσονται σε μια χρονική ακολουθία. Σκεφτείτε το όπως ο κώδικας Μορς: η χρονική στιγμή κατά την οποία εμφανίζεται μια ηλεκτρική έκρηξη φέρει πληθώρα δεδομένων. Είναι η βάση για τη σύνδεση των νευρώνων σε κυκλώματα και ιεραρχίες, επιτρέποντας εξαιρετικά ενεργειακά αποδοτική επεξεργασία.

Γιατί λοιπόν να μην υιοθετήσουμε την ίδια στρατηγική για τους νευρομορφικούς υπολογιστές;

Ένα σπαρτιατικό τσιπ που μοιάζει με τον εγκέφαλο

Αντί να χαρτογραφήσει τις αιχμές ενός μεμονωμένου τεχνητού νευρώνα - μια ηράκλεια εργασία - η ομάδα αλίευσε σε μια μόνο μέτρηση: πόσος χρόνος χρειάζεται για να πυροδοτηθεί ένας νευρώνας.

Η ιδέα πίσω από τον κώδικα «time-to-first-spike» είναι απλή: όσο περισσότερος χρόνος χρειάζεται ένας νευρώνας για να ανέβει, τόσο χαμηλότερα είναι τα επίπεδα δραστηριότητάς του. Σε σύγκριση με την καταμέτρηση αιχμών, είναι ένας εξαιρετικά σπάνιος τρόπος κωδικοποίησης της δραστηριότητας ενός νευρώνα, αλλά συνοδεύεται από προνόμια. Επειδή μόνο ο λανθάνων χρόνος για την πρώτη φορά που ένας νευρώνας κερδίζει χρησιμοποιείται για την κωδικοποίηση της ενεργοποίησης, καταγράφει την ανταπόκριση του νευρώνα χωρίς να κατακλύζει έναν υπολογιστή με πάρα πολλά σημεία δεδομένων. Με άλλα λόγια, είναι γρήγορο, ενεργειακά αποδοτικό και εύκολο.

Στη συνέχεια, η ομάδα κωδικοποίησε τον αλγόριθμο σε ένα νευρομορφικό τσιπ - το BrainScaleS-2, το οποίο μιμείται κατά προσέγγιση απλούς «νευρώνες» μέσα στη δομή του, αλλά τρέχει πάνω από 1,000 φορές πιο γρήγορα από τον βιολογικό μας εγκέφαλο. Η πλατφόρμα έχει πάνω από 500 φυσικούς τεχνητούς νευρώνες, ο καθένας ικανός να λαμβάνει 256 εισόδους μέσω διαμορφώσιμων συνάψεων, όπου οι βιολογικοί νευρώνες ανταλλάσσουν, επεξεργάζονται και αποθηκεύουν πληροφορίες.

Το setup είναι υβριδικό. Η «μάθηση» επιτυγχάνεται σε ένα τσιπ που εφαρμόζει τον αλγόριθμο που εξαρτάται από το χρόνο. Ωστόσο, οποιεσδήποτε ενημερώσεις στο νευρωνικό κύκλωμα -δηλαδή πόσο ισχυρά συνδέεται ένας νευρώνας με έναν άλλο- επιτυγχάνονται μέσω ενός εξωτερικού σταθμού εργασίας, κάτι που ονομάζεται "εκπαίδευση εντός του βρόχου".

Σε μια πρώτη δοκιμή, ο αλγόριθμος αμφισβητήθηκε με την εργασία "Yin-Yang", η οποία απαιτεί από τον αλγόριθμο να αναλύει διαφορετικές περιοχές στο παραδοσιακό σύμβολο της Ανατολής. Ο αλγόριθμος υπερείχε, με μέση ακρίβεια 95 τοις εκατό.

Στη συνέχεια, η ομάδα αμφισβήτησε τη ρύθμιση με μια κλασική εργασία βαθιάς μάθησης—ΜΝΙΣΤ, ένα σύνολο δεδομένων χειρόγραφων αριθμών που έφεραν επανάσταση στην όραση του υπολογιστή. Ο αλγόριθμος υπερείχε και πάλι, με σχεδόν 97 τοις εκατό ακρίβεια. Ακόμη πιο εντυπωσιακό, το σύστημα BrainScaleS-2 χρειάστηκε λιγότερο από ένα δευτερόλεπτο για να ταξινομήσει 10,000 δείγματα δοκιμής, με εξαιρετικά χαμηλή σχετική κατανάλωση ενέργειας.

Θέτοντας αυτά τα αποτελέσματα στο πλαίσιο, η ομάδα στη συνέχεια συνέκρινε την απόδοση του BrainScaleS-2 - εξοπλισμένη με τον νέο αλγόριθμο - με εμπορικές και άλλες νευρομορφικές πλατφόρμες. Παίρνω Τρίγωνο ιστίο, μια τεράστια, παράλληλη κατανεμημένη αρχιτεκτονική που μιμείται επίσης νευρωνικούς υπολογιστές και αιχμές. Ο νέος αλγόριθμος ήταν πάνω από 100 φορές πιο γρήγορος στην αναγνώριση εικόνας, ενώ κατανάλωνε μόνο ένα κλάσμα της ισχύος που καταναλώνει το SpiNNaker. Παρόμοια αποτελέσματα παρατηρήθηκαν με το True North, το προάγγελο του νευρομορφικού τσιπ της IBM.

Τι το επόμενο βήμα;

Τα δύο πιο πολύτιμα υπολογιστικά χαρακτηριστικά του εγκεφάλου -η ενεργειακή απόδοση και η παράλληλη επεξεργασία- εμπνέουν τώρα σε μεγάλο βαθμό την επόμενη γενιά τσιπ υπολογιστών. Ο στόχος? Κατασκευάστε μηχανές που είναι τόσο ευέλικτες και προσαρμοστικές όσο και ο δικός μας εγκέφαλος χρησιμοποιώντας μόνο ένα κλάσμα της ενέργειας που απαιτείται για τα τρέχοντα τσιπ μας με βάση το πυρίτιο.

Ωστόσο, σε σύγκριση με τη βαθιά μάθηση, η οποία βασίζεται σε τεχνητά νευρωνικά δίκτυα, τα βιολογικά εύλογα έχουν μαραζώσει. Μέρος αυτού, εξήγησε ο Frenkel, είναι η δυσκολία της «ενημέρωσης» αυτών των κυκλωμάτων μέσω της μάθησης. Ωστόσο, με το BrainScaleS-2 και μια πινελιά δεδομένων χρονισμού, είναι πλέον δυνατό.

Ταυτόχρονα, η ύπαρξη ενός «εξωτερικού» διαιτητή για την ενημέρωση των συναπτικών συνδέσεων δίνει σε ολόκληρο το σύστημα λίγο χρόνο για να αναπνεύσει. Το νευρομορφικό υλικό, παρόμοιο με την ακαταστασία του υπολογισμού του εγκεφάλου μας, είναι γεμάτο με αναντιστοιχίες και λάθη. Με το τσιπ και έναν εξωτερικό διαιτητή, ολόκληρο το σύστημα μπορεί να μάθει να προσαρμόζεται σε αυτή τη μεταβλητότητα και τελικά να αντισταθμίζει —ή ακόμα και να εκμεταλλεύεται— τις ιδιορρυθμίες του για ταχύτερη και πιο ευέλικτη μάθηση.

Για τον Frenkel, η δύναμη του αλγορίθμου έγκειται στην αραιότητά του. Ο εγκέφαλος, εξήγησε, τροφοδοτείται από αραιούς κώδικες που «θα μπορούσαν να εξηγήσουν τους γρήγορους χρόνους αντίδρασης… όπως για την οπτική επεξεργασία». Αντί να ενεργοποιούνται ολόκληρες περιοχές του εγκεφάλου, χρειάζονται μόνο μερικά νευρωνικά δίκτυα - όπως το να στριμώχνουμε άδειους αυτοκινητόδρομους αντί να κολλάμε στην κίνηση στις ώρες αιχμής.

Παρά τη δύναμή του, ο αλγόριθμος εξακολουθεί να έχει λόξυγκα. Αγωνίζεται με την ερμηνεία στατικών δεδομένων, αν και υπερέχει με τις χρονικές ακολουθίες - για παράδειγμα, ομιλία ή βιοσήματα. Αλλά για τον Frenkel, είναι η αρχή ενός νέου πλαισίου: σημαντικές πληροφορίες μπορούν να κωδικοποιηθούν με μια ευέλικτη αλλά απλή μέτρηση και να γενικευθούν για να εμπλουτίσουν την επεξεργασία δεδομένων που βασίζεται στον εγκέφαλο και την τεχνητή νοημοσύνη με ένα κλάσμα του παραδοσιακού κόστους ενέργειας.

«[Είναι]…μπορεί να είναι ένα σημαντικό σκαλοπάτι για το αιχμηρό νευρομορφικό υλικό για να επιδείξει επιτέλους ένα ανταγωνιστικό πλεονέκτημα έναντι των συμβατικών προσεγγίσεων νευρωνικών δικτύων», είπε.

Πίστωση εικόνας: Ταξινόμηση σημείων δεδομένων στο σύνολο δεδομένων Yin-Yang, από τους Göltz και Kriener et al. (Χαϊδελβέργη / Βέρνη)

Πηγή: https://singularityhub.com/2021/11/09/new-spiking-neuromorphic-chip-could-usher-in-an-era-of-highly-efficient-ai/