Σας παρουσιάζουμε Μικροσκόπιο OpenAI, μια συλλογή οπτικοποιήσεων κάθε σημαντικού στρώματος και νευρώνα οκτώ «μοντέλων οργανισμών» της όρασης που συχνά μελετώνται ως προς την ερμηνευτικότητα. Το μικροσκόπιο διευκολύνει την ανάλυση των χαρακτηριστικών που σχηματίζονται μέσα σε αυτά τα νευρωνικά δίκτυα και ελπίζουμε ότι θα βοηθήσει την ερευνητική κοινότητα καθώς προχωράμε προς την κατανόηση αυτών των περίπλοκων συστημάτων.
Οι ικανότητες των σύγχρονων νευρωνικών δικτύων είναι το αποτέλεσμα των αλληλεπιδράσεων χιλιάδων νευρώνων (μερικές φορές δεκάδων χιλιάδων ή περισσότερων!). Για να κατανοήσουμε τη συμπεριφορά τους, θα θέλαμε να είμαστε σε θέση να διερευνήσουμε γρήγορα και εύκολα τις αλληλεπιδράσεις αυτών των νευρώνων λεπτομερώς και να μοιραστούμε αυτές τις παρατηρήσεις. Αυτό ισχύει ιδιαίτερα σε περιβάλλοντα συνεργασίας. Για παράδειγμα, ένας ερευνητής θα μπορούσε να υποθέσει:
InceptionV1 4c:447 είναι ένας ανιχνευτής αυτοκινήτου που είναι κατασκευασμένος από έναν ανιχνευτή τροχού (4β: 373) και έναν ανιχνευτή παραθύρων (4β: 237).
Όταν κάποιος κάνει έναν ισχυρισμό σαν αυτόν, είναι χρήσιμο εάν άλλοι μπορούν να εξερευνήσουν γρήγορα αυτούς τους νευρώνες, αξιολογώντας τον ισχυρισμό και ανακαλύπτοντας νέα πράγματα. Αυτός είναι ο στόχος του μικροσκοπίου OpenAI.
Το μικροσκόπιο οπτικοποιεί συστηματικά κάθε νευρώνα σε πολλά κοινώς μελετημένα μοντέλα όρασης και καθιστά όλους αυτούς τους νευρώνες συνδεδεμένους. Ελπίζουμε ότι αυτό θα υποστηρίξει την κοινότητα ερμηνείας με διάφορους τρόπους:
- Αν και αυτά τα μοντέλα και οι απεικονίσεις είναι ήδη ανοιχτού κώδικα (βοηθάμε στη διατήρηση του διαυγής βιβλιοθήκη, το οποίο χρησιμοποιείται για τη δημιουργία όλων των απεικονίσεων στο Μικροσκόπιο) η οπτικοποίηση των νευρώνων είναι κουραστική. Το μικροσκόπιο αλλάζει τον βρόχο ανατροφοδότησης των νευρώνων εξερεύνησης από λεπτά σε δευτερόλεπτα. Αυτός ο βρόχος γρήγορης ανάδρασης ήταν απαραίτητος για εμάς στην ανακάλυψη απροσδόκητων χαρακτηριστικών όπως ανιχνευτές υψηλής χαμηλής συχνότητας σε εξέλιξη έργο κυκλωμάτων.
- Η δημιουργία μοντέλων και νευρώνων με δυνατότητα σύνδεσης επιτρέπει άμεσο έλεγχο και περαιτέρω διερεύνηση της έρευνας που κάνει ισχυρισμούς σχετικά με αυτούς τους νευρώνες. Καταργεί επίσης την πιθανή σύγχυση σχετικά με το μοντέλο και τον νευρώνα που συζητείται (για ποια από τις πέντε εκδόσεις του InceptionV1 μιλάμε ξανά;). Αυτό είναι πραγματικά χρήσιμο για τη συνεργασία, ειδικά όταν οι ερευνητές βρίσκονται σε διαφορετικά ιδρύματα.
- Ένα από τα υπέροχα πράγματα σχετικά με την ερμηνευσιμότητα ως περιοχή της ML είναι το πόσο προσιτή είναι. Σε σύγκριση με πολλούς άλλους τομείς, απαιτεί σχετικά μικρή πρόσβαση στον υπολογισμό. Αλλά η συστηματική οπτικοποίηση των νευρωνικών δικτύων μπορεί να διαρκέσει ακόμα εκατοντάδες ώρες GPU. Ελπίζουμε ότι, μοιραζόμενοι τις οπτικοποιήσεις μας, μπορούμε να βοηθήσουμε να διατηρήσουμε την ερμηνευτικότητα πολύ προσιτή.
Ακριβώς όπως οι βιολόγοι συχνά επικεντρώνονται στη μελέτη μερικών «μοντέλων οργανισμών», το Microscope εστιάζει στη διερεύνηση ενός μικρού αριθμού μοντέλων λεπτομερώς. Η αρχική μας έκδοση περιλαμβάνει εννέα μοντέλα όρασης που μελετώνται συχνά, μαζί με αρκετές τεχνικές οπτικοποίησης που βρήκαμε ιδιαίτερα χρήσιμες στη μελέτη τους. Σκοπεύουμε να επεκταθούμε σε άλλα μοντέλα και τεχνικές τους επόμενους μήνες.
Είμαστε ενθουσιασμένοι που βλέπουμε πώς η κοινότητα θα χρησιμοποιήσει το Microscope και σας ενθαρρύνουμε να επαναχρησιμοποιήσετε αυτά τα στοιχεία. Ειδικότερα, πιστεύουμε ότι έχει πολλές δυνατότητες να υποστηρίξει το Συνεργασία κυκλωμάτων—ένα έργο για την αντιστροφή της μηχανικής νευρωνικών δικτύων αναλύοντας μεμονωμένους νευρώνες και τις συνδέσεις τους—ή παρόμοια εργασία.
