Vă prezentăm Microscop OpenAI, o colecție de vizualizări ale fiecărui strat semnificativ și neuron a opt „organisme model” vizuale care sunt adesea studiate în interpretabilitate. Microscopul facilitează analiza caracteristicilor care se formează în interiorul acestor rețele neuronale și sperăm că va ajuta comunitatea de cercetare pe măsură ce ne îndreptăm spre înțelegerea acestor sisteme complicate.
Abilitățile rețelelor neuronale moderne sunt rezultatul interacțiunilor a mii de neuroni (uneori zeci de mii sau mai mulți!). Pentru a înțelege comportamentul lor, am dori să putem investiga rapid și ușor interacțiunile acestor neuroni în detaliu și să împărtășim aceste observații. Acest lucru este valabil mai ales în mediile de colaborare. De exemplu, un cercetător ar putea specula:
InceptionV1 4c: 447 este un detector de mașină care este construit dintr-un detector de roți (4b: 373) și un detector de ferestre (4b: 237).
Când cineva face o astfel de afirmație, este util dacă alții pot explora rapid acești neuroni, evaluând afirmația și descoperind lucruri noi. Acesta este scopul Microscopului OpenAI.
Microscopul vizualizează sistematic fiecare neuron în mai multe modele de vedere studiate în mod obișnuit și face ca toți acești neuroni să fie conectați. Sperăm că acest lucru va sprijini comunitatea de interpretabilitate în mai multe moduri:
- Deși aceste modele și vizualizări sunt deja open source (ajutăm la menținerea bibliotecă lucidă, care este folosit pentru a genera toate vizualizările în Microscop) vizualizarea neuronilor este plictisitoare. Microscopul schimbă bucla de feedback de explorare a neuronilor de la minute la secunde. Această buclă de feedback rapidă a fost esențială pentru noi în descoperirea unor caracteristici neașteptate, cum ar fi detectoare de frecvență înaltă și joasă în curs de desfășurare. proiect de circuite.
- A face modele și neuroni conectabili permite examinarea imediată și explorarea ulterioară a cercetării care fac afirmații despre acești neuroni. De asemenea, elimină potențiala confuzie cu privire la modelul și neuronul care se discută (despre care dintre cele cinci versiuni ale InceptionV1 vorbim din nou?). Acest lucru este foarte util pentru colaborare, mai ales atunci când cercetătorii sunt la diferite instituții.
- Unul dintre lucrurile minunate despre interpretabilitate ca zonă a ML este cât de accesibilă este. În comparație cu multe alte domenii, necesită relativ puțin acces la calcul. Dar vizualizarea sistematică a rețelelor neuronale poate dura sute de ore GPU. Sperăm că, prin partajarea vizualizărilor noastre, putem contribui la menținerea interpretabilității foarte accesibilă.
Așa cum biologii se concentrează adesea pe studiul câtorva „organisme model”, Microscope se concentrează pe explorarea unui număr mic de modele în detaliu. Lansarea noastră inițială include nouă modele de vedere studiate frecvent, împreună cu câteva tehnici de vizualizare pe care le-am găsit deosebit de utile în studierea lor. Planificăm să ne extindem și la alte modele și tehnici în lunile următoare.
Suntem încântați să vedem cum va folosi comunitatea Microscope și vă încurajăm să reutilizați aceste materiale. În special, credem că are un mare potențial în sprijinirea Colaborarea circuitelor— un proiect de inginerie inversă a rețelelor neuronale prin analizarea neuronilor individuali și a conexiunilor acestora — sau lucrări similare.
