Predstavljamo se Mikroskop OpenAI, zbirka vizualizacij vsake pomembne plasti in nevrona osmih vidnih "modelnih organizmov", ki se pogosto preučujejo v interpretabilnosti. Mikroskop olajša analizo funkcij, ki se oblikujejo znotraj teh nevronskih mrež, in upamo, da bo pomagal raziskovalni skupnosti, ko se približujemo razumevanju teh zapletenih sistemov.
Zmožnosti sodobnih nevronskih mrež so rezultat interakcij na tisoče nevronov (včasih več deset tisoč ali več!). Da bi razumeli njihovo vedenje, bi radi lahko hitro in enostavno podrobno raziskali te interakcije nevronov in delili ta opažanja. To še posebej velja v okoljih sodelovanja. En raziskovalec bi lahko na primer ugibal:
Začetek V1 4c:447 je avtomobilski detektor, ki je zgrajen iz detektorja koles (4b: 373) in detektor oken (4b: 237).
Ko nekdo poda takšno trditev, je koristno, če lahko drugi hitro raziščejo te nevrone, ocenijo trditev in odkrijejo nove stvari. To je cilj mikroskopa OpenAI.
Mikroskop sistematično vizualizira vsak nevron v več pogosto proučevanih modelih vida in naredi vse te nevrone povezljive. Upamo, da bo to podprlo skupnost interpretacije na več načinov:
- Čeprav so ti modeli in vizualizacije že odprtokodni (pomagamo vzdrževati lucidna knjižnica, ki se uporablja za ustvarjanje vseh vizualizacij v mikroskopu) je vizualizacija nevronov dolgočasna. Mikroskop spremeni povratno zanko raziskovanja nevronov iz minut v sekunde. Ta hitra povratna zanka je bila za nas bistvena pri odkrivanju nepričakovanih funkcij, kot so visoko-nizkofrekvenčni detektorji v teku projekt vezij.
- Povezljivost modelov in nevronov omogoča takojšen pregled in nadaljnje raziskovanje raziskav, ki trdijo o teh nevronih. Odpravlja tudi morebitno zmedo glede tega, o katerem modelu in nevronu se razpravlja (o kateri od petih različic InceptionV1 spet govorimo?). To je zelo koristno za sodelovanje, zlasti ko so raziskovalci na različnih institucijah.
- Ena od čudovitih stvari interpretabilnosti kot področja strojnega učenja je, kako dostopna je. V primerjavi z mnogimi drugimi področji zahteva sorazmerno malo dostopa do računalništva. Toda sistematična vizualizacija nevronskih mrež lahko še vedno traja na stotine ur GPE. Upamo, da lahko z deljenjem naših vizualizacij pomagamo ohraniti visoko dostopnost interpretacije.
Tako kot se biologi pogosto osredotočajo na preučevanje nekaj »modelnih organizmov«, se Microscope osredotoča na podrobno raziskovanje majhnega števila modelov. Naša prva izdaja vključuje devet pogosto preučevanih modelov vida, skupaj z več tehnikami vizualizacije, ki so se nam zdele posebej uporabne pri njihovem preučevanju. V naslednjih mesecih načrtujemo razširitev na druge modele in tehnike.
Navdušeni smo, da vidimo, kako bo skupnost uporabljala Microscope, in spodbujamo vas, da ponovno uporabite ta sredstva. Zlasti menimo, da ima veliko potenciala pri podpiranju Sodelovanje vezij— projekt obratnega inženiringa nevronskih mrež z analizo posameznih nevronov in njihovih povezav — ali podobno delo.
