Vi introducerer OpenAI mikroskop, en samling af visualiseringer af hvert væsentligt lag og neuron af otte syns-"modelorganismer", som ofte studeres i fortolkning. Mikroskop gør det lettere at analysere de funktioner, der dannes inde i disse neurale netværk, og vi håber, det vil hjælpe forskersamfundet, når vi bevæger os hen imod at forstå disse komplicerede systemer.
Moderne neurale netværks evner er resultatet af interaktioner mellem tusindvis af neuroner (nogle gange titusinder eller mere!). For at forstå deres adfærd, vil vi gerne være i stand til hurtigt og nemt at undersøge disse neurons interaktioner i detaljer og dele disse observationer. Dette gælder især i samarbejdsmiljøer. For eksempel kan en forsker spekulere:
InceptionV1 4c:447 er en bildetektor, der er bygget af en hjuldetektor (4b: 373) og en vinduesdetektor (4b: 237).
Når nogen fremsætter en påstand som denne, er det nyttigt, hvis andre hurtigt kan udforske disse neuroner, evaluere påstanden og opdage nye ting. Dette er målet med OpenAI-mikroskopet.
Mikroskop visualiserer systematisk hver neuron i adskillige almindeligt studerede synsmodeller og gør alle disse neuroner sammenkoblede. Vi håber, at dette vil understøtte fortolkningsfællesskabet på flere måder:
- Selvom disse modeller og visualiseringer allerede er open source (vi hjælper med at vedligeholde klarsynet bibliotek, som bruges til at generere alle visualiseringer i mikroskop) at visualisere neuroner er kedeligt. Mikroskop ændrer feedback-sløjfen for at udforske neuroner fra minutter til sekunder. Denne hurtige feedback-loop har været essentiel for os til at opdage uventede funktioner som høj-lavfrekvente detektorer i den igangværende kredsløbsprojekt.
- At gøre modeller og neuroner sammenknyttede giver mulighed for øjeblikkelig undersøgelse og yderligere udforskning af forskning, der fremsætter påstande om disse neuroner. Det fjerner også potentiel forvirring om, hvilken model og neuron der diskuteres (hvilken af de fem versioner af InceptionV1 taler vi om igen?). Dette er virkelig nyttigt for samarbejde, især når forskere er på forskellige institutioner.
- En af de vidunderlige ting ved fortolkning som et område af ML er, hvor tilgængeligt det er. Sammenlignet med mange andre områder kræver det forholdsvis lidt adgang til beregning. Men systematisk visualisering af neurale netværk kan stadig tage hundredvis af GPU-timer. Vi håber, at vi, ved at dele vores visualiseringer, kan hjælpe med at holde fortolkning let tilgængelig.
Ligesom biologer ofte fokuserer på studiet af nogle få "modelorganismer", fokuserer Microscope på at udforske et lille antal modeller i detaljer. Vores første udgivelse inkluderer ni ofte studerede synsmodeller sammen med adskillige visualiseringsteknikker, som vi har fundet særligt nyttige til at studere dem. Vi planlægger at udvide til andre modeller og teknikker i de kommende måneder.
Vi er spændte på at se, hvordan fællesskabet vil bruge Microscope, og vi opfordrer dig til at genbruge disse aktiver. Især mener vi, at det har et stort potentiale i at understøtte Kredsløb samarbejde-et projekt til at omdanne neurale netværk ved at analysere individuelle neuroner og deres forbindelser - eller lignende arbejde.
