Vi introduserer OpenAI mikroskop, en samling av visualiseringer av hvert betydelige lag og nevron av åtte syn "modellorganismer" som ofte studeres i tolkningsevne. Mikroskop gjør det lettere å analysere funksjonene som dannes i disse nevrale nettverkene, og vi håper det vil hjelpe forskningsmiljøet når vi beveger oss mot å forstå disse kompliserte systemene.
Evnen til moderne nevrale nettverk er et resultat av interaksjoner mellom tusenvis av nevroner (noen ganger titusenvis eller mer!). For å forstå oppførselen deres, vil vi gjerne raskt og enkelt kunne undersøke disse nevronenes interaksjoner i detalj, og dele disse observasjonene. Dette gjelder spesielt i samarbeidsmiljøer. For eksempel kan en forsker spekulere:
BegynnelseV1 4c:447 er en bildetektor som er bygget av en hjuldetektor (4b: 373) og en vindusdetektor (4b: 237).
Når noen kommer med en påstand som dette, er det nyttig hvis andre raskt kan utforske disse nevronene, evaluere påstanden og oppdage nye ting. Dette er målet med OpenAI-mikroskopet.
Mikroskop visualiserer systematisk hvert nevron i flere ofte studerte synsmodeller, og gjør alle disse nevronene koblingsbare. Vi håper dette vil støtte tolkningsmiljøet på flere måter:
- Selv om disse modellene og visualiseringene allerede er åpen kildekode (vi hjelper til med å vedlikeholde klarsynt bibliotek, som brukes til å generere alle visualiseringer i mikroskop) å visualisere nevroner er kjedelig. Mikroskop endrer tilbakemeldingssløyfen for å utforske nevroner fra minutter til sekunder. Denne raske tilbakemeldingssløyfen har vært avgjørende for oss for å oppdage uventede funksjoner som høy-lavfrekvente detektorer i det pågående kretsprosjekt.
- Å gjøre modeller og nevroner sammenkoblede gir umiddelbar gransking og videre utforskning av forskning som fremsetter påstander om disse nevronene. Det fjerner også potensiell forvirring om hvilken modell og nevron som diskuteres (hvilken av de fem versjonene av InceptionV1 snakker vi om igjen?). Dette er veldig nyttig for samarbeid, spesielt når forskere er ved forskjellige institusjoner.
- Noe av det fantastiske med tolkbarhet som et område av ML er hvor tilgjengelig det er. Sammenlignet med mange andre områder krever det relativt liten tilgang til databehandling. Men systematisk visualisering av nevrale nettverk kan fortsatt ta hundrevis av GPU-timer. Vi håper at vi, ved å dele visualiseringene våre, kan bidra til å holde tolkbarheten lett tilgjengelig.
Akkurat som biologer ofte fokuserer på studiet av noen få "modellorganismer", fokuserer Microscope på å utforske et lite antall modeller i detalj. Vår første utgivelse inkluderer ni ofte studerte synsmodeller, sammen med flere visualiseringsteknikker vi har funnet spesielt nyttige for å studere dem. Vi planlegger å utvide til andre modeller og teknikker i løpet av de kommende månedene.
Vi er spente på å se hvordan fellesskapet vil bruke Microscope, og vi oppfordrer deg til å gjenbruke disse ressursene. Spesielt tror vi det har et stort potensial for å støtte Kretssamarbeid- et prosjekt for å reversere nevrale nettverk ved å analysere individuelle nevroner og deres forbindelser - eller lignende arbeid.
