Kami memperkenalkan Mikroskop OpenAI, kumpulan visualisasi setiap lapisan signifikan dan neuron dari delapan "model organisme" penglihatan yang sering dipelajari dalam interpretabilitas. Mikroskop memudahkan untuk menganalisis fitur-fitur yang terbentuk di dalam jaringan saraf ini, dan kami berharap ini akan membantu komunitas riset saat kami bergerak menuju pemahaman sistem yang rumit ini.
Kemampuan jaringan saraf modern adalah hasil dari interaksi ribuan neuron (kadang-kadang puluhan ribu atau lebih!). Untuk memahami perilaku mereka, kami ingin dapat dengan cepat dan mudah menyelidiki interaksi neuron ini secara rinci, dan berbagi pengamatan tersebut. Ini terutama benar dalam lingkungan kolaboratif. Misalnya, seorang peneliti mungkin berspekulasi:
AwalV1 4c: 447 adalah detektor mobil yang dibangun dari detektor roda (4b: 373) dan detektor jendela (4b: 237).
Ketika seseorang membuat klaim seperti ini, akan berguna jika orang lain dapat dengan cepat menjelajahi neuron-neuron itu, mengevaluasi klaim dan menemukan hal-hal baru. Ini adalah tujuan dari OpenAI Microscope.
Mikroskop secara sistematis memvisualisasikan setiap neuron dalam beberapa model penglihatan yang dipelajari secara umum, dan membuat semua neuron tersebut terhubung. Kami berharap ini akan mendukung komunitas interpretabilitas dalam beberapa cara:
- Meskipun model dan visualisasi ini sudah open source (kami membantu mempertahankannya perpustakaan jernih, yang digunakan untuk menghasilkan semua visualisasi dalam Mikroskop) memvisualisasikan neuron itu membosankan. Mikroskop mengubah lingkaran umpan balik menjelajahi neuron dari menit ke detik. Putaran umpan balik cepat ini sangat penting bagi kami dalam menemukan fitur yang tidak terduga seperti detektor frekuensi tinggi-rendah dalam proses yang sedang berlangsung proyek sirkuit.
- Membuat model dan neuron dapat dihubungkan memungkinkan pemeriksaan segera dan eksplorasi lebih lanjut dari penelitian yang membuat klaim tentang neuron tersebut. Ini juga menghilangkan potensi kebingungan tentang model dan neuron mana yang sedang dibahas (manakah dari lima versi InceptionV1 yang sedang kita bicarakan lagi?). Ini sangat membantu untuk kolaborasi, terutama ketika para peneliti berada di lembaga yang berbeda.
- Salah satu hal indah tentang penafsiran sebagai area ML adalah seberapa mudah diaksesnya. Dibandingkan dengan banyak area lain, ini membutuhkan akses yang relatif sedikit untuk menghitung. Tetapi memvisualisasikan jaringan saraf secara sistematis masih bisa memakan waktu ratusan jam GPU. Kami berharap bahwa, dengan membagikan visualisasi kami, kami dapat membantu menjaga interpretabilitas mudah diakses.
Sama seperti ahli biologi yang sering fokus pada studi tentang beberapa "organisme model," Mikroskop berfokus pada mengeksplorasi sejumlah kecil model secara rinci. Rilis awal kami mencakup sembilan model visi yang sering dipelajari, bersama dengan beberapa teknik visualisasi yang kami temukan sangat berguna dalam mempelajarinya. Kami berencana untuk memperluas ke model dan teknik lain dalam beberapa bulan mendatang.
Kami senang melihat bagaimana komunitas akan menggunakan Mikroskop, dan kami menyarankan Anda untuk menggunakan kembali aset ini. Secara khusus, kami pikir memiliki banyak potensi dalam mendukung Kolaborasi sirkuit—Sebuah proyek untuk merekayasa balik jaringan saraf dengan menganalisis neuron individual dan koneksinya — atau pekerjaan serupa.
