Ми представляємо Мікроскоп OpenAI, набір візуалізацій кожного значного шару та нейрона восьми «модельних організмів» зору, які часто вивчаються в інтерпретації. Мікроскоп полегшує аналіз функцій, які формуються всередині цих нейронних мереж, і ми сподіваємося, що це допоможе дослідницькій спільноті, коли ми рухаємося до розуміння цих складних систем.
Здібності сучасних нейронних мереж є результатом взаємодії тисяч нейронів (іноді десятків тисяч і більше!). Щоб зрозуміти їхню поведінку, ми хотіли б мати можливість швидко та легко детально досліджувати взаємодії цих нейронів і поділитися цими спостереженнями. Це особливо актуально в середовищі співпраці. Наприклад, один дослідник може припустити:
Початок V1 4c: 447 є автомобільним детектором, який побудований з детектора коліс (4б: 373) і детектор вікон (4б: 237).
Коли хтось робить подібні заяви, корисно, якщо інші можуть швидко досліджувати ці нейрони, оцінюючи твердження та відкриваючи нові речі. Це мета мікроскопа OpenAI.
Мікроскоп систематично візуалізує кожен нейрон у кількох широко вивчених моделях зору і робить усі ці нейрони пов’язаними. Ми сподіваємося, що це підтримає спільноту інтерпретації кількома способами:
- Хоча ці моделі та візуалізації вже є відкритим кодом (ми допомагаємо підтримувати зрозуміла бібліотека, який використовується для створення всіх візуалізацій в Microscope) візуалізація нейронів утомлива. Мікроскоп змінює петлю зворотного зв’язку дослідження нейронів з хвилин на секунди. Цей швидкий цикл зворотного зв’язку був необхідним для нас у виявленні несподіваних функцій, таких як високочастотні детектори в поточному проект схем.
- Зв’язування моделей і нейронів дає змогу негайно вивчати та вивчати дослідження, що дають твердження щодо цих нейронів. Це також усуває потенційну плутанину щодо того, яка модель і нейрон обговорюються (про яку з п’яти версій InceptionV1 ми знову говоримо?). Це дуже корисно для співпраці, особливо коли дослідники працюють у різних установах.
- Однією з чудових речей інтерпретації як області ML є те, наскільки вона доступна. Порівняно з багатьма іншими областями, він вимагає порівняно невеликого доступу до обчислень. Але систематична візуалізація нейронних мереж все ще може зайняти сотні годин GPU. Ми сподіваємося, що, поділившись нашими візуалізації, ми зможемо допомогти зберегти інтерпретацію дуже доступною.
Так само, як біологи часто зосереджуються на вивченні кількох «модельних організмів», Microscope зосереджується на детальному дослідженні невеликої кількості моделей. Наш початковий випуск включає дев’ять часто досліджуваних моделей зору, а також кілька методів візуалізації, які ми вважали особливо корисними для їх вивчення. У найближчі місяці ми плануємо розширити свою роботу на інші моделі та техніки.
Ми раді побачити, як спільнота буде використовувати Microscope, і закликаємо вас повторно використовувати ці ресурси. Зокрема, ми вважаємо, що вона має великий потенціал для підтримки Співпраця схем—проект із зворотного проектування нейронних мереж шляхом аналізу окремих нейронів та їх зв’язків — або подібна робота.
