Biz tanıtıyoruz OpenAI Mikroskobu, genellikle yorumlanabilirlikle incelenen sekiz önemli “model organizma” nın her önemli katmanının ve nöronunun görselleştirmeleri koleksiyonu. Mikroskop, bu sinir ağlarının içinde oluşan özellikleri analiz etmeyi kolaylaştırır ve bu karmaşık sistemleri anlamaya doğru ilerlerken araştırma topluluğuna yardımcı olacağını umuyoruz.
Modern sinir ağlarının yetenekleri binlerce nöronun (bazen on binlerce veya daha fazla!) Etkileşimlerinin sonucudur. Davranışlarını anlamak için, bu nöron etkileşimlerini hızlı ve kolay bir şekilde araştırabilmek ve bu gözlemleri paylaşmak istiyoruz. Bu özellikle işbirliği ortamlarında geçerlidir. Örneğin, bir araştırmacı spekülasyon yapabilir:
Başlangıç V1 4c: 447 bir tekerlek dedektöründen (4b: 373) ve bir pencere dedektörü (4b: 237).
Birisi böyle bir iddiada bulunduğunda, başkalarının bu nöronları hızlı bir şekilde keşfedip iddiayı değerlendirip yeni şeyler keşfedebilmesi faydalıdır. OpenAI Mikroskobunun amacı budur.
Mikroskop, yaygın olarak incelenen birkaç görme modelinde her nöronu sistematik olarak görselleştirir ve tüm bu nöronları bağlanabilir hale getirir. Bunun yorumlanabilirlik topluluğunu çeşitli şekillerde destekleyeceğini umuyoruz:
- Bu modeller ve görselleştirmeler zaten açık kaynak olmasına rağmen ( berrak kütüphaneMikroskopta tüm görselleştirmeleri üretmek için kullanılan) nöronları görselleştirmek sıkıcıdır. Mikroskop, nöronları keşfetmenin geri besleme döngüsünü dakikalardan saniyelere değiştirir. Bu hızlı geri bildirim döngüsü, devam eden yüksek-düşük frekanslı dedektörler gibi beklenmedik özellikleri keşfetmemiz için çok önemli. devreler projesi.
- Modelleri ve nöronları bağlanabilir hale getirmek, bu nöronlar hakkında iddialarda bulunan araştırmaların derhal incelenmesini ve daha fazla araştırılmasını sağlar. Ayrıca, hangi model ve nöronun tartışıldığı hakkında olası karışıklığı da ortadan kaldırır (InceptionV1'in beş versiyonundan hangisinden tekrar bahsediyoruz?). Bu, özellikle araştırmacılar farklı kurumlarda olduğunda işbirliği için gerçekten yararlıdır.
- Bir ML alanı olarak yorumlanabilirlik ile ilgili harika şeylerden biri, ne kadar erişilebilir olduğudur. Diğer birçok alanla karşılaştırıldığında, hesaplamaya nispeten az erişim gerektirir. Ancak sinir ağlarını sistematik olarak görselleştirmek hala yüzlerce GPU saati sürebilir. Görselleştirmelerimizi paylaşarak yorumlanabilirliği yüksek düzeyde erişilebilir tutmaya yardımcı olabileceğimizi umuyoruz.
Tıpkı biyologların sıklıkla birkaç “model organizma” araştırmasına odaklanması gibi, Mikroskop da az sayıda modeli ayrıntılı olarak incelemeye odaklanır. İlk sürümümüz, sıkça incelenen dokuz vizyon modelinin yanı sıra, bunları incelemede özellikle yararlı bulduğumuz çeşitli görselleştirme tekniklerini içeriyor. Önümüzdeki aylarda diğer model ve tekniklere de açılmayı planlıyoruz.
Topluluğun Mikroskop'u nasıl kullanacağını görmek için heyecanlıyız ve bu varlıkları tekrar kullanmanızı öneririz. Özellikle, Devreler işbirliği—Bireysel nöronları ve bağlantılarını analiz ederek sinir ağlarını tersine çevirmek için bir proje- veya benzer çalışmalar.
