我们正在介绍 OpenAI显微镜，这是八种视觉“模型生物”每个重要层和神经元可视化的集合，通常在可解释性方面进行研究。 显微镜使分析这些神经网络内部形成的特征变得更加容易，并且我们希望当我们逐步了解这些复杂的系统时，它将对研究界有所帮助。
现代神经网络的能力是成千上万个神经元（有时成千上万个或更多！）相互作用的结果。 为了了解它们的行为，我们希望能够快速轻松地详细研究这些神经元的相互作用，并分享这些观察结果。 在协作环境中尤其如此。 例如，一位研究人员可能会推测：
当某人这样提出要求时，如果其他人可以快速探索这些神经元，评估该要求并发现新事物，则很有用。 这是OpenAI显微镜的目标。
显微镜可以在几种常用的视觉模型中系统地可视化每个神经元，并使所有这些神经元可链接。 我们希望这将以多种方式支持可解释性社区：
- 尽管这些模型和可视化已经开放源代码（我们帮助维护 清醒的图书馆，用于生成“显微镜”中的所有可视化图像）。 显微镜将探索神经元的反馈回路从几分钟更改为几秒钟。 快速的反馈回路对于我们发现持续运行中的高低频检测器等意外功能至关重要 电路项目.
- 使模型和神经元可链接可立即进行审查，并进一步探索做出有关这些神经元的主张的研究。 它还消除了有关正在讨论哪个模型和神经元的潜在混淆（我们将再次讨论InceptionV1的五个版本中的哪个？）。 这对于协作特别有帮助，特别是当研究人员位于不同的机构时。
- 作为ML领域中的可解释性，妙处之一就是它的可访问性。 与许多其他领域相比，它需要相对较少的计算访问权限。 但是，系统地可视化神经网络仍需要花费数百个GPU小时。 我们希望，通过共享可视化内容，我们可以帮助保持可解释性的高度可访问性。
就像生物学家经常专注于研究几种“模型生物”一样，显微镜则专注于详细探索少量模型。 我们的初始版本包括九个经常研究的视觉模型，以及我们发现对研究它们特别有用的几种可视化技术。 我们计划在未来几个月内扩展到其他模型和技术。
我们很高兴看到社区将如何使用显微镜，并鼓励您重用这些资产。 特别是，我们认为它在支持 电路协作-通过分析单个神经元及其连接来逆向工程神经网络的项目-或类似工作。
