新型光子计算机芯片利用光来削减人工智能能源成本

新型光子计算机芯片利用光来削减人工智能能源成本

源节点: 2546399

人工智能模型是 权力大户.

随着算法的发展和变得更加复杂,它们对当前计算机芯片的负担越来越大。多家公司设计了针对人工智能的芯片,以减少功耗。但它们都基于一个基本规则——它们使用电力。

本月,中国清华大学的一个团队改变了配方。他们 构建了一个神经网络芯片 使用光而不是电来运行人工智能任务,其能源成本只是 英伟达 H100,一种用于训练和运行人工智能模型的最先进的芯片。

该芯片名为 Taichi,其内部结构结合了两种基于光的处理方式。与之前相比 光学芯片,Taichi 对于相对简单的任务(例如识别手写数字或其他图像)要准确得多。与前代产品不同的是,该芯片还可以生成内容。例如,它可以根据荷兰艺术家文森特·梵高的风格制作基本图像,或者根据约翰·塞巴斯蒂安·巴赫的灵感制作古典音乐数字。

Taichi 的效率部分归功于其结构。该芯片由多个称为小芯片的组件组成。与大脑的组织类似,每个小芯片并行执行自己的计算,然后将计算结果与其他小芯片集成以得出解决方案。

面对分离 1,000 多个类别的图像的挑战性问题,Taichi 在近 92% 的时间内取得了成功,与当前芯片性能相当,但能耗却降低了千倍以上。

作者写道,对于人工智能来说,“处理更高级任务的趋势是不可逆转的”。 “Taichi 为大规模光子(基于光的)计算铺平了道路”,从而以更低的能源成本实现更灵活的人工智能。

肩膀上的碎片

今天的计算机芯片与人工智能不能很好地配合。

部分问题是结构性的。传统芯片上的处理和内存在物理上是分开的。在它们之间传输数据需要花费大量的精力和时间。

虽然可以有效地解决相对简单的问题,但当涉及复杂的人工智能时,例如为 ChatGPT 提供支持的大型语言模型,该设置非常耗电。

主要问题是计算机芯片是如何构建的。每个计算都依赖于晶体管,晶体管通过打开或关闭来表示计算中使用的 0 和 1。几十年来,工程师们已经大幅缩小了晶体管的尺寸,这样他们就可以在芯片上塞进更多的晶体管。但当前的芯片技术正在走向一个突破点,我们不能再做得更小了。

长期以来,科学家们一直在寻求改进现有芯片。受大脑启发的一种策略依赖于“突触”——连接神经元的生物“码头”——在同一位置计算和存储信息。这些受大脑启发或神经形态的芯片可大幅减少能耗并加快计算速度。但与当前的芯片一样,它们也依赖于电力。

另一个想法是使用完全不同的计算机制:光。作者写道,“光子计算”正在“吸引越来越多的关注”。除了使用电力之外,我们还可以劫持光粒子,以光速为人工智能提供动力。

要有光

与基于电力的芯片相比,光消耗的功率要少得多,并且可以同时处理多种计算。利用这些特性,科学家们构建了光学神经网络,使用光子(光粒子)代替电力来构建人工智能芯片。

这些芯片有两种工作方式。其中,芯片将光信号散射到工程通道中,最终将光线组合起来解决问题。这些光学神经网络被称为衍射,将人工神经元紧密地排列在一起,并最大限度地降低能源成本。但它们不能轻易改变,这意味着它们只能解决一个简单的问题。

不同的设置取决于光的另一种特性,即干涉。就像海浪一样,光波相互结合并相互抵消。当位于芯片上的微通道内部时,它们可以碰撞以相互促进或抑制——这些干涉图案可用于计算。基于干涉的芯片可以使用称为干涉仪的设备轻松地重新配置。问题是,它们体积庞大,消耗大量能量。

然后就是准确性的问题。即使在经常用于干涉实验的雕刻通道中,光也会反弹和散射,导致计算不可靠。对于单个光学神经网络来说,误差是可以容忍的。但随着光网络规模的扩大和问题的复杂化,噪声呈指数级增长,变得难以为继。

这就是为什么基于光的神经网络不能轻易扩展的原因。到目前为止,他们只能解决基本任务,例如识别数字或元音。

“扩大现有架构的规模不会成比例地提高性能,”该团队写道。

双重麻烦

新的人工智能 Taichi 结合了这两个特征,推动光学神经网络走向现实世界的应用。

该团队没有配置单个神经网络,而是使用小芯片方法,将任务的不同部分委托给多个功能块。每个模块都有自己的优势:其中一个用于分析衍射,可以在短时间内压缩大量数据。另一个块嵌入了干涉仪以提供干扰,使芯片能够在任务之间轻松地重新配置。

与深度学习相比,Taichi 采用了“浅层”方法,将任务分布在多个小芯片上。

使用标准的深度学习结构,错误往往会随着层数和时间的推移而累积。这种设置将顺序处理带来的问题消灭在萌芽状态。当遇到问题时,Taichi 将工作负载分配到多个独立集群上,从而更轻松地以最小的错误解决更大的问题。

这一策略得到了回报。

Taichi 的计算能力相当于 4,256 个人工神经元,有近 14 万个参数模仿编码学习和记忆的大脑连接。该团队写道,当将图像分为 1,000 个类别时,光子芯片的准确率接近 92%,与“当前流行的电子神经网络”相当。

该芯片在其他标准人工智能图像识别测试中也表现出色,例如识别不同字母的手写字符。

作为最终测试,该团队挑战光子人工智能以不同艺术家和音乐家的风格掌握和重新创建内容。当接受巴赫曲目的训练时,人工智能最终学会了音乐家的音高和整体风格。同样,梵高或爱德华·蒙克(著名画作背后的艺术家)的图像, 那声尖叫——输入人工智能后,它可以生成类似风格的图像,尽管许多图像看起来像是幼儿的游戏。

光学神经网络还有很长的路要走。但如果广泛使用,它们可能会成为当前人工智能系统的更节能的替代方案。 Taichi 的能源效率比之前的迭代高 100 倍以上。但该芯片仍然需要激光器作为电源和数据传输单元,而这些都很难压缩。

接下来,该团队希望将现成的微型激光器和其他组件集成到单个粘性光子芯片中。与此同时,他们希望太极能够“加速开发更强大的光学解决方案”,最终可能引领强大且节能的人工智能“新时代”。

图片来源: 西班牙视觉特效 / Shutterstock.com

时间戳记:

更多来自 奇异枢纽