增强 RISC-V 矢量扩展以加速 ML 工作负载的性能

由柏拉图重新发布

关注： 0

在19月XNUMX日当周^th，Linley Group召开了2021年春季处理器大会。Linley Group以召开出色的会议而闻名。今年的春季会议也不例外。来自不同公司的许多非常有启发性的演讲，向听众介绍了该行业正在发生的最新研究和开发工作。这些演讲被归类为八个不同的主题。主题包括Edge AI，嵌入式SoC设计，扩展AI培训，AI SoC设计，用于AI和5G的网络基础架构，Edge AI软件，信号处理和高效AI推理。

近年来，作为一种技术的人工智能（AI）受到了广泛的关注和投资。这次会议肯定反映了与AI有关的主题类别的数量。在更广泛的AI类别中，Edge AI是一个主题，在演示中所占份额不合理，因此是合理的。物联网，5G和其他低延迟需求应用推动了边缘计算的快速增长。

Edge AI类别中的一个演示文稿的标题为 “增强RISC-V向量扩展以提高ML工作负载的性能。” 演讲由SiFive，Inc.工程和产品总裁Chris Lattner作了演讲。Chris充分说明了SiFive的基于RISC-V矢量扩展的解决方案非常适合AI驱动的应用程序的原因。以下是我的看法。

市场需求：

随着边缘计算市场的增长，这些应用程序的性能和功耗要求也越来越高。其中许多应用程序都是由AI驱动的，属于机器学习（ML）工作负载的类别。 AI的采用将处理需求更多地推向了数据处理而非通用计算。深度学习是ML模型的基础，并涉及处理大量数据。随着ML模型的快速发展，理想的解决方案将是针对以下方面进行优化的解决方案：性能，功能，合并新兴ML模型的简便性以及所产生的硬件和/或软件更改的范围。

RISC-V矢量的优势：

赋予我们RISC-V体系结构的主动性背后的最初动机是实验。面对预期的摩尔定律放缓，尝试开发可产生更好性能的芯片设计。 RISC-V基于能够量身定制特定芯片的思想，您可以在其中选择要使用的指令集扩展。向量扩展允许使用处理固定长度向量的函数来处理任何长度的向量。当硬件以更多的ALU和其他功能单元的形式升级时，向量处理使现有软件无需重新编译即可运行。在已建立的硬件基础和支持生态系统（例如编译器技术）方面已经取得了重大进展。

RISC-V可以通过自定义扩展针对特定域或应用进行优化。作为一种开放式标准指令集体系结构，RISC-V用户在选择满足其芯片设计需求的供应商时会享有很大的灵活性。

SiFive的产品：

SiFive通过添加新的矢量扩展来加速许多不同的神经网络模型的执行，从而增强了RISC-V矢量的优势。请参考图1，以查看使用SiFive的附加扩展与仅使用RISC-V的基本矢量扩展相比可以获得的加速示例。其Intelligence X280解决方案是具有多核功能的RISC-V矢量解决方案（硬件和软件），可让其客户轻松实现优化的Edge AI应用程序。该解决方案还可用于实现数据中心应用程序。

图1：

SuperCharge ML 性能 RISC-V

SiFive的优势：

SiFive的Intelligence X280解决方案完全支持TensorFlow和TensorFlow Lite开源机器学习平台（请参阅图2）
SiFive提供了一种简便的方法，可以将基于其他架构的客户现有代码迁移到RISC-V Vector架构。例如，SiFive可以将ARM Neon代码转换为RISC-V V汇编代码
SiFive允许其客户探索向其RISC-V实现中添加自定义扩展。
SiFive通过其OpenFive业务部门扩展了定制芯片实施服务，以满足特定领域的硅需求

图2：

全面支持TensorFlow Lite risc-v