更节能，基于忆阻器的贝叶斯机器

编辑 | 绿萝 在过去的几十年里，机器学习模型在各种现实世界任务上的性能有了显着提高。然而，训练和实施这些模型中的大多数仍然需要大量的能量和计算能力。 忆阻器和其他新兴存储技术，可用于创建神经网络的节能实现。然而，对于某些边缘应用，神经网络可能无法提供可接受的智能形式。贝叶斯推理可以解决这些问题，但它的计算成本很高，而且与神经网络不同，它不会自然地转化为基于忆阻器的架构。 近日，来自法国巴黎萨克雷大学、格勒诺布尔-阿尔卑斯大学、HawAI.tech、索邦大学和艾克斯-马赛大学的研究人员创建了一种所谓的贝叶斯机器（即，一种基于贝叶斯定理执行计算的人工智能方法）。比目前使用的硬件解决方案更节能。 机器的架构是通过编写贝叶斯定律来获得的，这种方法使它的实现通过分布式内存和随机计算的原理变得自然，允许电路仅使用本地内存和最少的数据移动来运行。 该研究以「 A memristor-based Bayesian machine 」为题，发布在《 Nature Electronics 》上。

论文链接： https://www.nature.com/articles/s41928-022-00886-9 智能边缘系统可用于监测人体健康、建筑物安全、工业设施和环境。然而，可以提供此类服务的人工智能 (AI) 算法在传统硬件上运行时会消耗大量能量。因此，大多数边缘系统将其感知数据上传到云端进行处理，这会产生隐私和安全问题。 对于智能医疗传感器等应用，神经网络有一些重要的局限性。首先，他们需要接受大量数据的训练，而这些数据通常不可用。其次，他们的结果是无法解释的，由于道德和监管原因，这对于某些关键应用来说是不可接受的。贝叶斯推理是一种可以更好地适应这些情况的人工智能方法。 贝叶斯推理是一种概率框架，允许在信息不完整的情况下做出决策，最大限度地结合所有可用的证据、假设和先验知识。在这种方法中，推理是完全可解释的，并且在「小数据」情况下表现出色，因为它能够结合先前的专家知识。它还可以估计其预测的确定性，这对神经网络来说是一个挑战。贝叶斯模型并非直接受到大脑启发，而是与生物智能相关联。 然而，尽管贝叶斯推理需要大量的内存访问，但将其用于近内存计算比神经网络更具挑战性。 忆阻器本质上是基于纳米设备的电子元件，可以限制或调节电路中的电流，同时还可以预先记录其中传递的能量。由于它们同时执行计算和信息存储，这些设备可以更好地再现人脑的信息处理策略。 在此，研究人员提出了一个可以在硬件中完全实现的基于忆阻器的贝叶斯系统。他们制造了一个原型电路，它使用混合互补金属氧化物半导体（CMOS）/忆阻器工艺在同一芯片上集成了 2,048 个忆阻器和 30,080 个晶体管。

图示：贝叶斯机器的一般架构。（来源：论文） 为了验证基于忆阻器的贝叶斯推理的可行性，在混合 CMOS/电阻式随机存取存储器工艺中制作了原型电路。电路的 CMOS 部分是使用具有四层金属的低功率铸造 130nm 工艺制造的。氧化铪忆阻器制造在 CMOS 铸造层的顶部。

图示：制造的基于忆阻器的贝叶斯机。（来源：论文） 研究表明，与在采用类似 CMOS 技术制造的微控制器单元（MCU）上标准实施贝叶斯推理相比，所提出的方法提供了几个数量级的能量改进。由于使用了非易失性存储器，系统还具有即时开/关功能：它几乎可以在开机后立即进行贝叶斯推理，让系统在不使用时立即完全切断电源。此外，该系统本身对软错误（即单事件干扰）具有弹性，使其适合在极端环境中使用。 研究专注于手势识别的应用。贝叶斯机的输入是从惯性测量单元 (IMU) 上的时间轨迹中提取的一系列特征。该系统的目标是识别佩戴 IMU 的用户执行的手势：写数字 1、数字 2、数字 3 或签名的手势。该任务由贝叶斯机器的放大版本执行，使用 24（6 列和 4 行）四千比特似然存储阵列。

图示：贝叶斯机器在实际手势识别任务中的应用。（来源：论文） 研究表明，在实际的手势识别任务中，机器的放大设计比微控制器单元上贝叶斯推理的标准实现更节能。 未来，由这组研究人员创建的基于忆阻器的贝叶斯机器可以帮助提高 AI 模型的能效，同时还可能激发其他类似解决方案的开发。它可能对安全关键型应用特别有用，例如用于监控工业设施安全的医疗传感器或电路。 进行这项研究的研究人员之一 Damien Querli 说：「我们设计了一个相当大的贝叶斯机器版本，目前正在制造中，我们也将机器背后的原理应用于其他机器学习方法。随着我们在复杂性上扩展我们的设计，我们开始触及学术团体所能做到的极限。因此，我们同时致力于新技术，下一代忆阻器。」
参考内容： https://techxplore.com/news/2023-01-bayesian-machine-based-memristors.html 人工智能 × [ 生物 神经科学 数学 物理 材料 ] 「ScienceAI 」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展 。 欢迎 关 注标星 ，并点击右下角 点赞 和 在看 。 点击 阅 读原文 ，加入专业从业者社区，以获得更多交流合作机会及服务。