更新：ISM330ISN和ISM330IS，具有智能传感器处理单元的传感器，助力在边缘应用更强大的AI技术

自发布此博文以来，意法半导体推出了ISM330ISN。用户可以在STEVAL-MKI233KA上找到本产品，并查看我们社区上的分步指南进行实验。该器件与ISM330IS类似，但进行了优化，可以在NanoEdge AI上运行异常检测。教程覆盖了平台选择以及如何记录数据、获得基准测试结果以及如何部署生成的库。因此，即使是没有机器学习应用经验的小白，也可以从特定设置中获得结果并完成学习。为了进一步深入，我们还提供了点播式在线研讨会和白皮书，帮助团队更好地理解这项技术可以解决的挑战以及如何更快地获得结果。

上个月在德国纽伦堡举行的2022年传感器和测试大会上，与会者有机会一睹ISM330IS，这是第一个带有智能传感器处理单元 (ISPU) 的传感器。意法半导体在2022年初宣布了这项技术，其演示具有高度意义，表明了其将很快面市。简而言之，ISPU是一个可以运行机器学习和深度学习算法的C语言可编程嵌入式数字信号处理器 (DSP)。可以说，它是边缘AI的下一步演进，或者如意法半导体所说——开启“Onlife”时代。ISM330IS包括一个用于单精度运算的浮点单元，这是运动传感器中的首次应用。

目录

o        2023年5月17日更新
o        从一个想法到新一代传感器
o        意法半导体克服了哪些挑战？
o        第一个带有机器学习内核的传感器有哪些意义？
o        还有哪些传感器配备了机器学习内核？
o        从新处理内核到新应用
o        ISPU的构成
o        ISM330IS的突出之处

从一个想法到新一代传感器

意法半导体克服了哪些挑战？

ISM330IS与手指的大小对比

想要理解我们如何走到这一步，关键在于审视过去四年的重大创新。一切始于意法半导体发表的一篇论文，文中探讨了在惯性传感器内部安装机器学习内核的可行性。在这项研究之前，传感器只负责收集数据。因此，所有计算必须在微控制器上进行。这种系统背后的原理相对直接。惯性传感器属于小型低功耗器件，而增加一个强大的处理器，不仅会违反这些限制，还会带来重大的集成和制造挑战。然而，尽管意法半导体将DSP和加速度计以及陀螺仪都结合在一起，还是可以保持处理能力、内存存储和感应精度不受影响。


第一个带有机器学习内核的传感器有哪些意义？

LSM6DSOX

2018年，意法半导体发表了极具开创性的论文，因为它解决了诸多挑战，推动了LSM6DSOX的诞生，这是第一个能够并行运行八个决策树来运行机器学习算法的惯性传感器。由此，以一部分功耗在本地运行应用成为可能。尤其是在将器件集成到SensorTile.box后，新的应用开始涌现。例如，我们可以为车内的婴儿创建一个婴儿哭泣检测器。同样，伦敦大学学院的两个项目通过自动化坐立测试和创建更易用的数字听诊器引起了轰动。


还有哪些传感器配备了机器学习内核？

Unico GUI和机器学习应用

LSM6DSOX也标志了新的开发者社区的开始。意法半导体在GitHub上提供了一个的机器学习内核资源库，并使Unico GUI软件工具更易于访问，希望能帮助到需要利用LSM6DSOX机器学习内核的程序员。此外，我们还发布了更强大的传感器。LSM6DSRX性能再升级，以满足虚拟现实头戴设备等更严荷的应用需求。我们还推出了LSM6DSV16X，拥有更强大的机器学习内核和更优越的性能功耗比，适用于对功耗有更严格要求的系统。可以说，带有机器学习内核的意法半导体传感器为自动化新时代的到来贡献了一己之力，而ISM330IS为这一传奇开启了重要的新篇章。


从新处理内核到新应用

ISM330IS的构成

ISM330IS的ISPU提供8 KB的数据RAM和32 KB的应用RAM。它还具有一个运行于10 MHz的32位RISC哈佛架构，一个四段流水线，一个浮点单元，以及一套为神经网络处理优化的16位长度指令。此外，虽然处理器只需要四个时钟周期就可以抛出中断（Arm Cortex内核通常需要15个），但它也可以在一个周期内处理16位乘法。它使用SPI或I2C与主机MCU通信。开发者只需要在启动时从主机处理器加载C代码到ISPU的易失性存储器。
FPU使应用程序能够在边缘运行推理，具有更大的灵活性。一旦条件满足，程序就会向微控制器抛出中断。同样，这种架构使ISPU相比前一代器件在微瓦级别操作时仍能提高性能。因此，它是从前一代机器学习内核的决策树做出的重大飞跃，是更高效的系统。此外，尽管具有强大的计算能力，ISM330IS仍能适应市场标准的3 mm x 2.5 mm x 0.83 mm LGA封装。因此，设计师无需为新产品大幅度修改PCB。


ISM330IS的突出之处
机器学习应用越来越常见，许多人将它们与高内存需求、云计算服务器或高度并行的GPU架构联系起来。许多程序确实需要昂贵的计算操作，使它们与边缘处理不相兼容。然而，公司也知道并非所有深度学习系统都需要这种能力。因此，在移动设备（如智能手机）或本地工业设施上运行推理正变得越来越普遍。图像识别、异常检测和预测性维护都需要在紧凑的功率电路中提供可靠的AI性能。同样，无线家庭安全系统的摄像头使用AI识别面部或宠物，而ISPU可以为移动系统的常开显示提供智能。
ISM330IS正是应对这一挑战的新方案，因为它在高性能模式下也只需要消耗0.59 mA。相比之下，ISM330DHCX在类似条件下需要高达1.5 mA。后者拥有更强大的陀螺仪等特性，这部分解释了两者的差异。然而，这些数字还体现了新器件的优化成果以及处理内核的效率。的确，低功耗微控制器很少配备FPU，因为它们通常需要大量的能源。然而，ISM330IS仍然能够保持极低的功耗，足以满足电池供电系统的需求。

意法半导体的ISPU架构

o        了解更多关于ISM330IS的信息
o        探索MEMS的Onlife时代