​突破边缘AI应用的次元壁：首届意法半导体边缘人工智能峰会举行

摘 要
边缘人工智能正在海量微型设备上运行着海量应用，为众多工业产品和服务带来颠覆性改变。

查看详情>>

意法半导体与客户和合作伙伴在边缘人工智能领域展开合作已有超过10年时间。但许多产品设计师还不知道如何应用到自己的产品或服务中。为让大家更好地了解边缘人工智能领域的发展状况以及隐藏在这一技术之下的巨大潜力，ST近期举办了首届意法半导体边缘人工智能峰会，多名行业专家与创新先锋带来真知灼见，分享了利用边缘人工智能创造出的优秀产品和服务经验，让用户从一个更广阔的角度来审视人工智能世界。

▲ 意法半导体半导体微控制器和数字IC产品部总裁Remi El Ouazzane

斯坦福大学计算机科学系副教授Christopher Ré首先分享了他对于AI主题的两个见解：
一是大型语言模型如何改变我们构建的系统。这些AI任务种类繁多、数量庞大，对上一代机器学习系统来说充满挑战。但新基础模型如Chat GPT3/4等，能以非常出色的表现解决这些问题。

二是即将到来的微型人工智能设备海啸，即人工智能如何集成到边缘计算，直接与现实世界互动。如何开发足够高效、可在大量设备上运行的新模型，如何处理收集的所有数据和遥测信息成为真正的挑战。行业需要不断研究新的架构和模型，不仅需要在算法上创新，更要在硬件、软件方面创新，包括如何与意法半导体这样公司的产品结合起来。

意法半导体如何为边缘AI赋能

万物智能互联的世界蕴藏着可供边缘人工智能大显身手的宝贵机遇。这种机遇不仅限于更改设备的功能，更可颠覆商业模式。
如何将这一愿景变为现实？意法半导体半导体微控制器和数字IC产品部总裁Remi El Ouazzane指出，需要确保这些产品具备三个基本要素：合理的安全保障、合适的连接解决方案，以及处理能力和智能水平。ST尤其重点关注处理能力，尤其是边缘人工智能如何提升设备的处理性能。
开发者所面临的各种难题和挑战有两部分：

• 硬件挑战：如何通过合适的解决方案来实现应用所需的性能、安全性和能效；
• 软件生态系统挑战：如何降低编程难度，确保开发人员能够使用合适的工具和框架来创建可以利用边缘人工智能的产品。
  

ST在帮助用户部署边缘AI方面的优势在于：

• ST是通用MCU领域的头部品牌，硬件架构天然适用于ML算法；
• 多年来对人工智能领域的持续投入，使ST有能力打造一个非常强大的人工智能编译器；
• 凭借STM32 AI开发者云，开发人员可以轻松在各种STM32开发板上对其模型在线测试。
  

以上三点，都对基于STM32的海量人工智能创新起到了推动作用。

在软件工具方面，ST利用STM32Cube.AI工具帮助开发人员优化人工智能模型，并将其移植到现有的STM32 MCU系列中。NanoEdge AI Studio是一款用于提升产品智能化程度的自动化机器学习工具。它提供了更简单且易于部署的功能，不需要广泛的数据科学技能或者访问记录完善的大型数据集。此外，该工具还支持设备端学习功能，这对于售后市场预测性维护等需要适应不同操作环境的应用具有至关重要的意义。此外，还可以在旗下的Linux平台和智能传感器上搭载这些边缘人工智能功能。


在硬件方面，ST的智能传感器产品包含了一个为智能传感器处理单元的高度专业化DSP，该单元是一款超低功耗、高效率、高性能的可编程内核，可以为传感器执行信号处理并使用人工智能算法。ST还努力为STM32系列产品添加人工智能加速功能，推出了两款具有高性能神经加速内核的产品- STM32N6和STM32MP2。这两款产品采用低功耗、高性价比的封装，具备出色的处理性能，让之前仅适用CPU的算法在MCU 和MPU部署。

推出“ST Edge AI”套件 意法半导体的人工智能策略基于一套资源丰富的集成化开发工具、技术示例、学习示例，以及名为“ST Edge AI Core Technology”的创新型的嵌入式AI解决方案优化器。ST Edge AI套件满足了不同用户的需求，如数据分析师、嵌入式软件开发人员和硬件系统工程师。该套件简单好用，界面简约直观，有多个不同版本（Desktop, CLI, Web, API）。

ST Edge AI 套件支持意法半导体多个硬件平台：STM32通用MCU，包括已经发布的具有AI硬件加速功能的产品、工业级STM32N6和STM32 MPU，以及Stellar车规微控制器和智能传感器。ST Edge AI Suite把项目开发的每个阶段所需的全部软件和工具集成在一起。NanoEdge AI Studio autoML工具对STM32用户免费开放，现在可用于所有基于ARM Cortex-M的MCU。

NVIDIA构建下一代边缘AI设备的两大工具

NVIDIA嵌入式与边缘计算业务部副总裁兼总经理Deepu Talla指出，在部署人工智能时，许多公司都无法投入生产。原因是：人工智能模型解决当前问题有准确率偏差；如何选择合适的人工智能模型；边缘设备的计算和内存资源有限。

NVIDIA提供了两种工具解决上述痛点：数据模拟工具NVIDIA Omniverse，以及AI训练优化工具TAO。
真实数据成本高昂且无法涵盖所有场景，合成数据可以弥补数据缺口。NVIDIA Omniverse是一个允许个人和团队开发3D工作流程和应用程序的计算平台。NVIDIA Omniverse Replicator是Omniverse平台的核心扩展，让开发者可以轻松构建定制的合成数据生成工具和通道。

TAO，代表训练 (Train)、适应 (Adapt) 和优化 (Optimize)，是一个开源的低代码人工智能工具套件。用户基于TAO可访问最佳且最新的人工智能，在大量经过优化的模型目录上应用迁移学习，将其部署到小型MCU及大规模应用的任何设备。TAO已被百事可乐、和硕、埃克森美孚、班加罗尔机场、西门子等多家企业和政府部门采用，加快其人工智能模型的创建过程。

NVIDIA和意法半导体开展了密切深入的合作。意法半导体能够采用其中一个预训练模型，并使用TAO完成整个训练和优化工作流程，将输出模型集成到STM32中，内存占用可减少10倍。我们在STM32微控制器上运行视觉人工智能模型，推断时间也缩短了五倍。

合作伙伴的AI创新案例与解决方案

来自各行业的创新先锋们分享了他们与ST的合作案例，充分展示了边缘人工智能带来的竞争优势。
电动自行车胎压测量 该方案在不使用任何传感器，甚至不直接对车轮进行任何测量的情况下测量电动自行车的胎压。通过监测电机的电流消耗情况判断是否需要为轮胎加压。算法由一家大型电动自行车制造商开发，利用STM32Cube.AI软件优化后，在STM32G0上运行。实现算法不需要新增任何硬件，该案例为我们将人工智能引入现有的设计方案带来了全新思路。

超低功耗PC活动监控 惠普商业架构和技术解决方案部门负责人Leng Lim分享了惠普与意法半导体的合作案例。双方共同开发和训练活动识别人工智能模型，根据设备运动和用户动作来识别不同的用户活动。该合作面向多个使用场景，包括将笔记本电脑放在桌子上、用户腿上或放在包里和从包里取出的场景，帮助惠普创建了一个运行在ST智能六轴运动传感器上的、惠普设备专用人工智能模型。其中最值得一提的是功耗，该传感器运行边缘AI算法的功耗仅为34微安。该解决方案使惠普计算机能够发现用户活动变化，并做出相应的响应，为更关键的任务节省电池电量。

电动汽车电机运维优化 HPE集团与意法半导体合作优化电动汽车电机的运行和维护，面临的挑战是如何在实际使用中监测电动机转子的内部温度，以优化输出功率，提高电机运行的能效和安全。在实验室中转子是裸露的，可以直接测量，但在车上测量正在运行的电机内部温度则行不通。ST的解决方案是训练一个模型，并使用边缘AI构建一个虚拟温度传感器，根据外部温度测量值估算内部转子温度。该算法运行在控制电机的Stellar车规微控制器上。该微控制器还运行一个状态监测人工智能算法，通过分析振动来检测潜在的异常事件。这个解决方案也可以用于其他关键部件，例如，测量动力电池内部温度是不现实的，但边缘人工智能模型可以用外部测量数据模拟内部温度。

让洗衣机性能提升15-40% 一家大型家电制造商目前正在采用这个洗衣机解决方案升级他们的产品，预计新品将于2024年上市。其中用到的第一个机器学习算法是创建一种虚拟传感器，根据电机电流测量值估计待洗衣服的重量；第二个机器学习算法是利用六轴运动传感器数据计算滚筒是否会接触洗衣机的外壳，从而避免滚筒碰撞洗衣机外壳。根据算法的输入数据，洗衣程序提供洗这些衣服所需的电流驱动电机，并调整用水量和洗涤剂量，因此，洗一次衣服可以节省15%至40%的电能和水。这两个算法都基于ST的NanoEdge AI开发，并运行在STM32G0 MCU和ST六轴运动传感器上。

智能手机空气质量监测系统 Mobilephsics的创始人Erez Weinroth分享了智能手机空气质量监测系统。该方案将物理学知识与现代设备内部的传感器协同工作，将一个空气质量监测系统嵌入到智能手机中，实时监测室内和室外的空气状况。手机可以在本地进行所有内部计算而无需将数据发送到云端，从而保护隐私。通过来自飞行时间传感器的强大精准数据，获得正确的信号，与真实生活中的防御情况进行比较。通过构建一个算法，能够进行计算并将这两者联系起来。

智慧城市解决方案ST与Lacroix合作，为下一代智慧城市解决方案配备边缘人工智能能力。该方案能够对行人或汽车、卡车、公共汽车、摩托车等各类车辆进行即时的分类、跟踪和计数，并根据机器学习模型推断，实现在边缘侧的音频分类、监测，同时对不同的声音识别作出反应，如汽车警报、枪声、行人呼救等。

这个对象识别和分类算法在STM32N6微控制器上以每秒18帧的速度实时运行，与之前效果相同的处理平台相比，器件成本仅为先前平台的十分之一，耗电量也仅为其他平台的十分之一；AI算法可以在STM32N6的NPU上满负荷运行，MCU ARM Cortex-M内核的负载小于5%。这项技术将彻底颠覆此类解决方案的构建和部署方式，并极大地拓展相关应用规模。

光束轮廓分析Trinamix公司的光束轮廓分析技术基于独特的算法和成像硬件设置，可以集成到显示屏后面。从屏幕后方，激光投影仪向用户的脸部投射一个不可见的点阵图案。一旦光线击中皮肤表面，它会自然地以各种方式散射，并由此反射回系统的红外摄像头。Trinamix的专利算法分析散射光点的独特光束轮廓，由人工智能训练驱动。该方案可用来保护在移动应用中最重要的个人数据安全，如数字支付和面部解锁。在该方案中，意法半导体的全局快门传感器提供了超高品质的量子效率和图像清晰度，与Trinamix算法完美匹配。该光束轮廓分析已经被应用到实际应用中，例如安全智能手机解锁。

智能服装 TuringSense首席执行官和联合创始人Joe Chamdani分享了他们的智能服装解决方案。TuringSense将意法半导体的智能传感器嵌入时尚的智能服装中，结合3D动作算法和人工智能应用程序，使其适合日常生活，并让人们从中受益。这一技术套件称为Pivot Motion AI，可赋能新型运动人工智能应用，从体育、健康、康复、虚拟现实或增强现实到工业领域。该运动人工智能还可与意法半导体的其他生物测量技术相集成，如心电图和心率监测等。

工业状态监控和预测性维护 Watteco公司的BoB Assistant是一种AIT设备，通过分析振动提供状态监控和预测性维护服务。该方案是Watteco和意法半导体共同开发成果，使用Nanoedge AI Studio并将其集成到传感器中，通过分析振动帮助改进维护流程，减少停机时间。BoB Assistant监测的设备包括引擎、泵、暖通空调和真空系统、涡轮机、变速箱、搅拌器、离心机，以及所有产生振动的系统。

MathWorks MathWorks与意法半导体的合作，通过统一的工具使边缘人工智能产品开发变得高效。MathWorks与STM32微控制器的合作，已经实现了工作流程的优化。通过意法半导体开发者云，MATLAB用户可以确定哪种芯片配置对神经网络效率最佳。这种加强的基于模型的产品开发方法，提高了效率和产品质量，使工程师能够突破可能的界限。

点击下方视频，观看峰会完整视频，了解边缘AI的强大力量，启发和激励更多创新！

支持一下

ai是未来趋势，各大厂商都在推，st加速ai芯片落地，期待试用。

AI越来越火了，要好好学习一下了。紧跟潮流

边缘计算很火，应该是未来很长一段时间的主流配置，期待ST的表现

N6出来又可以玩了

人工智能应用将无处不在

无比期待，等待STM32N6已经很久了，非常好奇它的具体性能与表现