你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

从家电到机器人:STM32边缘AI应用案例拆解

[复制链接]
STMCU-管管 发布时间:2026-9-17 08:32

边缘AI的价值,最终体现在落地产品中。不同场景下,算法处理的数据类型、待解决问题与硬件资源需求差异显著:有的侧重振动、电流等时序信号,有的需实时图像处理,还有的要同步完成感知、研判、显示与控制。

意法半导体深耕边缘AI领域超过五年,依托丰富多样的STM32边缘AI方案,已覆盖家电、工业机器人、电力能源及消费电子等多领域。

家电:从运行状态识别到计算机视觉

家电领域中的很多AI应用,并不需要处理复杂的大模型,而是从设备运行过程中提取规律,对状态进行识别或预测。这类任务的数据量相对有限,却与传感器选择、采样频率、时间窗口和数据标注密切相关。

image.png

洗衣机:滚筒不平衡检测

洗衣机进入甩干阶段后,如果衣物分布不均,滚筒就会出现不平衡振动。传统方案是通过流体力学原理,经过多次转动和调整才能确认状态,检测过程可能持续一到两分钟。

在这一案例中,STM32G0与LSM6DSRTR惯性传感器配合,由NanoEdge AI分析洗衣机运行时的振动数据。算法不是等振动完全形成后再进行判断,而是根据前段时间序列信号预测滚筒是否处于不平衡状态,从而将检测时间缩短至一秒以内。

这一方案的难点不只在模型本身。项目初期需要先确定数据采集规范,包括使用三轴惯性数据还是电流信号、采用多高的采样频率,以及每个分析窗口应该包含多少数据。

该方案已非常成熟,应用于量产产品。

洗衣机:不带传感器的干衣物称重

另一个已经量产的方向,是洗衣机的干衣物重量测量。

该方案采用STM32G4和NanoEdge AI,在不增加专用称重传感器的情况下,根据洗衣机运行数据判断筒内衣物重量,测量精度可以达到100克。洗衣机获得重量信息后,可以据此调整用水量、洗涤剂用量和洗涤程序,减少不必要的水、电及洗涤剂消耗。

这一案例同样需要从数据入手:利用不同配重模拟衣物重量,采集对应的运行信号,再为数据设置合适的重量标签。模型能否稳定工作,很大程度上取决于数据是否覆盖了不同负载和运行条件。

风机和水泵:从故障报警转向状态预测

风机异常检测也是时间序列AI较早落地的家电应用方向之一。

在方案验证阶段,我们在风机叶片上增加不同配重,模拟叶片不平衡;也通过设置堵转等异常状态,采集正常与异常运行数据。完成数据标注后,再通过NanoEdge AI建立分类或异常检测模型,并在STM32上进行验证。

这类模型从实验室进入实际产品后,还要面对电机型号、安装结构和工作环境变化带来的泛化问题。因此,量产过程通常需要根据真实设备数据继续调整模型,使其能够适应不同批次和不同工况。

类似的方法也可以应用于水泵。先定义数据采集规范,再由设备厂商采集实际运行数据,通过工具完成模型选择、验证和部署,使故障检测能力直接运行在原有控制器上。

空调:在有限资源下探索能效优化

除了异常检测,STM32边缘AI也提供设备运行优化方案。

空调能效优化方案采用STM32H5或STM32C5,根据设备运行数据建立AI模型,在有限的存储和计算资源下对运行状态进行判断,为控制策略优化提供依据。目前,这一方案仍在持续迭代优化中,并与客户密切配合进行应用验证,以较小的模型和硬件资源,适配真实空调系统的控制需求。

小结:NanoEdge AI可为时序信号项目提供落地支持,针对采样频率、时间窗口配置给出合理建议。窗口过大将占用更多Flash与RAM资源,窗口过小又难以提取有效信号特征。这类实操要点需要丰富的工程经验加持,非常推荐应用工程师上手试用这款工具。

image.png

家电中的另一类应用来自计算机视觉,例如智能照明中的人员检测、冰箱和烤箱中的食物识别,以及咖啡机中的咖啡豆识别。其中,“杯满即停”展示了STM32N6处理实时视觉任务的一种思路。

杯满即停:用两个模型完成水位识别

该方案可用于净水器或咖啡机。面对不同形状的杯子和不同颜色的液体,设备需要持续判断杯中水位,并在液体接近杯口时自动停止出水。

整个识别过程由两个模型配合完成。第一个模型从摄像头画面中抠出杯子形状;第二个模型对抠出的图像进行分析,判断杯子处于未满、三分之一、二分之一或已满等状态。

图像数据的Pipeline主要依赖:CSI接口,ISP图像处理器,ChromeART,NPU加速外设。其中CSI接口获取原始Raw数据,ISP完成去马赛克,裁剪,白平衡等功能,ChromeART用于完成第一个模型运行完成后的图像再裁剪,旋转等功能。NPU负责执行AI模型,使整条处理链能够保持约每秒30帧的运行速度。

存储配置上,该方案只需外部一颗NOR Flash,无需额外电源管理芯片;STM32N6内置约4MB RAM即可满足运行,无需外部RAM;摄像头采集、图像预处理、模型推理与控制逻辑都由单颗MCU实现,省去额外处理器与存储器件;STM32N6还支持从成本更低的SD卡启动,大幅降低BOM成本。相较于高端MPU,它启动更快,整体功耗可控制在200毫瓦以内。

工业与机器人:

让感知结果直接参与控制

工业与机器人应用对实时性提出了更高要求。系统不仅要识别目标,还要把识别结果及时交给运动控制或执行机构。因此,边缘AI需要与摄像头、电机控制和各种工业接口协同工作。

image.png

无人机:飞控、视觉与电机控制协同

STM32系列的很多型号已经广泛应用于无人机飞行控制。STM32N6在今年7月被纳入Betaflight固件平台支持后,其驱动已经合并到官方主仓库上,生成的Betaflight固件可用做飞行控制,同时利用摄像头和NPU增加视觉识别能力。

在跟拍等自动飞行场景中,摄像头采集目标画面,视觉模型完成目标识别和跟踪,识别结果再交给飞控系统调整飞行姿态。STM32N6还可以完成两路电机控制,将飞行控制、目标跟踪和部分执行功能集中在同一平台上。

这一方案的重点不是单独增加一个视觉模块,而是让识别结果能够直接进入控制链路。在减少额外GPU或处理器的同时,也缩短了视觉感知与飞行动作之间的数据传递路径。

人形机器人:在灵巧手端完成精细定位

人形机器人通常会通过头部摄像头获得整体环境信息,但在抓取阶段,仅依靠远端摄像头很难持续提供足够精细的位置数据。

一种解决思路是在灵巧手附近增加摄像头,并使用STM32N6运行目标检测和图像分割模型。头部摄像头负责全局观察,灵巧手端的视觉系统负责近距离定位,两者配合完成物体识别、位置判断和抓取。

将这部分视觉处理放在灵巧手端,可以减少原始图像在机器人内部的传输,也能分担主处理器或主GPU的运算压力。识别结果可直接交给电机控制系统,使末端执行器更快地调整抓取位置。

电力与能源:

从电弧检测到电池状态估算

电力与能源系统中的AI任务,大多围绕安全检测、状态估算和预测性维护展开。这里处理的通常不是图像,而是电流、电压和阻抗等连续信号。

image.png

直流拉弧:从电流信号中寻找异常特征

光伏和储能系统发生直流拉弧时,故障信号容易受到工作状态和环境噪声影响。基于固定阈值的检测方法,很难覆盖不同设备和不同工况。

STM32直流拉弧检测方案采用神经网络算法,目前已在Git Hub上开源:系统首先通过CT环采集电流交流小信号,再对信号进行傅里叶变换,从频域中提取可用于区分正常与拉弧状态的特征,最后将这些特征送入神经网络进行判断。

在具体实现中,STM32通过ADC完成信号采集,也可以利用多通道ADC同时处理多路数据。模型训练、优化和参数调整完成后,再部署到STM32上运行。

为了降低算法使用门槛,方案还提供了配套固件包、操作文档和图形化工具。即使开发团队没有专门的算法工程师,也可以按照数据导入、模型生成、部署和验证的流程完成初步开发。目前,相关方案已经用于多家客户的量产项目。未来,依托带硬件加速的STM32新品,还将推出升级方案。

交流拉弧:先识别负载,再判断异常

交流系统中的负载类型更多,不同负载本身就可能产生不同的电流波形。因此,交流拉弧检测不能简单套用单一的信号模板。

现有方案以客户提供的实际负载数据为基础,对不同交流负载进行识别和分类,为后续的拉弧判断提供依据。应用场景包括充电和漏电条件下的电弧故障检测,目标是在复杂负载环境中提高异常识别能力。

BMS:通过EIS获得更多电池内部信息

在电池管理系统中,AI主要用于估算电池荷电状态SoC和健康状态SoH。

传统安时积分(库伦计数)方法依靠电流随时间的累积计算剩余电量,但在部分工况下可能受到初始误差和长期漂移影响。只被动采集电流、电压数据也存在局限,当电池处于相对静止的状态时,这些数据的变化很小,能够提供的内部状态信息有限。

EIS提供了另一种数据获取方式。系统在不同频率下向电池注入信号,再采集电池的反馈波形。不同频率下的响应,可以反映电池内部状态和部分电化学特性。将这些数据交给模型分析,可以用于SoC、SoH以及电池异常状态的估算。

这一方法的重点,是从单纯观察电池外部电流和电压,转向主动获取不同频率下的响应特征,再利用模型建立响应数据与电池状态之间的关系。

消费电子:

把AI、显示和控制放进低功耗终端

消费电子领域的边缘AI应用,STM32N6与STM32MP2是我们的核心方案,在智能眼镜、智能耳机、智能腕表、陪伴机器人方向,都有相关的量产案例。

image.png

智能眼镜:兼顾视觉能力和快速启动

智能眼镜需要随时响应用户操作,但又不能让高功耗处理器始终处于运行状态。采用STM32N6+低功耗音频芯片方案,由音频芯片快速唤醒,再快速启动STM32N6执行视觉和交互任务。STM32N6集成NPU,并具备摄像头和外部存储接口,可以在较小封装和较低功耗条件下处理端侧视觉模型。

ST与多家ODM深入合作,采用STM32N6作为主控单元,用于企业级眼镜和工作辅助类眼镜的开发,可帮助客户缩短产品开发周期。

陪伴机器人:视觉、音频和表情显示协同

陪伴机器人通常需要同时运行视觉和音频模型。例如识别人或物体、判断用户状态,以及响应语音或环境声音。相关项目已经尝试将多种视觉和音频模型部署到STM32N6上,以减少对更高成本处理平台及外部存储器的依赖。

陪伴机器人的另一项关键功能是表情显示。机器人的“眼睛”通常由多个二维图层组成,要实时的模拟出眼皮的眨动效果非常考验硬件加速能力。项目通过TouchGFX完成图形界面移植,使STM32N6在运行AI模型的同时,也能够驱动较为灵动的表情动画。

这类应用体现了MCU方案的综合性:同一平台既能运行AI模型,也能承担图形显示、电机控制和多种接口通信。对于电池供电的陪伴机器人,方案中整板功耗处于数百毫瓦水平,低于客户此前采用的处理平台。

小结:智能眼镜、智能耳机、智能腕表、AI Pin(别针式可穿戴AI硬件)和AI Note(卡片式AI录音硬件)虽然产品形态不同,但底层需求具有相似之处:运行端侧模型,同时连接显示、存储、传感器和通信设备。STM32N6的优势在于:不仅具有推理算力,还具有低功耗、快速启动、接口、图形显示以及控制能力。

结语

ST边缘AI是覆盖硬件、工具软件与多应用场景的完整生态,除软硬件工具外,还具备丰富的现场技术支持经验,协助客户快速落地项目,帮助客户用边缘AI解决产品痛点,实现边缘AI的普及。

收藏 评论0 发布时间:2026-9-17 08:32

举报

0个回答

所属标签

相似技术帖

官网相关资源

关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
人形机器人运动控制、感知与智能配电
半导体创新技术与应用方向
EE架构与软件定义汽车
12V/48V 汽车智能配电(SPD)
区域控制单元(ZCU)与分区架构
关注我们
st-img 微信公众号
st-img 手机版