你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

【经验分享】我在STM32单片机上跑神经网络算法

[复制链接]
STMCU小助手 发布时间:2022-1-5 21:11
01 前言
为什么可以在STM32上面跑神经网络?简而言之就是使用STM32CubeMX中的X-Cube-AI扩展包将当前比较热门的AI框架进行C代码的转化,以支持在嵌入式设备上使用。
目前使用X-Cube-AI需要在STM32CubeMX版本5.0以上,支持转化的模型有Keras、TFlite、ONNX、Lasagne、Caffe、ConvNetJS。
Cube-AI把模型转化为一堆数组,而后将这些数组内容解析成模型,和Tensorflow里的模型转数组后使用原理是一样的。
一、环境安装和配置
  • STM32CubeMX
  • MDK/IAR/STM32CubeIDE
  • F4/H7/MP157开发板


02 AI神经网络模型搭建
这里使用官方提供的模型进行测试,用keras框架训练:


J7)_F]}QX`@W2`[U4WB2%QV.png


2.1 模型介绍
在Keras中使用CNN进行人类活动识别:此存储库包含小型项目的代码。该项目的目的是创建一个简单的基于卷积神经网络(CNN)的人类活动识别(HAR)系统。该系统使用来自3D加速度计的传感器数据,并识别用户的活动。

例如:前进或后退。HAR意为Human Activity Recognition(HAR)system,即人类行为识别。
这个模型是根据人一段时间内的3D加速度数据,来判断人当前的行为,比如走路,跑步,上楼,下楼等,很符合Cortex-M系列MCU的应用场景。使用的数据如下图所示。

O@6JNO(_4Y5FSL29N62IG.png


存储库包含以下文件

  • HAR.py,Python脚本文件,包含基于CNN的人类活动识别(HAR)模型的Keras实现,
  • actitracker_raw.txt、包含此实验中使用的数据集的文本文件,
  • model.h5,一个预训练模型,根据训练数据进行训练,
  • evaluate_model.py、Python 脚本文件,其中包含评估脚本。此脚本在提供的 testData 上评估预训练 netowrk 的性能,
  • testData.npy,Python 数据文件,包含用于评估可用预训练模型的测试数据,
  • groundTruth.npy,Python 数据文件,包含测试数据的相应输出的地面真值和
  • README.md.

这么多文件不要慌,模型训练后得到model.h5模型,才是我们需要的。
03 新建工程
1.  这里默认大家都已经安装好了STM32CubeMX软件。在STM32上验证神经网络模型(HAR人体活动识别),一般需要STM32F3/F4/L4/F7/L7系列高性能单片机,运行网络模型一般需要3MB以上的闪存空间,一般的单片机不支持这么大的空间。
CUBEMX提供了一个压缩率的选项,可以选择合适的压缩率,实际是压缩神经网络模型的权重系数,使得网络模型可以在单片机上运行,压缩率为8,使得模型缩小到366KB,验证可以通过;



QHIKI%T1J8G22H[[PM93P%8.png


然后按照下面的步骤安装好CUBE.AI的扩展包


KC{XU%3GPIBKF%_}F}Q4)G5.png

这个我安装了三个,安装最新版本的一个版本就可以。

A7E`ZXWE2DG2_%B[~%_UG3B.png


接下来就是熟悉得新建工程了

KX0VC~__G@{[)]MM6(BKRUT.png


因为安装了AI的包,所以在这个界面会出现artificial intelligence这个选项,点击Enable可以查看哪一些芯片支持AI


L1}`TPQZ9HXKE7UJK8ER7CN.png


接下来就是配置下载接口和外部晶振了。
58@M{Z3R1BBNKMGAVHSFA.png


`TNJH1~FRE[W5QLQ$RO]KRE.png


然后记得要选择一个串口作为调试信息打印输出。


2JFIBWO`0H5[M@ZHBNFM`)7.png


选择Software Packs,进入后把AI相关的两个包点开,第一个打上勾,第一个选择Validation。
%C_P`2HW{D1Z2I}}46}R]DC.png



  • System Performance工程:整个应用程序项目运行在STM32MCU上,可以准确测量NN推理结果,CP∪U负载和内存使用情况。使用串行终端监控结果(e.g.Tera Term)
  • Validation工程:完整的应用程序,在桌面PC和基于STM32 Arm Cortex-m的MCU嵌入式环境中,通过随机或用户测试数据,递增地验证NN返回的结果。与 X-CUBE-A验证工具一起使用。
  • Application Template工程:允许构建应用程序的空模板项目,包括多网络支持。

之后左边栏中的Software Packs点开,选择其中的X-CUBE-AI,弹出的Mode窗口中两个复选框都打勾,Configuration窗口中,点开network选项卡。


OPIDCC]JV]EQP1`9_SDJT%O.png



选择刚刚配置的串口作为调试用。

8Z%KCQ6GWZQA]VLR[QTWHIL.png


点击add network,选择上述下载好的model点h5模型,选择压缩倍数8;


A{5HR03{KUIML}~WH9K8212.png


点击分析,可从中看到模型压缩前后的参数对比


P}Q~0UPISV%Y36QQ]7R3(PX.png


点击validation on desktop 在PC上进行模型验证,包括原模型与转换后模型的对比,下方也会现在验证的结果。


P(]J6HLQ4MKOI922Q~3X(IO.png


致此,模型验证完成,下面开始模型部署
04 模型转换与部署
时钟配置,系统会自动进行时钟配置。按照你单片机的实际选型配置时钟就可以了。


9ZPCZU{6V)EOZ2{)CR{VN%J.png


U(B~YS)B7BPIB`SZEHUC`6O.png


ZQ8J7AD8HK4RYENM_9WQ2KC.png

最后点击GENERATE CODE生成工程。


EZOU]221[5%)R[G7SUUH))Y.png



然后在MDK中编译链接。


W3700ZF`6QNZG3USI`_[JBJ.png

选择好下载器后就可以下载代码了。


PQ6BJ)F55}W8E@~IW4LX{`5.png


D$F~HF8C76XF%O@RK4[ZA{F.png




然后打开串口调试助手就可以看到一系列的打印信息了。


T9OVQU]NLJ7)7S`W}37KLP6.png



代码烧写在芯片里后,回到CubeMX中下图所示位置,我们点击Validate on target,在板上运行验证程序,效果如下图,可以工作,证明模型成功部署在MCU中。

8)G0H)`65L1@UO)E`{}$F.png



4)(Q2`~A]]I%4(~@A[~1%XM.png



这次就这样先跑一下官方的例程,以后再研究一下,跑跑自己的模型。

收藏 评论0 发布时间:2022-1-5 21:11

举报

0个回答

所属标签

相似分享

官网相关资源

关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
STM32N6 AI生态系统
STM32MCU,MPU高性能GUI
ST ACEPACK电源模块
意法半导体生物传感器
STM32Cube扩展软件包
关注我们
st-img 微信公众号
st-img 手机版