你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

【经验分享】我在STM32单片机上跑神经网络算法

[复制链接]
STMCU小助手 发布时间:2022-1-5 21:11
01 前言
为什么可以在STM32上面跑神经网络?简而言之就是使用STM32CubeMX中的X-Cube-AI扩展包将当前比较热门的AI框架进行C代码的转化,以支持在嵌入式设备上使用。2 e3 S2 p4 z3 L
目前使用X-Cube-AI需要在STM32CubeMX版本5.0以上,支持转化的模型有Keras、TFlite、ONNX、Lasagne、Caffe、ConvNetJS。
# Q" Y# h( j' U" k% _  ^2 l: sCube-AI把模型转化为一堆数组,而后将这些数组内容解析成模型,和Tensorflow里的模型转数组后使用原理是一样的。, y3 J/ b2 F2 N; b' d
一、环境安装和配置
  • STM32CubeMX
  • MDK/IAR/STM32CubeIDE
  • F4/H7/MP157开发板* r5 b6 L% R5 n, `  M
    ' I) Z4 o0 L1 G8 ~

    9 m. O0 c) R4 h, E& E+ ?
02 AI神经网络模型搭建
这里使用官方提供的模型进行测试,用keras框架训练:- |* p$ J2 y2 f$ {
! }& y& o. V+ F1 a! }

$ X, ~. v2 h. @. [2 z
J7)_F]}QX`@W2`[U4WB2%QV.png
/ d3 S+ x: M( H7 _( d# s$ e
7 J/ R. j/ Y+ d4 p& o% b3 @1 d: r
2.1 模型介绍
& T! a! R! q6 A' X# F) M0 A. W0 J在Keras中使用CNN进行人类活动识别:此存储库包含小型项目的代码。该项目的目的是创建一个简单的基于卷积神经网络(CNN)的人类活动识别(HAR)系统。该系统使用来自3D加速度计的传感器数据,并识别用户的活动。
. G# |2 Y% G# _
例如:前进或后退。HAR意为Human Activity Recognition(HAR)system,即人类行为识别。0 {0 p1 V0 g" Y
这个模型是根据人一段时间内的3D加速度数据,来判断人当前的行为,比如走路,跑步,上楼,下楼等,很符合Cortex-M系列MCU的应用场景。使用的数据如下图所示。

/ }6 b4 {' f, B6 W) }3 V+ X
O@6JNO(_4Y5FSL29N62IG.png

1 r7 d- R3 L& g( f8 o" Y. Q6 v% S6 X8 w" h( p
存储库包含以下文件

: v0 q+ T. h8 o8 a3 a$ N! Y7 V& ?
  • HAR.py,Python脚本文件,包含基于CNN的人类活动识别(HAR)模型的Keras实现,
  • actitracker_raw.txt、包含此实验中使用的数据集的文本文件,
  • model.h5,一个预训练模型,根据训练数据进行训练,
  • evaluate_model.py、Python 脚本文件,其中包含评估脚本。此脚本在提供的 testData 上评估预训练 netowrk 的性能,
  • testData.npy,Python 数据文件,包含用于评估可用预训练模型的测试数据,
  • groundTruth.npy,Python 数据文件,包含测试数据的相应输出的地面真值和
  • README.md.8 G7 D* d) J9 Z- K# n6 N' x8 R9 a+ K
    ( i' y* u2 t; B5 S% M3 E
这么多文件不要慌,模型训练后得到model.h5模型,才是我们需要的。+ ~; Q2 G2 I" v, H9 U  i2 |) U
03 新建工程
1.  这里默认大家都已经安装好了STM32CubeMX软件。在STM32上验证神经网络模型(HAR人体活动识别),一般需要STM32F3/F4/L4/F7/L7系列高性能单片机,运行网络模型一般需要3MB以上的闪存空间,一般的单片机不支持这么大的空间。
) D7 h9 n0 v7 C% c
CUBEMX提供了一个压缩率的选项,可以选择合适的压缩率,实际是压缩神经网络模型的权重系数,使得网络模型可以在单片机上运行,压缩率为8,使得模型缩小到366KB,验证可以通过;
$ q, z/ p/ n; K3 v

2 h1 s0 z; P* [* F' z+ `' S( }1 ~

/ m1 R: o, k( v' O4 A+ t1 f4 \' H
QHIKI%T1J8G22H[[PM93P%8.png
3 ~. q! M. v6 h2 n

. U8 U4 ~9 E7 A然后按照下面的步骤安装好CUBE.AI的扩展包
2 K1 K* h7 E" h+ u0 z2 H! j- {( Y0 x& w8 s4 N

7 }6 n& j- u! C- x$ t, l
KC{XU%3GPIBKF%_}F}Q4)G5.png
* J' Z! |  t: B1 i7 b
这个我安装了三个,安装最新版本的一个版本就可以。; p# k- K) ]8 m0 x7 K4 P

1 O3 w' }# ~5 f! p5 c
A7E`ZXWE2DG2_%B[~%_UG3B.png
3 h$ z3 y5 e" v& ~) n0 |

) Y: U/ |" x6 d( I7 l$ @8 g; U接下来就是熟悉得新建工程了! O- i# f) E7 _" w1 v. n/ G6 D1 T
3 I. f( ^9 b6 ]4 k# k5 q
KX0VC~__G@{[)]MM6(BKRUT.png

! h3 \* X' `: x1 O
5 C+ t1 d9 I* j6 |0 d
因为安装了AI的包,所以在这个界面会出现artificial intelligence这个选项,点击Enable可以查看哪一些芯片支持AI
1 {4 W0 B5 r, }+ k* {3 U3 j6 G

, d) r8 _/ k7 |1 B6 T6 }# M
L1}`TPQZ9HXKE7UJK8ER7CN.png

' `1 \; e2 ?( a/ G; `/ K: G* {: }6 C- D4 j
接下来就是配置下载接口和外部晶振了。
3 f9 b. V8 O- X) x" J* B" C
58@M{Z3R1BBNKMGAVHSFA.png

- }) B+ S) \* w* A) l5 O1 R6 d8 ]  z5 `* B
`TNJH1~FRE[W5QLQ$RO]KRE.png

) d3 K& U$ }3 P) C; n+ P6 A
9 M% T- D9 ]! O* e/ z然后记得要选择一个串口作为调试信息打印输出。, K0 @. k; C1 U+ d! \
+ Z& t5 e+ W9 C6 L: d  i* }

" M) n- s; s/ N
2JFIBWO`0H5[M@ZHBNFM`)7.png

9 k0 L) d0 d+ a1 x( J9 R. J- x9 F8 p+ L# \( S2 @
选择Software Packs,进入后把AI相关的两个包点开,第一个打上勾,第一个选择Validation。; e, K/ Q( d* I9 y$ r4 i! g
%C_P`2HW{D1Z2I}}46}R]DC.png
+ d2 ?' b, ^' k3 C" z8 O

  @2 @, z& j/ H1 N

$ e7 U$ w& p7 [& c7 i+ M5 E
  • System Performance工程:整个应用程序项目运行在STM32MCU上,可以准确测量NN推理结果,CP∪U负载和内存使用情况。使用串行终端监控结果(e.g.Tera Term)
  • Validation工程:完整的应用程序,在桌面PC和基于STM32 Arm Cortex-m的MCU嵌入式环境中,通过随机或用户测试数据,递增地验证NN返回的结果。与 X-CUBE-A验证工具一起使用。
  • Application Template工程:允许构建应用程序的空模板项目,包括多网络支持。
    . G' _3 ?  ~+ g( b% K  k
      t2 _, `4 |" u1 C
之后左边栏中的Software Packs点开,选择其中的X-CUBE-AI,弹出的Mode窗口中两个复选框都打勾,Configuration窗口中,点开network选项卡。* n# a" f4 j  b& ?* h

* g* W- r1 W% Y- X% C6 S( P
( n  T9 l! u" }* V9 J5 q4 U
OPIDCC]JV]EQP1`9_SDJT%O.png
! B) Z" s: E( a, Z, @! m

8 Q' E) v9 g4 p; F! A4 F' v: C% D' S& s: J" t8 ~
选择刚刚配置的串口作为调试用。9 Q2 d% O0 ?7 T0 b( `
; H# A6 f) {6 j3 H) q% R* b
8Z%KCQ6GWZQA]VLR[QTWHIL.png

  S7 O8 _' K! [' d# ?3 W0 q" ^% k. K, u7 B( x8 J, O" V
点击add network,选择上述下载好的model点h5模型,选择压缩倍数8;
, D. k% B& F# O+ o+ o
& R# D* D0 C) e3 j0 y0 H
' s2 ^& s8 x: F
A{5HR03{KUIML}~WH9K8212.png

8 ^: `6 E( ^7 ?- w4 C. a
: ?, {2 Z# @: _  j点击分析,可从中看到模型压缩前后的参数对比$ C% ]' B: G! V0 x
: P5 G3 q& k9 U! m( T: t

2 @! E! I1 |# J8 q: k) l: V: h
P}Q~0UPISV%Y36QQ]7R3(PX.png
3 G: ^$ D& ]: J. s) ]
0 a: H9 W5 A, d2 t* v
点击validation on desktop 在PC上进行模型验证,包括原模型与转换后模型的对比,下方也会现在验证的结果。

0 \0 |% C5 g+ p' E+ ]; v( A% m2 {# @) t! p, L- ]4 }9 P
P(]J6HLQ4MKOI922Q~3X(IO.png
: S& U) @* g( X: H6 {
: J. |; s: x% \' y# e) U* w
致此,模型验证完成,下面开始模型部署" v3 m+ a. G( s! |* v8 l
04 模型转换与部署
时钟配置,系统会自动进行时钟配置。按照你单片机的实际选型配置时钟就可以了。/ X# r9 v6 A4 u; O

$ r! a/ C3 i5 Y) l4 X

8 c. l( q( M/ c; n- T
9ZPCZU{6V)EOZ2{)CR{VN%J.png
2 h- Z7 _. m: d- J! E

! R& d- |& O  {  E  b& h
U(B~YS)B7BPIB`SZEHUC`6O.png
6 {" i! c1 g0 b5 x2 _; Q: h

1 }- Q  W+ S% C
ZQ8J7AD8HK4RYENM_9WQ2KC.png
+ r# k( Y( c4 w  _# i( G
最后点击GENERATE CODE生成工程。/ `# t, L1 E2 E- i* W

: H; l; f1 _3 V/ J, u# K% l
+ Y  ^/ R$ p  R1 y- h2 b: g
EZOU]221[5%)R[G7SUUH))Y.png
7 o5 a5 M/ g0 B+ u6 d9 w4 _3 {! u* e  S
  \5 A6 d- d+ p0 U8 m+ ^

- j+ U7 f0 S) ?: Y% a然后在MDK中编译链接。
" t! S0 c1 ]# g6 S. ]  C( y3 \% f2 @- B4 X+ ?1 U- [
+ E2 H# W* x# z0 [% o: L! n! R
W3700ZF`6QNZG3USI`_[JBJ.png
, w5 C' L- @( b6 Z$ D8 F, \
选择好下载器后就可以下载代码了。
& X$ D; f: [" G$ s6 [9 D3 }
) G- w0 c7 K* B: j

- t% Q* M' S1 x; k- X2 H9 P9 ?5 `
PQ6BJ)F55}W8E@~IW4LX{`5.png
, |4 `8 g3 t/ `
& Y  b; c3 j. S2 m4 j2 m- @0 {
D$F~HF8C76XF%O@RK4[ZA{F.png
- k; W' t! x; E7 @8 b/ G
/ b' A7 _+ I0 q! ^; e

/ N/ q: `- Y* r6 B) |  j
& W- W5 F# A! m0 j2 y+ F
然后打开串口调试助手就可以看到一系列的打印信息了。' U( l6 w7 R6 ^. O0 z( i# j. b
% z& G6 X  M6 p
& S- Q7 |' W  Z/ o! Z
T9OVQU]NLJ7)7S`W}37KLP6.png
! r+ ]' f! `1 d& V
6 o3 I- T6 o8 i6 K9 o+ H5 L
1 r6 O8 y! @+ v) D/ j0 D, y
代码烧写在芯片里后,回到CubeMX中下图所示位置,我们点击Validate on target,在板上运行验证程序,效果如下图,可以工作,证明模型成功部署在MCU中。2 ^9 m7 m  b) o1 S

) Y" u# T8 L* f
8)G0H)`65L1@UO)E`{}$F.png

) [  z2 s& t, P; o$ C1 L* f. X
  K1 g+ d" Q; _( e" V' ~1 a: G
  U( Z& j! Y" P  D4 G' {3 S
4)(Q2`~A]]I%4(~@A[~1%XM.png
3 Z# D& w+ F# ]6 A, f$ F

* T% F5 C, B9 }

6 f: c2 M: K1 x1 k: v7 f* q这次就这样先跑一下官方的例程,以后再研究一下,跑跑自己的模型。  D3 W3 s) E2 k5 s

  o' T7 s8 t, |
赞 收藏 评论0 发布时间:2022-1-5 21:11

举报

0个回答

所属标签

相似技术帖

官网相关资源

关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
人形机器人运动控制、感知与智能配电
半导体创新技术与应用方向
EE架构与软件定义汽车
12V/48V 汽车智能配电(SPD)
区域控制单元(ZCU)与分区架构
关注我们
st-img 微信公众号
st-img 手机版