01 前言

为什么可以在STM32上面跑神经网络？简而言之就是使用STM32CubeMX中的X-Cube-AI扩展包将当前比较热门的AI框架进行C代码的转化，以支持在嵌入式设备上使用。
目前使用X-Cube-AI需要在STM32CubeMX版本5.0以上，支持转化的模型有Keras、TFlite、ONNX、Lasagne、Caffe、ConvNetJS。
* P2 W$ A. i3 f; v7 nCube-AI把模型转化为一堆数组，而后将这些数组内容解析成模型，和Tensorflow里的模型转数组后使用原理是一样的。
9 k4 f8 o( X5 k  H- q) \9 F一、环境安装和配置

• STM32CubeMX
• MDK/IAR/STM32CubeIDE
• F4/H7/MP157开发板
    y9 z& f  Q) U
  4 ^, A+ ~2 ^' L! e, w8 V
  

02 AI神经网络模型搭建

这里使用官方提供的模型进行测试，用keras框架训练：
6 d8 r# i7 q5 y6 u

) G3 ?0 o  V0 L# R& @# h

3 I# ~. v( f% E7 Y, n
) p/ E$ Z- b' _6 \2.1 模型介绍
在Keras中使用CNN进行人类活动识别：此存储库包含小型项目的代码。该项目的目的是创建一个简单的基于卷积神经网络(CNN)的人类活动识别(HAR)系统。该系统使用来自3D加速度计的传感器数据，并识别用户的活动。
例如：前进或后退。HAR意为Human Activity Recognition(HAR)system，即人类行为识别。
/ X6 y. C  L  c9 e  s! |* @2 N5 O这个模型是根据人一段时间内的3D加速度数据，来判断人当前的行为，比如走路，跑步，上楼，下楼等，很符合Cortex-M系列MCU的应用场景。使用的数据如下图所示。

5 ]1 W1 Q6 b+ F6 k; z6 Z0 X, R

存储库包含以下文件

3 k$ `1 x3 I* h& U2 l, V

• HAR.py，Python脚本文件，包含基于CNN的人类活动识别（HAR）模型的Keras实现，
• actitracker_raw.txt、包含此实验中使用的数据集的文本文件，
• model.h5，一个预训练模型，根据训练数据进行训练，
• evaluate_model.py、Python 脚本文件，其中包含评估脚本。此脚本在提供的 testData 上评估预训练 netowrk 的性能，
• testData.npy，Python 数据文件，包含用于评估可用预训练模型的测试数据，
• groundTruth.npy，Python 数据文件，包含测试数据的相应输出的地面真值和
• README.md.
  1 S# b+ b) U! h7 H& H1 s3 p* K- B
  1 R: O: U4 j7 S, f) R; s

这么多文件不要慌，模型训练后得到model.h5模型，才是我们需要的。
0 q/ ~/ p* a- U( |: D- k3 y

03 新建工程

1.  这里默认大家都已经安装好了STM32CubeMX软件。在STM32上验证神经网络模型(HAR人体活动识别)，一般需要STM32F3/F4/L4/F7/L7系列高性能单片机，运行网络模型一般需要3MB以上的闪存空间，一般的单片机不支持这么大的空间。
! s! k+ W3 _2 z6 Y, F

CUBEMX提供了一个压缩率的选项，可以选择合适的压缩率，实际是压缩神经网络模型的权重系数，使得网络模型可以在单片机上运行，压缩率为8，使得模型缩小到366KB，验证可以通过；

+ [2 f6 C5 ^6 P0 s
' T% E* {- E! A( x: m然后按照下面的步骤安装好CUBE.AI的扩展包

- a; Y" ?) m5 H6 u8 q这个我安装了三个，安装最新版本的一个版本就可以。

- G' R9 q  @1 ~

# H; k# D% H! L6 K! V接下来就是熟悉得新建工程了

* @! o; [- D/ o0 X7 @6 F

' d. g5 ~( ?; e) {5 i! N
; l1 y& o, b2 ~. S+ f

因为安装了AI的包，所以在这个界面会出现artificial intelligence这个选项，点击Enable可以查看哪一些芯片支持AI

- r1 }6 D7 r$ c3 M
; `. K5 o( K" r0 t9 s# U接下来就是配置下载接口和外部晶振了。
4 {2 w, ~5 p8 m' ^5 H

) F6 J' L' N! t! L

然后记得要选择一个串口作为调试信息打印输出。
: [/ u. b  d4 m$ c0 U2 E0 M
& `0 p( g7 e. K$ S- W) N5 {0 R

. }; ~, \- q, ~" L6 w. E选择Software Packs，进入后把AI相关的两个包点开，第一个打上勾，第一个选择Validation。
: v* O8 M2 g, m2 `0 F+ q5 N( t

! \2 d- \1 v" p% q0 m( X% y

• System Performance工程：整个应用程序项目运行在STM32MCU上，可以准确测量NN推理结果，CP∪U负载和内存使用情况。使用串行终端监控结果（e.g.Tera Term）
• Validation工程：完整的应用程序，在桌面PC和基于STM32 Arm Cortex-m的MCU嵌入式环境中，通过随机或用户测试数据，递增地验证NN返回的结果。与 X-CUBE-A验证工具一起使用。
• Application Template工程：允许构建应用程序的空模板项目，包括多网络支持。
  2 o- s/ Z3 w  r0 |, M
  ) _' R: \& U) t5 M8 d) X

之后左边栏中的Software Packs点开，选择其中的X-CUBE-AI，弹出的Mode窗口中两个复选框都打勾，Configuration窗口中，点开network选项卡。
8 Z2 ~( n% o9 p3 u

5 P1 p2 b! [1 K5 X8 ?

3 F, v2 o% p% c
' e4 U2 j; R3 j0 V# P
选择刚刚配置的串口作为调试用。

# W6 `* f9 C2 k. L
点击add network,选择上述下载好的model点h5模型，选择压缩倍数8；
$ B7 p5 x' w) ~' v1 U# H9 g8 a

点击分析，可从中看到模型压缩前后的参数对比
! s0 A3 e- {; f( I

: I6 b7 q+ ]# q6 X  s& N- `

点击validation on desktop 在PC上进行模型验证，包括原模型与转换后模型的对比，下方也会现在验证的结果。

致此，模型验证完成，下面开始模型部署

04 模型转换与部署

时钟配置，系统会自动进行时钟配置。按照你单片机的实际选型配置时钟就可以了。
* K% K- N! H4 F1 i

6 r0 t4 {+ y/ J3 j- B* g

0 b: F% }# t" J1 _  x; @

+ V% V2 r6 O, U  s: H1 M5 p; r, K

" _  f" E5 f( H/ z) G7 J3 C6 i# ^最后点击GENERATE CODE生成工程。

2 M. |) K" }, o$ @! }
! A3 A  B$ S1 c

6 D0 x! a3 z$ C) P  r

然后在MDK中编译链接。
, S7 f" i- p) N6 M& S

2 ?4 Q( S/ y/ D4 S6 {

选择好下载器后就可以下载代码了。

; U' n; k' `& l& j: b

, L6 B" ^* r" H0 _/ X+ n

% d' l; y2 Y5 @6 ~. N6 i0 P
+ R1 S+ z3 m( }: B7 b, F) ]: ^* x
然后打开串口调试助手就可以看到一系列的打印信息了。

  Q9 I4 g3 {# s, W1 V# {

代码烧写在芯片里后，回到CubeMX中下图所示位置，我们点击Validate on target，在板上运行验证程序，效果如下图，可以工作，证明模型成功部署在MCU中。

* @3 f) b4 V! q+ m5 T

7 h7 \6 h, F0 F0 V& k
0 m4 x5 Z! P8 t, T/ l% [" \9 m' e
9 [# f6 K. q' z7 x( ^

% [$ B7 k3 P) X
' y: B# D* n0 _1 U$ H& A
! m! S" M5 `$ A! r这次就这样先跑一下官方的例程，以后再研究一下，跑跑自己的模型。

' I& a2 A8 {+ U5 y; t& Y7 d