你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

实战经验 | STM32 AI Model Zoo 的安装及实例介绍

[复制链接]
STMCU-管管 发布时间:2025-2-6 09:24
01# J7 v/ ^2 h7 }
简介
5 h& j6 H  _# n+ H/ F- ?; y  [
* C% p6 l  r3 J. `& ]8 N. [STM32 Model Zoo是指ST在github上开源的AI相关模型仓库,其包含的应用包括:手势识别,人体活动姿态识别,图片分类,目标检测等相关应用代码,用户可以使用其中的代码进行简单的配置并进行训练,然后使用STM32Cube.AI工具或STM32CubeAI Developer Cloud 得到模型的Flash,Ram等情况,并进行模型的测试验证,然后部署到开发板中。
9 d% q1 I: @" P7 T本文将以手势识别为例,介绍Model Zoo的使用。
9 z& S; ^# G# u1 s/ ^+ l, ~- i. g& [6 T. `, O( v8 n1 q
02
' s8 [" Y5 d6 U) o环境安装
6 C( }; c8 a7 ^. q5 f; m, }% G6 A  H  ?& w6 C7 k  b
详细的安装步骤可以参考ST的wiki页面。8 x/ N# L% P8 T5 Z( I: q+ u1 `* J
) U- @+ ^: ^% e5 U7 S0 U
2.1. 设置代理等环境变量
9 X5 s% c5 H1 C  b9 P7 F; U9 w. ]

% `0 G! a7 I/ l7 C为了后续使用pip进行python包的安装过程顺利进行,需要设置好代理。需要设置的环境变量包括:
  n& p, Y$ b9 x( |
12.png
注意特殊字符需要编码成utf-8格式,比如@要替换为%40,其他的特殊字符包括%、@、&、!等。stmai_username 和stmai_password 可以不设置,如果不设置,每次访问 stm32CubeAI Devleloper cloud 都需要手动重新输入用户名和密码。) B) ]3 y) \9 t# Q- y0 V
) B! ^- c* w6 S. e
2.2. 安装 STM32Cube.AI) _/ l* I  ?. M% v. ?. [! W
3 p. h' ~3 _1 \" A7 b" H' {
可以使用云端的STM32Cube.AI Developer Cloud, 也可以在本地安装STM32Cube.AI。
4 b) t! Q  Q  l
2 d5 G$ d* j& O8 m5 q7 n
如果使用云端,需要保证网络连接,并且注册 myST 账号,确保自己可以正常访问 STM32Cube.AI Developer Cloud 网站。
: @' ^5 x% i3 Y: c2 @5 A/ y6 c
+ L, [3 L" h# |' h
如果使用本地,可以通过CubeMX进行安装。8 z- w$ i2 H2 Z/ _. H7 Y1 N3 u; B
( P" q3 C7 M  e- D4 F  S& x
2.3. 安装STM32 model zoo 5 C% J& u& e% Q2 ~4 m0 }& u

* N8 u6 D. c4 w( I4 a9 `5 i可以使用git或使用zip包获取STM32 model zoo相关的代码。github仓库位于:https://github.com/STMicroelectronics/stm32ai-modelzoo
1 A: c7 ]; k  X( f! R& [1. 使用Git:git clone https://github.com/STMicroelectronics/stm32ai-modelzoo.git& B% Z8 ]+ z$ a" w" Y" ^  ~
2. 使用zip:从git仓库中下载zip压缩包,解压即可。2 W* W4 w  }1 c) K
  {  m7 O3 m; v  Y5 W
2.4. 安装Python环境 5 D) N( f% }$ [' X0 W& R

5 z9 ?5 k7 @. ^- g  E3 ?如果没有本地Python,需要安装好Python,推荐Python v3.10.x。可以使用 Python 或miniconda来管理python环境,推荐使用miniconda。具体安装步骤请参考上文提到的ST WIKI页面。. p8 [& B. U  A; @7 [) }# B  A

, A- ^9 C8 O3 T2 L# R, [4 Y5 f2.5. 安装STM32CubeIDE # ]6 \% E( x4 ^7 H0 h" _

( }& h$ T3 |+ L) W1 K0 N需要安装STM32CubeIDE 来重新编译生成的固件,安装包可以通过ST官方网站下载。注意:STM32CubeIDE 和 STM32Cube.AI 的安装路径不要有空格,否则可能会出错。; m  h* E2 e5 l% ~# a

, ?( \$ y( s: h, L0 v2.6. 更新yaml文件' Z2 Z6 o# l9 a! |. }' y
+ C4 c- S) }' ]/ s1 F$ b
Model zoo 中的所有yaml中的path_to_stm32ai 和path_to_cubeIDE,需要和本地的安装目录保持一致。1 d; U; W- W3 l
注意:Model zoo使用mlflow管理生成的模型,Windows的最大路径长度限制为 256,可能会导致问题,建议通过注册表修改LogPathsEnabled为1避免该问题。该键位 Computer/HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Control/FileSystem/8 x! J0 C: V3 q9 @

" l) s4 y! V# h2 U$ y03' \# |3 K9 Z& R6 Q( R7 O: T7 E
手势识别应用: q$ p3 ?+ q$ p+ X. I

! ]5 d& I$ T$ v手势识别应用位于stm32ai-modelzoo的hand_posture目录下,使用ST的TOF传感器VL53L5CX或VL53L8CX采集数据。用于识别静态的手势,比如like, dislike, love 等手势。其demo应用部署在NUCLEO-F401RE和X-NUCLEO-53LxA1扩展板组合的开发板上。
! `6 R2 G$ f2 g& w' k, L' s
13.png
▲ 图1. 部署环境和开发板
3.1. 数据集 4 ]1 R' O1 x- A. W% b5 _

6 M6 r0 {( X* M+ ^0 E% P  i$ ^手势识别应用的数据集可以直接使用hand_posture/datasets/目录下的数据集文件:ST_VL53L8CX_handposture_dataset.zip,解压后的数据集如下图所示:
# N+ S2 ?; V; p0 m" h
14.png
▲ 图2. 手势数据集
也可以使用ST提供的数据采集和标记工具STSW-IMG035_EVK,进行数据采集和标记。点击进入工具的下载地址。
* G. O7 ~8 N5 o
15.png
▲ 图3. 手势数据采集和标记工具

: S( U6 U, l& b2 v3 y' p  }; [; B3.2. 配置 * L8 K7 @: W4 q* {& \9 Q4 Q, O

* ^- |9 d; L3 ?# b在stm32ai-modelzoo\hand_posture\src目录下,有user_config.yaml配置文件,里面可以对各种参数进行配置。5 h2 g1 E) a$ |. k. V6 S+ V: X

: n! ]* ~) a7 F; U3.2.1. 训练
1 N" i* K- `# h3 L$ b& t' s操作模式operation_mode的配置
4 S- L0 }! R6 c' L操作模式选择training可以进行模型训练,其他可选择的操作模式包括evaluation, deployment, benchmarking。
% @. |6 @* C3 ~% l9 Y# J
16.png
▲ 图4. 选择模式
数据集的配置:
) X. D( j! ]) c  e  Q
17.png
▲ 图5. 数据集配置

/ @2 T  i7 _; P数据集可以来源于仓库的数据集,也可以来源自自己采集的数据,其内容需要和文 件stm32ai-modelzoo\hand_posture\src\utils\handposture_dictionnary.py的数据一致。验证集可以不指定,默认将使用数据集内的20%作为验证。+ ^- M3 ^% t  o' [7 H
预处理和数据增强的配置:/ T7 y4 Y/ |, h* q7 P
18.png
▲ 图6. 预处理和数据增强
preprocessing:4 J5 [4 e% N2 Y# Z0 u: K0 y$ u
- Max_distance:单位为mm,代表传感器的最远距离,如果超过这个距离,就 从数据集中丢弃该帧。" Y  b+ {7 G) T
- Min_distance:单位为mm,代表传感器的最远距离,如果小于该距离,则从 数据集中丢弃该帧。. d* m6 [9 L' R) h( [- m
- Background_distance:单位为mm,手势背景的最大间隔,超过这个间隔的 区域将会被忽略掉。
% o. s5 e; B; H* E' G/ ]8 _4 N( z3 ~
data_augmetation:
* c, e2 a1 p! S) c- r5 b% B使用数据增强可以在一定程度上提升模型的泛化能力,并且当数据比较少的时候可以补充数据集,目前支持的增强模式包括:水平翻转,垂直翻转,水平+垂直翻转。2 Z) {- T0 ~/ P" }
训练参数的配置:训练参数的配置如下图7所示,具体内容不再赘述。
( @: p- E/ V( V$ r0 Y
19.png
▲ 图7. 训练参数的配置
3.2.2. 评估 - q* S! y9 ]& \; r( O8 F* S
操作模式operation_mode选择评估(evaluation)可以进行模型评估,评估的内容主要包括模型flash,ram的占用量,模型的执行时间等。tools的配置如下:. s* M' L9 _: m* M7 ^
20.png
▲ 图8. Tools的配置
' r* N2 p9 P- y# j5 N0 e$ r' v
on_cloud:是否需要使用STM32Cube.AI开发者云对模型进行评估,如果不使用云,选择False,则可以使用本地的Cube.AI工具。
% j+ Q' O8 n' R" L" K
0 t1 g' W1 q5 J- u2 N- D
path_to_stm32ai和path_to_cubeIDE需要配置成自己本地STM32Cube.AI和 STM32CubeIDE的路径。
6 N7 ^9 ?6 B& n; E# {& K( S8 W( T' |, f- A/ a
3.2.3. 部署
1 o& Q; p: ?$ t! o: a  a. H

( [4 M: J* X+ M+ q9 D# g* z3 {9 G" I操作模式operation_mode选择部署(deployment)可以进行模型部署。当需要部署到ST开发板进行测试时,需要确保以下配置都正确:8 M4 c" t3 }) P
21.png
▲ 图9. 部署相关的配置

. L- `$ v& k4 z  v9 d8 o3.3. 运行脚本 4 K& H5 L8 z$ t* ?- o; R( `8 _
4 g  c3 e; Q4 ^. X- u
在安装好python环境,并且配置好配置文件之后,就可以运行脚本进行训练,部署或评估流程了。
! _$ u5 f# |+ Z8 s9 Z
1 C- B% W; T6 U7 `; j3.3.1. 模型训练
6 n" W" v* V: y# g& {; n& d直接运行脚本:( u* n# Y, N4 @
➢ python stm32ai_main.py
9 q* U: X+ l) i" b4 `- Y. ^或者指定模式运行脚本:9 ?, @* A, Q6 {9 A- f2 s0 A
➢ python stm32ai_main.py operation_mode=”training”
2 I& e% ]7 x: d) b: L) w' Y) s训练过程中的输出结果:( z8 n0 ]8 ?: n9 D
22.png
▲ 图10. 训练中的输出结果
23.png
▲ 图11. 混淆矩阵
训练完成的结果保存在:experiments_outputs/<时间戳>目录下,包含了训练的log,训练曲线,混淆矩阵,模型等信息。
! W0 @- z: ~( h, H9 r
" ]% a) M0 Y) _/ w" \3.3.2. 可视化训练结果 / g# {! s% l& N+ d5 b( P: r
进入logs所在目录(位于experiments_outputs/<时间戳>目录下),然后运行 tensorboard:
- B! j+ C9 f2 Q% u. M* I! m% M➢ tensorboard --logdir logs
1 K/ @* J4 X6 v: y$ y  X( {打开网页后,可以看到整个训练过程中的曲线,比如loss曲线,学习率曲线,epoch 曲线等等。2 K* G# T* ]( m0 T$ ]
24.png
▲ 图12. 准确率曲线
也可以通过mlflow查看实验过程中保存的参数信息,模型实验对比信息等等。进入experiments_outputs目录,然后执行以下命令:$ R' }. S) T* p# l& i, G8 H) S# I
➢ mlflow ui" m4 g0 }/ J9 @# T! _( P
25.png
▲ 图13. Mlflow界面
3.3.3. 模型评估
5 e3 V% X( b6 K% ^* t将上一步生成的模型路径,填写到user_config.yaml的model_path目录中,然后运行以下命令,可以查看运行模型评估脚本,并查看结果:' `  A! Z7 S8 Z" C2 y
➢ python stm32ai_main.py operation_mode=”evaluation”: f" ^+ U! T* G# p& ?7 I
26.png
▲ 图14. 配置文件和模型评估结果
3.3.4. 基准测试
# G. C7 }7 {9 C. o在上一步完成后,可以运行以下命令,进行模型的基准测试,可以获取模型的flash, ram,macc等信息:8 V5 s' @2 P' D5 w# u, ^; b
➢ python stm32ai_main.py operation_mode=”benchmarking”
9 X) C3 g( H; D2 P. ?9 a如果不使用开发者云,使用本地的STM32CubeAI,需要将on_cloud改为False,如下图:
6 B7 ]; Q6 u" @. @
27.png
▲ 图15. 配置文件和基准测试

8 w1 h9 L% H% p, [7 n3.4. 部署
6 ^# j+ D6 W- M8 |! L/ _( |3 h. j' r$ q3 s- K
连接好开发板,设置好STM32CubeIDE的路径后,运行以下命令可以编译工程并部署到开发板:
8 z+ p, }; [1 j4 D" p5 u( ]➢ python stm32ai_main.py operation_mode=”deployment”! l/ D/ x% N/ Q) E  z& v
28.png
▲ 图16. 部署流程
3.5. 总结
" b0 D- L9 M# {/ C! h! y  B; s本文介绍了STM32 model-zoo的基本内容,并以手势识别为例,介绍了具体的使用方法,包括模型训练,如何查看模型训练后的结果以及如何部署模型。对于其他model zoo 内的应用案例,感兴趣的话可以去github上下载整个仓库,然后进行阅读并使用。
+ H6 v7 z( o0 o" u
; G6 ^5 f$ \7 f% b& s) p( L3 N
▼▼▼
点击按钮下载《STM32 AI Model Zoo的安装及实例介绍》原文档。8 v8 o4 |5 P) @. D. p
点击下载
$ A7 d4 u+ D# h: }$ M LAT6021_在STM32MP13x系列MPU上裸跑应用程序_v1.0.pdf (3.43 MB, 下载次数: 46)
赞 收藏 1 评论0 发布时间:2025-2-6 09:24

举报

0个回答

所属标签

相似技术帖

官网相关资源

关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
人形机器人运动控制、感知与智能配电
半导体创新技术与应用方向
EE架构与软件定义汽车
12V/48V 汽车智能配电(SPD)
区域控制单元(ZCU)与分区架构
关注我们
st-img 微信公众号
st-img 手机版