在经历完各种准备工作后,现在终于来到了正主。直接部署Tensorflow Lite Micro那一套玩意确实没啥问题,但是太麻烦,要添加一大堆文件,还得用它家训练生成模型,然后转换,麻烦的很,在ST平台,怎么能不提到用ST自家工具去部署模型,方便快捷,简单实用。
6 U- I2 ~/ K, d7 Y9 D5 _; [ p拿出之前准备的工程,选取ai开发需要支持的软件包cue-ai,在software packs点select components
! a% t& z+ X8 b) `# A" n' g
& Z5 s' d7 x' u% [7 m( ?5 u3 r3 j: r F4 `: _$ v
5 Y- v% _% A; |
% F7 ^% s8 [" X
在X-CUBE-AI行下core勾选,点OK完成. F3 I/ q3 `$ a* H3 Y; k* {
3 H% D6 t% P; x! Q2 S/ c
, R% ?$ Y y. [. f# e
7 `5 C7 z0 s k2 X' J. o. V6 E回到引脚配置页面,最下方就是上面导入的CUBE-AI工具包! W/ L; H: n9 d$ I, a# a
; O: R+ g# v4 E/ Q5 }3 |
3 O6 `$ M+ n! P
2 }9 b( R- i! n6 c" M& |& U2 n7 v
/ {4 x! {& l4 D& u! E
点击+添加,这里要根据自己使用的模型,以及模型特点选择,如下图选择的是原始模型
4 T4 U) l: n" l) n
' ?: t3 F' v( F/ ?+ S
2 d; p5 I/ r$ X7 d' O' \" t3 S" o. ~这里选择的是量化后的模型(量化可以减少模型的要求,但是精度会下降),点击分析: o3 d" _* c7 L" [+ p; w" I
' b3 L7 l7 A% g$ @( ]0 g9 u. E) j7 D. T+ f, O: n m
分析中; G2 h) W6 u7 K. j, ?( B4 O
' e. j, ?1 Q" M+ p) E+ f9 ~
4 E T6 N; E. o$ P* ?分析完成会显示是否可以部署到设备上,以及资源使用情况。
' P5 l/ _8 l1 K. R# q4 Y
& k" B, b6 m5 j& i1 J3 V
6 b, ]7 Q; f# F! E& X7 ]6 b回到工程,有个小bug(使用的STM32CubeMX版本为6.6.1,X-CUBE-AI版本为7.2.0),下图的几个文件路径老是生成错
; I" Q/ P, g3 x( ^, f6 t* t
( h# D! b* Z# {7 v/ O: f2 }9 z8 y( ?& K: a$ k8 o/ H
c& V/ F; b5 U1 n( c6 B% R7 n
右键文件打开设置,修改一下路径就行% H1 f, `/ d+ n2 I; w
4 u# L& M# L; X7 ^" L" R
" A8 O% q! N$ a6 j! l4 ]
6 s* [6 H9 P/ O$ h& ~* C
头文件路径也有一样的问题2 B6 f' c% T. w1 I
$ |/ H* S( r% d2 w: r8 F0 F9 E3 G& j# _# h" o0 U: \4 Z. u
初始化模型- ai_handle ai_init(void)
2 c7 }# F; N3 \ a5 \ - {
( m& v: S* p8 C% c0 d* K - network_handle = AI_HANDLE_NULL;5 V1 g) v" ^8 R& s4 q7 a
! b6 t. o- g9 t8 H/ S# V- /* Creating the network */
" G+ e+ r# Z# L - ai_network_create(&network_handle, AI_NETWORK_DATA_CONFIG);8 N U! l# ^ ?* h% H. x
- 0 w; s' |. a% O7 C2 c+ R
- /* Initialize param structure for the activation and weight buffers */
: L& {, c; o, C+ `% B - const ai_network_params params = AI_NETWORK_PARAMS_INIT(
1 d- b) o, q/ _4 ~% M9 y$ F - AI_NETWORK_DATA_WEIGHTS(ai_network_data_weights_get()),
# N" x- ]2 M9 Q; `( R - AI_NETWORK_DATA_ACTIVATIONS(activations)/ d9 f. s! [) y4 Q% k; R
- );3 a) h3 q1 o3 ?3 s n
- - B" P" B+ b$ t# g: r& A
- /* Initializing the network */
8 |' d( x# N3 q; `9 \% o/ J - ai_network_init(network_handle, ¶ms);' R. _/ [2 f$ \3 t" l1 ?( W+ n
- : V, v: ~3 {' E* R+ C k& ^8 p
- /*Retrieve network descriptor*/0 n+ M8 j% ]6 a# u
- ai_network_get_info(network_handle, &desc_report);
8 t+ }8 z& Y4 U2 m5 L$ P' S - ; e0 u7 X6 f: P5 K1 a
- /*Copy descriptor info*/
& I* P# f* I7 g. ] - ai_input[0]= desc_report.inputs[0];
& p) x8 }/ u) n: W$ g - ai_output[0]= desc_report.outputs[0];
* H8 {8 x$ g# ]4 ~9 K - / A2 j" M& q0 E- A. ^
- return desc_report.inputs->data;
9 J0 Z8 y" u! P' \8 o: o+ ^ - }
复制代码 " ^8 j R' C- K% m
运行模型
|1 [* r) B- s+ p+ A3 w7 d4 n6 A- void ai_run(void* input, void* output)
8 r1 X8 F. F" H5 r) p8 f3 _+ p' d& F6 c - {
' T5 d7 H) q. d' V - ai_i32 nbatch;
( Z `# }( o7 [% ~3 s7 l: |& u -
( d _. j8 a/ q) O - ai_input[0].data = AI_HANDLE_PTR(input);. Y9 B* X2 J/ i4 S7 k
- ai_output[0].data = AI_HANDLE_PTR(output);6 d- `( \1 j- K7 {1 A6 d& Z$ N
-
, l" z A# B* D! h7 N+ c5 J - nbatch = ai_network_run(network_handle, &ai_input[0], &ai_output[0]);9 d# s7 j+ m) Y2 a) t6 I5 D' `
- 8 G) D3 b5 m0 r2 u
- if (nbatch != 1) {
) \# u9 k7 I0 E& n+ b) V7 n - while(1);3 U7 y3 }# ?( X: h% c4 d
- }5 x; j9 p2 S& p' s9 d& o
- }
复制代码
% I$ W+ s7 {# l1 T9 g& B/ Q图像接收处理,这个模型要求输入224*224的RGB888的图像,把数据转换一下。6 S( s1 F o2 Q+ i8 F5 x
- void HAL_DCMI_FrameEventCallback(DCMI_HandleTypeDef *hdcmi)
; `) o# z/ U; v$ n7 s) @ - {
# G9 h& U' o7 O2 |3 O" B - uint8_t person_flag;
! a8 B" G( O( ?8 V8 K# b - int i,j;$ Z* }* s$ R" D' f) r& t7 N7 i5 ]
- for(i=0; i<224; i++); Y: J* R/ W5 W# o0 h/ W) n
- {
8 ]2 K+ }# T8 W' _- v& ?8 W+ ~8 } - for(j=0; j<224; j++)" X5 @% f% X- ~; ]( L; W
- {
, C- ]% U+ f# F1 F$ p8 O2 e - uint16_t bg_color = ((uint16_t *)_OV2640->frame->buffer)[i*320 + j];
4 |7 |& a3 L7 @/ N/ F* C$ a - network_input[3*i*224 + 3*j + 0] = ((bg_color>>11)&0xff)<<3;
( _; Z0 u& Q$ ? A1 H! u - network_input[3*i*224 + 3*j + 1] = ((bg_color>>5)&0x3f)<<2;3 X' S" |; m" a# ~# ?
- network_input[3*i*224 + 3*j + 2] = (bg_color&0x1f)<<2;) A) W% i" T; S5 b3 i# C% J
- }" j. I) q1 @+ l& o; T C
- }
* x! D2 o" ]$ K# f& S - ai_run(network_input, network_output);
0 \ {' G7 U# b) c - + p5 `8 I5 ^1 u' d* I } _9 f' f. \
- LCD_Draw_Image(0, 0, 320, 240, (uint16_t *)_OV2640->frame->buffer);3 [4 R0 G3 T# M/ F1 }; N8 E
- LCD_Draw_String(0, 0, 320, 240, 32, output_labels[network_max()]);
9 K. @5 b) k' r& m- ` -
/ q' t- K7 K" E2 S9 `4 q' \4 t- j8 X0 s - OV2640_DMA_Config(_OV2640->frame->buffer, (_OV2640->frame->length)/4);* J0 o6 P9 Z% g% i/ O( S
- 5 c* e; Z. h& P3 ~6 j. K+ v
- }
复制代码 7 ~9 w: J: ]" x8 c9 t4 c
+ v7 C4 s) ^& p" n运行效果(一共能识别18种食物,这里选了几个看看)
' d9 [ i) D& u* }2 `/ \4 J3 d% t" U
, i5 H) z* s7 c2 t! Z( z空
?( T8 O- h4 @
5 _- S* A( k8 |* M1 t
可乐
: R2 T$ Q9 t$ {4 D% t& Q# B
( l$ e0 Z) a9 @, Z+ \$ u/ E
- e! k ?" e, M& c, u8 p( ?
甜甜圈
& `5 ]! U* r& {7 [9 }
0 d* m$ [- a- E8 C2 r- y
- f* _7 `4 e* q; _汉堡包; x. `' I7 _# G; w/ `& l
9 W) D8 H# c2 S% X0 c+ ~8 l8 D1 L* w7 ]& D8 K$ p x( ^0 Y
薯条# A" _" S5 l* K" s2 W% @
! i9 U4 S6 W- [3 S& ]; I. t a; U, ?4 I: c
4 {$ o; F+ d5 D0 p9 @小结:STM32Cube.AI工具真的太香了,这里仅仅演示了模型的部署,其实可以快速验证AI模型在目标板上的运行情况,只用串口连接,直接把输入发送到单片机,然后运行完后把结果返回来,全部都集成到了一起,快速验证模型运行情况。很是方便(本文未涉及,有需要的可以在X-CUBE-AI行下勾选时,application里面选择validation,回到配置界面后设置通信接口即可)+ V& Q* Y) C4 Z/ T- p
Wio Lite AI视觉开发套件确实是开发AI的很好的选择之一,板子虽小五脏俱全,拿来做单片机视觉绰绰有余,但是不得不吐槽的一点是资料支持太差了,原理图,代码全都藏起来,前期调驱动花了很长的时间,后来管管给了一个例程后好转了一些(但是已经晚了。。。),Ai在单片机上应用已经有很多厂商都推出类似的解决方案了,ST这一个环境很优秀,就是如果相关的培训跟资料再多一点就好了。
, u% x7 k& |# X X8 s7 v% q, |( t, S |
up有没有原理图资料~
求求了
<br /> <br />
好久之前做的了,资料都忘了放哪里了。。。你可以在网上找找,或者找卖家要
<br /> <br />
up 有更详细一点的建文件工程的教程吗? 还有模型怎么弄上去, 求解
<br /> <br />
按这个文章操作就行