你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

【Wio Lite AI视觉开发套件】+cube.ai与食物识别

[复制链接]
奇迹 发布时间:2022-10-31 11:43
在经历完各种准备工作后,现在终于来到了正主。直接部署Tensorflow Lite Micro那一套玩意确实没啥问题,但是太麻烦,要添加一大堆文件,还得用它家训练生成模型,然后转换,麻烦的很,在ST平台,怎么能不提到用ST自家工具去部署模型,方便快捷,简单实用。
6 U- I2 ~/ K, d7 Y9 D5 _; [  p拿出之前准备的工程,选取ai开发需要支持的软件包cue-ai,在software packs点select components
! a% t& z+ X8 b) `# A" n' g 微信截图_20221029165303.png
& Z5 s' d7 x' u% [7 m( ?5 u3 r3 j: r  F4 `: _$ v
5 Y- v% _% A; |
% F7 ^% s8 [" X
在X-CUBE-AI行下core勾选,点OK完成. F3 I/ q3 `$ a* H3 Y; k* {
微信截图_20221029165346.png 3 H% D6 t% P; x! Q2 S/ c

, R% ?$ Y  y. [. f# e

7 `5 C7 z0 s  k2 X' J. o. V6 E回到引脚配置页面,最下方就是上面导入的CUBE-AI工具包! W/ L; H: n9 d$ I, a# a
微信截图_20221029171555.png ; O: R+ g# v4 E/ Q5 }3 |
3 O6 `$ M+ n! P
2 }9 b( R- i! n6 c" M& |& U2 n7 v
/ {4 x! {& l4 D& u! E
点击+添加,这里要根据自己使用的模型,以及模型特点选择,如下图选择的是原始模型
4 T4 U) l: n" l) n 微信截图_20221029171744.png ' ?: t3 F' v( F/ ?+ S

2 d; p5 I/ r$ X7 d' O' \" t3 S" o. ~这里选择的是量化后的模型(量化可以减少模型的要求,但是精度会下降),点击分析: o3 d" _* c7 L" [+ p; w" I
微信截图_20221029172202.png
' b3 L7 l7 A% g$ @( ]0 g9 u. E) j7 D. T+ f, O: n  m
分析中; G2 h) W6 u7 K. j, ?( B4 O
微信截图_20221029171816.png
' e. j, ?1 Q" M+ p) E+ f9 ~
4 E  T6 N; E. o$ P* ?分析完成会显示是否可以部署到设备上,以及资源使用情况。
' P5 l/ _8 l1 K. R# q4 Y 微信截图_20221029172246.png
& k" B, b6 m5 j& i1 J3 V
6 b, ]7 Q; f# F! E& X7 ]6 b回到工程,有个小bug(使用的STM32CubeMX版本为6.6.1,X-CUBE-AI版本为7.2.0),下图的几个文件路径老是生成错

; I" Q/ P, g3 x( ^, f6 t* t
( h# D! b* Z# {7 v/ O
: f2 }9 z8 y( ?& K: a$ k8 o/ H
QQ截图20221031110850.png
  c& V/ F; b5 U1 n( c6 B% R7 n
右键文件打开设置,修改一下路径就行
% H1 f, `/ d+ n2 I; w
4 u# L& M# L; X7 ^" L" R
QQ截图20221031110911.png " A8 O% q! N$ a6 j! l4 ]
6 s* [6 H9 P/ O$ h& ~* C
头文件路径也有一样的问题2 B6 f' c% T. w1 I
QQ截图20221031111258.png
$ |/ H* S( r% d2 w: r8 F0 F9 E3 G& j# _# h" o0 U: \4 Z. u
初始化模型
  1. ai_handle ai_init(void)
    2 c7 }# F; N3 \  a5 \
  2. {
    ( m& v: S* p8 C% c0 d* K
  3.   network_handle = AI_HANDLE_NULL;5 V1 g) v" ^8 R& s4 q7 a

  4. ! b6 t. o- g9 t8 H/ S# V
  5.   /* Creating the network */
    " G+ e+ r# Z# L
  6.   ai_network_create(&network_handle, AI_NETWORK_DATA_CONFIG);8 N  U! l# ^  ?* h% H. x
  7. 0 w; s' |. a% O7 C2 c+ R
  8.   /* Initialize param structure for the activation and weight buffers */
    : L& {, c; o, C+ `% B
  9.   const ai_network_params params = AI_NETWORK_PARAMS_INIT(
    1 d- b) o, q/ _4 ~% M9 y$ F
  10.     AI_NETWORK_DATA_WEIGHTS(ai_network_data_weights_get()),
    # N" x- ]2 M9 Q; `( R
  11.     AI_NETWORK_DATA_ACTIVATIONS(activations)/ d9 f. s! [) y4 Q% k; R
  12.   );3 a) h3 q1 o3 ?3 s  n
  13. - B" P" B+ b$ t# g: r& A
  14.   /* Initializing the network */
    8 |' d( x# N3 q; `9 \% o/ J
  15.   ai_network_init(network_handle, ¶ms);' R. _/ [2 f$ \3 t" l1 ?( W+ n
  16.   : V, v: ~3 {' E* R+ C  k& ^8 p
  17.   /*Retrieve network descriptor*/0 n+ M8 j% ]6 a# u
  18.   ai_network_get_info(network_handle, &desc_report);
    8 t+ }8 z& Y4 U2 m5 L$ P' S
  19.   ; e0 u7 X6 f: P5 K1 a
  20.   /*Copy descriptor info*/
    & I* P# f* I7 g. ]
  21.   ai_input[0]= desc_report.inputs[0];
    & p) x8 }/ u) n: W$ g
  22.   ai_output[0]= desc_report.outputs[0];
    * H8 {8 x$ g# ]4 ~9 K
  23.   / A2 j" M& q0 E- A. ^
  24.   return desc_report.inputs->data;
    9 J0 Z8 y" u! P' \8 o: o+ ^
  25. }
复制代码
" ^8 j  R' C- K% m
运行模型
  |1 [* r) B- s+ p+ A3 w7 d4 n6 A
  1. void ai_run(void* input, void* output)
    8 r1 X8 F. F" H5 r) p8 f3 _+ p' d& F6 c
  2. {
    ' T5 d7 H) q. d' V
  3.   ai_i32 nbatch;
    ( Z  `# }( o7 [% ~3 s7 l: |& u
  4.   
    ( d  _. j8 a/ q) O
  5.   ai_input[0].data = AI_HANDLE_PTR(input);. Y9 B* X2 J/ i4 S7 k
  6.   ai_output[0].data = AI_HANDLE_PTR(output);6 d- `( \1 j- K7 {1 A6 d& Z$ N
  7.   
    , l" z  A# B* D! h7 N+ c5 J
  8.   nbatch = ai_network_run(network_handle, &ai_input[0], &ai_output[0]);9 d# s7 j+ m) Y2 a) t6 I5 D' `
  9.   8 G) D3 b5 m0 r2 u
  10.   if (nbatch != 1) {
    ) \# u9 k7 I0 E& n+ b) V7 n
  11.         while(1);3 U7 y3 }# ?( X: h% c4 d
  12.   }5 x; j9 p2 S& p' s9 d& o
  13. }
复制代码

% I$ W+ s7 {# l1 T9 g& B/ Q图像接收处理,这个模型要求输入224*224的RGB888的图像,把数据转换一下。6 S( s1 F  o2 Q+ i8 F5 x
  1. void HAL_DCMI_FrameEventCallback(DCMI_HandleTypeDef *hdcmi)
    ; `) o# z/ U; v$ n7 s) @
  2. {
    # G9 h& U' o7 O2 |3 O" B
  3.     uint8_t person_flag;
    ! a8 B" G( O( ?8 V8 K# b
  4.     int i,j;$ Z* }* s$ R" D' f) r& t7 N7 i5 ]
  5.     for(i=0; i<224; i++); Y: J* R/ W5 W# o0 h/ W) n
  6.         {
    8 ]2 K+ }# T8 W' _- v& ?8 W+ ~8 }
  7.         for(j=0; j<224; j++)" X5 @% f% X- ~; ]( L; W
  8.         {
    , C- ]% U+ f# F1 F$ p8 O2 e
  9.             uint16_t bg_color = ((uint16_t *)_OV2640->frame->buffer)[i*320 + j];
    4 |7 |& a3 L7 @/ N/ F* C$ a
  10.             network_input[3*i*224 + 3*j + 0] = ((bg_color>>11)&0xff)<<3;
    ( _; Z0 u& Q$ ?  A1 H! u
  11.             network_input[3*i*224 + 3*j + 1] = ((bg_color>>5)&0x3f)<<2;3 X' S" |; m" a# ~# ?
  12.             network_input[3*i*224 + 3*j + 2] = (bg_color&0x1f)<<2;) A) W% i" T; S5 b3 i# C% J
  13.         }" j. I) q1 @+ l& o; T  C
  14.         }
    * x! D2 o" ]$ K# f& S
  15.     ai_run(network_input, network_output);
    0 \  {' G7 U# b) c
  16. + p5 `8 I5 ^1 u' d* I  }  _9 f' f. \
  17.     LCD_Draw_Image(0, 0, 320, 240, (uint16_t *)_OV2640->frame->buffer);3 [4 R0 G3 T# M/ F1 }; N8 E
  18.     LCD_Draw_String(0, 0, 320, 240, 32, output_labels[network_max()]);
    9 K. @5 b) k' r& m- `
  19.    
    / q' t- K7 K" E2 S9 `4 q' \4 t- j8 X0 s
  20.     OV2640_DMA_Config(_OV2640->frame->buffer, (_OV2640->frame->length)/4);* J0 o6 P9 Z% g% i/ O( S
  21.     5 c* e; Z. h& P3 ~6 j. K+ v
  22. }
复制代码
7 ~9 w: J: ]" x8 c9 t4 c

+ v7 C4 s) ^& p" n运行效果(一共能识别18种食物,这里选了几个看看)

' d9 [  i) D& u* }2 `/ \4 J3 d% t" U

, i5 H) z* s7 c2 t! Z( z空
  ?( T8 O- h4 @ IMG_20221031_113022.jpg 5 _- S* A( k8 |* M1 t
可乐
: R2 T$ Q9 t$ {4 D% t& Q# B IMG_20221031_102903.jpg ( l$ e0 Z) a9 @, Z+ \$ u/ E
- e! k  ?" e, M& c, u8 p( ?
甜甜圈
& `5 ]! U* r& {7 [9 } IMG_20221031_103256.jpg
0 d* m$ [- a- E8 C2 r- y
- f* _7 `4 e* q; _汉堡包; x. `' I7 _# G; w/ `& l
IMG_20221031_103432.jpg
9 W) D8 H# c2 S% X0 c+ ~8 l8 D1 L* w7 ]& D8 K$ p  x( ^0 Y
薯条# A" _" S5 l* K" s2 W% @
IMG_20221031_103710.jpg
! i9 U4 S6 W- [3 S& ]; I. t  a; U, ?4 I: c

4 {$ o; F+ d5 D0 p9 @
小结:STM32Cube.AI工具真的太香了,这里仅仅演示了模型的部署,其实可以快速验证AI模型在目标板上的运行情况,只用串口连接,直接把输入发送到单片机,然后运行完后把结果返回来,全部都集成到了一起,快速验证模型运行情况。很是方便(本文未涉及,有需要的可以在X-CUBE-AI行下勾选时,application里面选择validation,回到配置界面后设置通信接口即可)+ V& Q* Y) C4 Z/ T- p
Wio Lite AI视觉开发套件确实是开发AI的很好的选择之一,板子虽小五脏俱全,拿来做单片机视觉绰绰有余,但是不得不吐槽的一点是资料支持太差了,原理图,代码全都藏起来,前期调驱动花了很长的时间,后来管管给了一个例程后好转了一些(但是已经晚了。。。),Ai在单片机上应用已经有很多厂商都推出类似的解决方案了,ST这一个环境很优秀,就是如果相关的培训跟资料再多一点就好了。
, u% x7 k& |# X  X8 s7 v% q, |( t, S
赞 收藏 评论5 发布时间:2022-10-31 11:43

举报

5个回答
wj20180813stm32 回答时间:2022-11-16 10:02:15
很好
: E& I9 T% m9 m0 J6 |
萨法 回答时间:2024-11-24 21:35:02

up有没有原理图资料~

求求了

奇迹 回答时间:2024-11-25 10:35:50

<br /> <br />

好久之前做的了,资料都忘了放哪里了。。。你可以在网上找找,或者找卖家要

黄涛12345 回答时间:2024-12-9 20:55:34

<br /> <br />

up 有更详细一点的建文件工程的教程吗? 还有模型怎么弄上去, 求解

奇迹 回答时间:2024-12-10 18:48:00

<br /> <br />

按这个文章操作就行

所属标签

相似技术帖

官网相关资源

关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
人形机器人运动控制、感知与智能配电
半导体创新技术与应用方向
EE架构与软件定义汽车
12V/48V 汽车智能配电(SPD)
区域控制单元(ZCU)与分区架构
关注我们
st-img 微信公众号
st-img 手机版