你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

【Wio Lite AI视觉开发套件】+移植TensorFlow Lite

[复制链接]
奇迹 发布时间:2022-10-29 10:49
Tensorflow Lite Micro是tensorflow框架针对微控制器应用场景所专门设计的深度学习推理框架,它占用的资源少,运行时内存最低只需要16KB,同时其兼容tensorflow框架,依托于Tensorflow平台强大的生态背景,使得更多开发者可以方便的集成、使用AI算法,为端侧带来人工智能的新活力。其中Tensorflow Lite模型也被ST的AI工具所支持,但是我们这次是不通过STM32提供的AI工具,而是移植Tensorflow Lite代码去运行其模型。3 T& {* A& Z, U5 t
# g8 D% n- H2 Q& A4 Q/ b, y
首先获取
Tensorflow LiteMCU版的源代码:https://github.com/tensorflow/tflite-micro
) ?6 F0 c9 g9 }  i' u
$ ?. u5 X, m  J! m$ v/ u+ e8 P根据教程获取工程代码:
TFLITE-micro/new_platform_support.md at Main ·张量流/TFLITE-micro ·吉特哈布 (github.com); {9 g0 J3 ]- g2 j4 g/ c
1 _6 |2 X5 ^/ u- o" ~
文件都扔工程里面,太多了,截图只是一部分。把
CMSIS-NN库(算子加速)
也扔进去,加速运算
. t, ]7 t2 d6 M9 {. t+ f, @5 K7 l3 w
微信截图_20221029100638.png
: [8 T9 }* m% y0 _/ P& |/ e4 S3 }) F7 U7 X0 Z
添加相关路径
8 T9 i5 i* j8 u! N# e 微信截图_20221029100655.png
. A$ m8 g  O& J, b; ?% \

# v: p1 n9 ^, x2 a5 e8 d3 @设置工程,使用AC6编译,关闭Keil的Microlib库2 K( ^3 N! J0 e6 U& v$ _
微信截图_20221029104604.png
& x  S2 D' Y- y5 m2 v

4 _: R  l3 {" e. K  H
编译选项使用-Os,这样代码体积小点! A# Q: L; `1 D! L$ _1 z
微信截图_20221029104615.png
' j0 }: z& c. L! W% p% l/ S6 V1 I' r
图像预处理函数。模型要求输入神经网络的图像为灰度图,为完成摄像头获取的RGB彩图到模型输入需要的灰度图转换,需从输入的RGB565像素格式中解析出R、G、B三通道的值,再根据心理学公式计算出单个像素点的灰度,具体代码如下:
  1. uint8_t rgb565_to_gray(uint16_t bg_color)
    * v9 k" A& z- ^5 B1 V4 ]0 z: F
  2. {. Z$ e6 W2 I/ x0 ?5 J  b1 L
  3.     uint8_t bg_r = 0;
    7 i  K. |3 g: c4 g+ [3 E5 D
  4.     uint8_t bg_g = 0;% A( w0 ?% X$ z$ \5 X, B
  5.     uint8_t bg_b = 0;5 @8 u! \: c$ O
  6.     bg_r = ((bg_color>>11)&0xff)<<3;( C/ Q% V/ q& c$ p8 U2 g
  7.     bg_g = ((bg_color>>5)&0x3f)<<2;9 N0 {9 ^  N$ l3 ]  M# K! k
  8.     bg_b = (bg_color&0x1f)<<2;' v1 _. |5 [- M7 q
  9.     uint8_t gray = (bg_r*299 + bg_g*587 + bg_b*114 + 500) / 1000;
    # K. o9 j' P8 f1 y
  10.     return gray;6 u& m- t" f3 ~9 l
  11. }/ l0 b. u# V3 C# m- X/ d
  12. 1 C8 s* a) x' D% n/ j
  13. void input_convert(uint16_t* camera_buffer , uint8_t* model_buffer)" x1 P3 c! H9 R& T1 [
  14. {- u3 C0 f5 T' O
  15.     int i,j;
    / d7 j) V6 ^3 Y$ k4 |/ F" a) B6 g2 B
  16.     for(i=0; i<96; i++)# |* t# g' w0 ~; V3 Y  l+ l5 U
  17.         {. o& m. U7 ~& g2 {6 X" _8 V: Q
  18.         for(j=0; j<96; j++)
    9 U$ h0 I( P! E' D! @/ m& N7 u! k
  19.         {
    " A' `& H* q" i! v6 @% Y
  20.             model_buffer[i*96+j] = rgb565_to_gray(camera_buffer[i*2*320 + j*2 + 64 + 320*24]);' B+ t2 `9 ?- {- b, s
  21.         }% ~6 @6 G/ ~8 n8 B/ Y# C  u
  22.         }
    ' u5 ?3 F* G1 i! X$ X4 z' R+ s
  23. }
复制代码
' w7 b+ ?/ @% S4 ]1 X
在图像接收中断里面处理识别过程
  1. void HAL_DCMI_FrameEventCallback(DCMI_HandleTypeDef *hdcmi)# }6 t* i6 u& |" y
  2. {1 o) R2 |: C: u- J! R& X
  3.     uint8_t person_flag;   
    7 z- p; w7 n, y  D' F' L

  4. 8 |9 j9 @4 R( z5 `% J
  5.     //转换图像为模型可处理的大小- R) g" C  o4 A& {1 q/ r/ k& x7 ]( z
  6.     input_convert((uint16_t*)_OV2640->frame->buffer, model_buffer);8 c/ J. f" ]. @* y( J; [7 B
  7.     person_flag = person_detect(model_buffer);  //运行模型
    7 {* x5 }- @" Q  r$ D4 a5 h1 u
  8.    
    & Y1 R5 X. J% D
  9.     LCD_Draw_Image(0, 0, 320, 240, (uint16_t *)_OV2640->frame->buffer);
    # a# F- E$ [& U
  10.     for(int i=0;i<192;i++)
    . h4 p) H2 K& g3 r" v
  11.     {: O5 H* S6 u! N8 i0 L" \/ k+ N
  12.         LCD_Draw_Point(i+64,  192+24,0xf100);+ |; C& Y$ @2 V" Y; D, g0 k% `
  13.         LCD_Draw_Point(192+64,i+24,  0xf100);
    # @& A5 i$ w' T6 \5 `/ j5 R
  14.         LCD_Draw_Point(i+64,  0+24,  0xf100);8 R: z/ b* O1 W& q1 s3 f- j, T
  15.         LCD_Draw_Point(64,    i+24,  0xf100);" \7 \5 L( }4 Z/ L* B
  16.     }
      n) g1 M3 S0 T
  17.     if(person_flag!=0)LCD_Draw_String(0, 0, 320, 240, 32, "people");
    ) h& V3 f& v  Y9 j9 Y% t" _2 F5 u
  18.    
    4 u6 T4 B: a" ^+ l! N
  19.     OV2640_DMA_Config(_OV2640->frame->buffer, (_OV2640->frame->length)/4);# I& g. f: c( E# `7 G2 K
  20. }
复制代码
/ W8 l) f7 F) H' h9 E4 [( h
% i8 S$ k/ c+ U
: `9 ~% F- Z' b' x5 F3 J% @
运行效果:6 k6 Z6 U; A7 T- ?
识别充电器(无反应)" M, f1 r  c0 V
IMG_20221023_162131.jpg
; }6 }+ g' P6 W" Z$ @/ t6 N: h( }! {  I
! R8 I( g! @0 H% v$ x' f
识别打火机(无反应)
. @5 \3 f: m& B* N! C IMG_20221023_162402.jpg   Y7 S8 w8 y3 M! x

# @, P% e( X, q* o5 u6 e识别人体(显示people)
/ L+ r/ r3 [( Z4 ~ IMG_20221027_153235.jpg
7 j5 e7 `! d+ l3 {0 r% Q5 u
/ g! W7 {; r" K: ~5 Q0 u0 ~4 E5 ^8 M

3 G$ L5 ]' P2 f
2 J  [0 x2 ^0 X* f$ j
赞 收藏 1 评论4 发布时间:2022-10-29 10:49

举报

4个回答
STMCU-管管 回答时间:2022-10-31 08:42:03
打火机相当出境
晒太阳的懒猫 回答时间:2022-11-11 09:44:51
谢谢楼主共享评测,谢谢共享代码!学习了。
2 k+ ]4 W$ J! A1 C) i
Ender2021 回答时间:2025-4-23 21:46:22

你好,请问有些源文件是重名的,该怎么才能解决冲突

奇迹 回答时间:2025-4-23 22:41:00

<br /> <br />

一些是需要删掉的,二选一

所属标签

相似技术帖

官网相关资源

关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
人形机器人运动控制、感知与智能配电
半导体创新技术与应用方向
EE架构与软件定义汽车
12V/48V 汽车智能配电(SPD)
区域控制单元(ZCU)与分区架构
关注我们
st-img 微信公众号
st-img 手机版