Tensorflow Lite Micro是tensorflow框架针对微控制器应用场景所专门设计的深度学习推理框架,它占用的资源少,运行时内存最低只需要16KB,同时其兼容tensorflow框架,依托于Tensorflow平台强大的生态背景,使得更多开发者可以方便的集成、使用AI算法,为端侧带来人工智能的新活力。其中Tensorflow Lite模型也被ST的AI工具所支持,但是我们这次是不通过STM32提供的AI工具,而是移植Tensorflow Lite代码去运行其模型。3 T& {* A& Z, U5 t
# g8 D% n- H2 Q& A4 Q/ b, y
首先获取Tensorflow LiteMCU版的源代码:https://github.com/tensorflow/tflite-micro
) ?6 F0 c9 g9 } i' u
$ ?. u5 X, m J! m$ v/ u+ e8 P根据教程获取工程代码:TFLITE-micro/new_platform_support.md at Main ·张量流/TFLITE-micro ·吉特哈布 (github.com); {9 g0 J3 ]- g2 j4 g/ c
1 _6 |2 X5 ^/ u- o" ~
文件都扔工程里面,太多了,截图只是一部分。把CMSIS-NN库(算子加速)也扔进去,加速运算
. t, ]7 t2 d6 M9 {. t+ f, @5 K7 l3 w
: [8 T9 }* m% y0 _/ P& |/ e4 S3 }) F7 U7 X0 Z
添加相关路径
8 T9 i5 i* j8 u! N# e
. A$ m8 g O& J, b; ?% \
# v: p1 n9 ^, x2 a5 e8 d3 @设置工程,使用AC6编译,关闭Keil的Microlib库2 K( ^3 N! J0 e6 U& v$ _
& x S2 D' Y- y5 m2 v
4 _: R l3 {" e. K H编译选项使用-Os,这样代码体积小点! A# Q: L; `1 D! L$ _1 z
' j0 }: z& c. L! W% p% l/ S6 V1 I' r
图像预处理函数。模型要求输入神经网络的图像为灰度图,为完成摄像头获取的RGB彩图到模型输入需要的灰度图转换,需从输入的RGB565像素格式中解析出R、G、B三通道的值,再根据心理学公式计算出单个像素点的灰度,具体代码如下:- uint8_t rgb565_to_gray(uint16_t bg_color)
* v9 k" A& z- ^5 B1 V4 ]0 z: F - {. Z$ e6 W2 I/ x0 ?5 J b1 L
- uint8_t bg_r = 0;
7 i K. |3 g: c4 g+ [3 E5 D - uint8_t bg_g = 0;% A( w0 ?% X$ z$ \5 X, B
- uint8_t bg_b = 0;5 @8 u! \: c$ O
- bg_r = ((bg_color>>11)&0xff)<<3;( C/ Q% V/ q& c$ p8 U2 g
- bg_g = ((bg_color>>5)&0x3f)<<2;9 N0 {9 ^ N$ l3 ] M# K! k
- bg_b = (bg_color&0x1f)<<2;' v1 _. |5 [- M7 q
- uint8_t gray = (bg_r*299 + bg_g*587 + bg_b*114 + 500) / 1000;
# K. o9 j' P8 f1 y - return gray;6 u& m- t" f3 ~9 l
- }/ l0 b. u# V3 C# m- X/ d
- 1 C8 s* a) x' D% n/ j
- void input_convert(uint16_t* camera_buffer , uint8_t* model_buffer)" x1 P3 c! H9 R& T1 [
- {- u3 C0 f5 T' O
- int i,j;
/ d7 j) V6 ^3 Y$ k4 |/ F" a) B6 g2 B - for(i=0; i<96; i++)# |* t# g' w0 ~; V3 Y l+ l5 U
- {. o& m. U7 ~& g2 {6 X" _8 V: Q
- for(j=0; j<96; j++)
9 U$ h0 I( P! E' D! @/ m& N7 u! k - {
" A' `& H* q" i! v6 @% Y - model_buffer[i*96+j] = rgb565_to_gray(camera_buffer[i*2*320 + j*2 + 64 + 320*24]);' B+ t2 `9 ?- {- b, s
- }% ~6 @6 G/ ~8 n8 B/ Y# C u
- }
' u5 ?3 F* G1 i! X$ X4 z' R+ s - }
复制代码 ' w7 b+ ?/ @% S4 ]1 X
在图像接收中断里面处理识别过程- void HAL_DCMI_FrameEventCallback(DCMI_HandleTypeDef *hdcmi)# }6 t* i6 u& |" y
- {1 o) R2 |: C: u- J! R& X
- uint8_t person_flag;
7 z- p; w7 n, y D' F' L
8 |9 j9 @4 R( z5 `% J- //转换图像为模型可处理的大小- R) g" C o4 A& {1 q/ r/ k& x7 ]( z
- input_convert((uint16_t*)_OV2640->frame->buffer, model_buffer);8 c/ J. f" ]. @* y( J; [7 B
- person_flag = person_detect(model_buffer); //运行模型
7 {* x5 }- @" Q r$ D4 a5 h1 u -
& Y1 R5 X. J% D - LCD_Draw_Image(0, 0, 320, 240, (uint16_t *)_OV2640->frame->buffer);
# a# F- E$ [& U - for(int i=0;i<192;i++)
. h4 p) H2 K& g3 r" v - {: O5 H* S6 u! N8 i0 L" \/ k+ N
- LCD_Draw_Point(i+64, 192+24,0xf100);+ |; C& Y$ @2 V" Y; D, g0 k% `
- LCD_Draw_Point(192+64,i+24, 0xf100);
# @& A5 i$ w' T6 \5 `/ j5 R - LCD_Draw_Point(i+64, 0+24, 0xf100);8 R: z/ b* O1 W& q1 s3 f- j, T
- LCD_Draw_Point(64, i+24, 0xf100);" \7 \5 L( }4 Z/ L* B
- }
n) g1 M3 S0 T - if(person_flag!=0)LCD_Draw_String(0, 0, 320, 240, 32, "people");
) h& V3 f& v Y9 j9 Y% t" _2 F5 u -
4 u6 T4 B: a" ^+ l! N - OV2640_DMA_Config(_OV2640->frame->buffer, (_OV2640->frame->length)/4);# I& g. f: c( E# `7 G2 K
- }
复制代码 / W8 l) f7 F) H' h9 E4 [( h
% i8 S$ k/ c+ U
: `9 ~% F- Z' b' x5 F3 J% @
运行效果:6 k6 Z6 U; A7 T- ?
识别充电器(无反应)" M, f1 r c0 V
; }6 }+ g' P6 W" Z$ @/ t6 N: h( }! { I
! R8 I( g! @0 H% v$ x' f
识别打火机(无反应)
. @5 \3 f: m& B* N! C
Y7 S8 w8 y3 M! x
# @, P% e( X, q* o5 u6 e识别人体(显示people)
/ L+ r/ r3 [( Z4 ~
7 j5 e7 `! d+ l3 {0 r% Q5 u
/ g! W7 {; r" K: ~5 Q0 u0 ~4 E5 ^8 M
3 G$ L5 ]' P2 f
2 J [0 x2 ^0 X* f$ j |
你好,请问有些源文件是重名的,该怎么才能解决冲突
<br /> <br />
一些是需要删掉的,二选一