【Wio Lite AI视觉开发套件】+cube.ai与食物识别

[复制链接]

奇迹发布时间：2022-10-31 11:43

文章
文章封面:
文章简介:	利用STM32Cube.AI工具，在Wio Lite AI视觉开发套件部署食物识别模型

在经历完各种准备工作后，现在终于来到了正主。直接部署Tensorflow Lite Micro那一套玩意确实没啥问题，但是太麻烦，要添加一大堆文件，还得用它家训练生成模型，然后转换，麻烦的很，在ST平台，怎么能不提到用ST自家工具去部署模型，方便快捷，简单实用。
拿出之前准备的工程，选取ai开发需要支持的软件包cue-ai，在software packs点select components
微信截图_20221029165303.png

在X-CUBE-AI行下core勾选，点OK完成
微信截图_20221029165346.png

回到引脚配置页面，最下方就是上面导入的CUBE-AI工具包
微信截图_20221029171555.png

点击+添加，这里要根据自己使用的模型，以及模型特点选择，如下图选择的是原始模型
微信截图_20221029171744.png

这里选择的是量化后的模型（量化可以减少模型的要求，但是精度会下降），点击分析
微信截图_20221029172202.png

分析中

分析完成会显示是否可以部署到设备上，以及资源使用情况。
微信截图_20221029172246.png

回到工程，有个小bug（使用的STM32CubeMX版本为6.6.1，X-CUBE-AI版本为7.2.0），下图的几个文件路径老是生成错

QQ截图20221031110850.png

右键文件打开设置，修改一下路径就行

QQ截图20221031110911.png

头文件路径也有一样的问题
QQ截图20221031111258.png

初始化模型

ai_handle ai_init(void)
{
network_handle = AI_HANDLE_NULL;
/* Creating the network */
ai_network_create(&network_handle, AI_NETWORK_DATA_CONFIG);
/* Initialize param structure for the activation and weight buffers */
const ai_network_params params = AI_NETWORK_PARAMS_INIT(
AI_NETWORK_DATA_WEIGHTS(ai_network_data_weights_get()),
AI_NETWORK_DATA_ACTIVATIONS(activations)
);
/* Initializing the network */
ai_network_init(network_handle, ¶ms);
/*Retrieve network descriptor*/
ai_network_get_info(network_handle, &desc_report);
/*Copy descriptor info*/
ai_input[0]= desc_report.inputs[0];
ai_output[0]= desc_report.outputs[0];
return desc_report.inputs->data;
}

复制代码

运行模型

void ai_run(void* input, void* output)
{
ai_i32 nbatch;
ai_input[0].data = AI_HANDLE_PTR(input);
ai_output[0].data = AI_HANDLE_PTR(output);
nbatch = ai_network_run(network_handle, &ai_input[0], &ai_output[0]);
if (nbatch != 1) {
while(1);
}
}

复制代码

图像接收处理，这个模型要求输入224*224的RGB888的图像，把数据转换一下。

void HAL_DCMI_FrameEventCallback(DCMI_HandleTypeDef *hdcmi)
{
uint8_t person_flag;
int i,j;
for(i=0; i<224; i++)
{
for(j=0; j<224; j++)
{
uint16_t bg_color = ((uint16_t *)_OV2640->frame->buffer)[i*320 + j];
network_input[3*i*224 + 3*j + 0] = ((bg_color>>11)&0xff)<<3;
network_input[3*i*224 + 3*j + 1] = ((bg_color>>5)&0x3f)<<2;
network_input[3*i*224 + 3*j + 2] = (bg_color&0x1f)<<2;
}
}
ai_run(network_input, network_output);
LCD_Draw_Image(0, 0, 320, 240, (uint16_t *)_OV2640->frame->buffer);
LCD_Draw_String(0, 0, 320, 240, 32, output_labels[network_max()]);
OV2640_DMA_Config(_OV2640->frame->buffer, (_OV2640->frame->length)/4);
}

复制代码

运行效果（一共能识别18种食物，这里选了几个看看）

空

可乐

甜甜圈

汉堡包

薯条

小结：STM32Cube.AI工具真的太香了，这里仅仅演示了模型的部署，其实可以快速验证AI模型在目标板上的运行情况，只用串口连接，直接把输入发送到单片机，然后运行完后把结果返回来，全部都集成到了一起，快速验证模型运行情况。很是方便（本文未涉及，有需要的可以在X-CUBE-AI行下勾选时，application里面选择validation，回到配置界面后设置通信接口即可）
Wio Lite AI视觉开发套件确实是开发AI的很好的选择之一，板子虽小五脏俱全，拿来做单片机视觉绰绰有余，但是不得不吐槽的一点是资料支持太差了，原理图，代码全都藏起来，前期调驱动花了很长的时间，后来管管给了一个例程后好转了一些（但是已经晚了。。。），Ai在单片机上应用已经有很多厂商都推出类似的解决方案了，ST这一个环境很优秀，就是如果相关的培训跟资料再多一点就好了。