|
今年6月,STM32重磅推出最新一代64位微处理器STM32MP2系列,凭借异构架构及卓越性能、高安全性、边缘AI与多媒体功能、连接接口丰富这四大关键特性,不仅为高性能和高度互联的工业4.0应用赋能,也为嵌入式边缘AI方案的落地带来更多可能性。 2 L1 `; r k, {. K8 [: Q# Q STM32MP2系列具有先进的边缘AI及丰富的多媒体功能,内置1.35TOPS的NPU边缘AI加速器、主频900MHz的3D GPU,开发者可灵活选择在CPU、GPU、NPU上运行AI应用。除了硬件性能强劲,还具有丰富的AI应用生态。那么,当我们要将AI方案无缝集成到STM32MP2项目中,需要哪些步骤和准备?又要用到什么软件工具链?带着这些问题,我们一起来看看“STM32MP2小课堂”的解答。
01 三阶段无缝集成AI方案 6 j+ G- O2 O/ I* P4 Y7 N 第一阶段:模型训练。顾名思义,就是指开发者将数据集导入并训练模型。模型的选择通常有两种方式:一是使用自己的模型,比如基于Keras、TensorFlow、PyTorch和Scikit-learn等机器学习库的模型。另一种是从STM32 AI模型库中选择提前训练好的模型和训练脚本,STM32 AI模型库提供人体姿态估计、图像分类、语义分割、目标检测等预训练模型;这些模型及代码已经发布在GitHub上,经过优化可以运行在STM32 MPU上。用户可以访问此链接(GitHub - STMicroelectronics/stm32ai-modelzoo: AI Model Zoo for STM32 devices)下载,并根据Readme文档进行操作。4 k$ L7 u9 ]7 G2 x $ g1 [5 d# j" P5 h( q4 s/ @ 第二阶段:模型优化和基准测试。在这个阶段,ST提供了本地版本的ST Edge AI Core和云端版本的ST Edge AI Developer Cloud,可以实现模型的量化、优化、转换并提供基准测试服务。 ; C, s2 g& q2 Y. `4 o+ c 7 B1 `* a4 {) m$ A. D) q5 u 第三阶段:创建并部署应用。STM32 MPU提供基于OpenSTLinux的X-LINUX-AI扩展包,帮助用户快速开发AI应用。X-LINUX-AI扩展包是一个一站式的AI解决方案,涵盖了AI框架和应用以及工具框架。# k2 ]- U Z0 m B0 r
# m3 H( q \% b3 S, i' d8 e 在将AI方案无缝集成到STM32MP2项目的过程中,开发者需要用到一些软件工具,比如ST Edge AI Developer Cloud和X-LINUX-AI扩展包等。, o. r& `9 M' u ST Edge AI Developer Cloud是一种云端工具,开发者使用这个云端版本的工具,可实现AI模型的优化和格式转换。请访问Home - ST Edge AI Developer Cloud开始尝试。# X# f2 n, T+ Z. M8 _ 根据网页操作指引,按照选择模型、选择硬件平台、量化(可选)、优化、基准测试、得出结果、生成模型这几个步骤,即可完成模型优化、模型转换和基准测试。 X-LINUX-AI是一个一站式AI解决方案:可以运行神经网络模型,且具备多项AI应用实例;同时还是一个工具框架,提供帮助开发者快速开发应用的工具。
3 M% _; z2 t% s3 K4 r v! s; U% I
X-LINUX-AI Developer Package:该组件包中的X-LINUX-AI SDK插件扩展了OpenSTLinux SDK的AI功能,可以轻松开发和构建AI应用程序;3 D( ~- h) G" _# P2 x, J7 w! L X-LINUX-AI Distribution Package:该组件包是一个OpenEmbedded层,可以添加到STM32MPx OpenSTLinux Distribution Package上开发 AI 应用打包包含 AI 应用的镜像。' G) J# W) L% u+ i- ~& b ( l2 s" t, ~) x( J ~! \% M, F7 Y: V 问答小课堂 观看视频和学习文章,评论区回答下方5个问题,从回答正确的坛友中,抽7位送出STM32开发板一块! 问题列表:# y, x' \5 Z. \7 b- c 问题一:STM32MP2的四大关键特性是_____。(填空) 问题二:STM32 MPU提供基于______的X-LINUX-AI扩展包,帮助用户快速开发AI应用。(填空) 问题三:STM32 AI模型库提供的预训练模型可以用于_____。(填空) 问题四:STM32MP2系列微处理器的边缘AI加速器的计算能力为______。(填空) 问题五:X-LINUX-AI Distribution Package是一个_____类型的包?(单选)" O, y7 V' {: Z7 U( K$ r A. OpenEmbedded层 B. AI应用打包9 T: h8 P a) x. q2 p% O C. 软件开发包 D. 硬件开发包, j9 Q8 C) X6 G5 {/ ` ; h# D6 u* m& K6 M8 Z/ q( O h 回答有礼:抽7位送STM32开发板一块!- H; L* I# X9 Z 互动时间:9月23日-10月8日 3 }6 N- r& n6 ~( R% q; K3 k 中奖名单: 短笛君8 |( P" c0 I4 ~6 p* S STMWoodData- n3 m# v" I6 G 大天津, ~* b6 B2 d" x, V vincent2012/ U z1 u+ ~) I( `1 `" D shenxiaolin_mai- P; U+ m' A' G5 g 打工人学技术$ `+ z& q& E" k) {0 a5 a; M jundao721- t9 n# f- d: T/ }5 K' q 板卡随机发放,不支持挑选! 0 b- ~# H1 K f8 y" | , A+ `" n) q6 m/ _/ i |
STMWoodData
回答时间:2024-9-23 16:23:02
sumoon
回答时间:2024-9-24 15:56:25
STM32MP157双A核Linux + 自研RTOS双系统镜像免费下载
STM32MP1 自举程序编程:USB DFU/USART 协议全解析
实战经验 | 如何配置STM32MP257的RMII Switch
OpenSTLinux 6.1发布:M33-TD加持+安全升级,STM32MPU开发效率翻倍!
STM32MP135 MP157 MP257 CoreMark移植&&跑分对比&&多核心负载不均衡问题排查与解决
实战经验 | 1小时在STM32MPU上运行YOLOv8——训练篇
实战经验 | 1小时在STM32MPU上运行YOLOv8——训练篇
利用STM32MP1和STM32MP2为嵌入式Linux提供有效的安全措施:供当今决策者参考的3条宝贵经验
有奖直播 | STM32MP2x 资源隔离架构 (RIF) 介绍与使用
白皮书下载|边缘 AI 变革:MCU集成 NPU 的破局与领航
微信公众号
手机版