|
我的问题是我使用x-cube-ai对我的onnx模型进行分析验证,我发现量化前后onnx模型他的flash,ram占用下降的似乎并不明显,我量化使用的工具是onnx_runtime,量化方式是静态QDQ的方式,以model_1为例,量化前total flash为138.89kb但量化后我的flash反而升高了为157.49kb,我看主要的原因是量化前后flash几乎没什么变化,产生这种情况的原因是因为我的量化方式与x-cube-ai支持的int8量化不兼容吗?官方有专用的量化工具吗?
|
stm32H723 tim23和tim24是不是不支持中间对齐模式?
stm32H723 tim23和tim24 中间对齐模式无效
stm32H723 tim1和tim23 tim24同步的问题
ai部署
STM32H503的Vcap引脚问题
STM32CubeMX+DP83848
STM32H523CEU6的Pin41和Pin42能否作为USART6使用?
FileX 使用exFAT无法获取到正常的文件名unicode_name
尝鲜STM32CubeAI Studio
x-cube-ai分析后的flash和ram占用
微信公众号
手机版
ST公司目前并没有提供单独的模型量化工具,都是集成在ST Edge AI / X-CUBE-AI生态工具链里。ST EdgeAI core支持:
支持 8-bit quantized neural network
支持 ONNX QDQ
支持 静态量化
支持量化相关配置与校准流程
支持量化模型分析、验证和部署
关于你的问题,建议检查核对下面因素:
1:确认量化脚本是否严格符合ST 推荐配置:
quant_format=QuantFormat.QDQ
activation_type=QuantType.QInt8
weight_type=QuantType.QInt8
per_channel=True
optimize_model=True
2:确认当前ONNX 的opset,检查是不是 opset13。
3:量化前做下简化
详细内容可以阅读下面站点:
Quantized model support