MCU上跑AI—实时目标检测算法探索

MCU上跑实时目标检测算法前几年一直忙着别的事情没有在技术分享上下功夫, 这段时间稳定下来就想和几个志同道合的朋友做点有意义的事情, 于是乎就使用MCU做了个与AI有识别相关的 “小玩意儿”.本人负责嵌入式端相关的编码, AI相关的工作由好友 AgeWang 负责.这儿把一些成果给大家展示一下, 希望能给广大开发者提供一个简单的思路, 仅作参考在大家印象中, AI 这种高大上的玩意儿一般是在A系列的芯片上面跑的, 当然本人也接触过一些A系列芯片, 一般的性能差一点的芯片跑起来也非常吃力, 但要说在MCU芯片上冕能跑AI是都不都不敢想. 但是现如今确确实实是行, 而且效果还不错.话不多说进入真题, 先给大家展示一下效果:展示环节模型优化: 在 MCU 资源限制下重新设计算法结构, 网络结构依然超过了150层, 确保检测精度不崩。部署优化: 针对Cortex M指令集做了底层优化。后处理: 用了简化版的 NMS, 保证速度够快, 占用也小。内存管理: 最大化复用中间 Buffer, 推理时只占用 248KB RAM, 这对于一般 512KB RAM 的中高端 MCU 来说完全可以接受。推理性能: 在Cortex-M33上, 通过指令集加速优化, 算法一秒大约推理 8帧 图像单帧 124ms。MCU实时目标检测检测效果: 在行人检测数据集上, mAP 超过 60, 同时也能迁移到火焰、任意自定义目标检测任务。所需资源模块介绍最低成本(元)摄像头主要用于视频图像的采集5显示器主要用于视频图像的显示10MCU主要是协调摄像头得采集, AI的计算以及LCD显示屏的显示6外围电路PCB板(最小系统所需的基本电路)略备注: 以上成本仅供参考(如果想要显示效果更好, AI识别更快价格也就更贵)以上是所需的基本硬件模块, 当然也可以直接打板不使用模块.本演示主要是通过摄像头采集图像至MCU,MCU执行AI yolo算法, 获取结果, 通过LCD显示. 如下图所示:## 扩展思考输入端除了火焰, 还可以是其他物品猫, 狗, 鸟, 也可以是人, 也可以是人的不同形态, 如跌倒的老人或者小孩儿.输入的除了图像也可以是音频, 温湿度, 光照强度, 当然也可以是他们的组合输出端除了LCD显示屏, 也可以I/O输出, 如开关门, 浇水, 喂鱼等其他尝试本人在多款MCU都测试过, 如STM32ESP32等, 只要基本的RAM合适, 看理论上都能进行运行AI算法.STM32有STM32Cube.AI专门为 AI 进行了优化ESP32也有专门的库以及demo, 可供大家参考备注感谢 AgeWang 提供AI算法支持