[具身智能-612]：RAW / NV12 / JPG 变换链路、转换关系与工程用途（适配 RDK X5 MIPI+AI 检测链路）

一、完整数据流变换链硬件流水线真实顺序plaintextMIPI Sensor 感光输出 ↓ 【RAW(Bayer拜耳)】 原始光电信号无ISP处理 ↓必须经过ISP图像信号处理器 Demosaic、白平衡、降噪、Gamma校正 → ↓ 【NV12(YUV420 Semi-Planar)】ISP标准输出、嵌入式图像基准格式 ↓硬件编码器执行有损压缩 【JPG(JPEG码流)】⚠️单向不可逆关键点RAW → NV12单向RAW 经过 ISP 算法生成 NV12无法从 NV12 还原出 RAWISP 做了大量非线性图像处理丢失传感器原始采样信息。NV12 → JPG单向有损JPG 是压缩产物无法从 JPG 无损还原原始 NV12解压只能得到失真 YUV 图像。反向不存在原生硬件通路不能把 JPG 送入上游 ISP 生成 NV12/RAW。二、三种格式详细定义、变换关系、用途1. RAWBayer RawRGGB/RGGB10✅本质摄像头感光二极管直接输出的原始采样数据只有单色感光点不是可视图像。变换关系唯一上游来源MIPI Sensor 唯一下游通路送入ISP处理输出 NV12。不能直接送入编码器、不能直接送入 AI 网络。适用用途底层硬件调试排查 Sensor 曝光、噪声、I2C 寄存器、排线故障当前相机调试阶段可用镜头标定、相机内参标定ISP 调参白平衡、降噪、动态范围优化 ❌禁止场景AI 推理、视频预览、日常图像存储。2. NV12YUV420SP✅本质ISP 处理完成后的未压缩可视图像分为亮度平面 Y、交错色度 UVRDK X5 全硬件单元通用标准格式。变换关系上游RAW 经过 ISP 转换 下游两条分支分支 A直接送往VPS 硬件缩放 / BPU AI 推理 / H264/H265 硬件编码器分支 B送入 JPEG 硬件编码器压缩生成 JPG 可软件转换NV12 ↔ RGB24/RGB8CPU/VPS 硬件转换。适用用途项目主链路核心格式MIPI 相机 ROS 话题/image_combine_raw标准输出格式FCOS / YOLOv5 AI 推理最优输入格式零拷贝送入 BPU避免多次色彩转换硬件 H.264/H.265 视频编码输入HDMI EGL 预览渲染输入算法调试抓帧保存裸 NV12 帧复现推理问题 ❌ 缺点裸流无文件头播放器打开必须手动指定分辨率。3. JPGJPEG 有损压缩图像✅本质NV12 (YUV420) 经过离散余弦变换的有损压缩封装格式自带文件头、分辨率信息通用图像标准。变换关系上游只能由 NV12 经过 JPEG 编码器生成 下游解码后得到失真 YUV 图像不能恢复原始 NV12。适用用途WebSocket 网页远程预览你的/image_combine_jpeg话题抓拍截图、图片上传、本地快照存档PC / 手机通用浏览 ❌禁止场景不要解压 JPG 后送入 AI 目标检测压缩损失细节会降低 FCOS/YOLO 检测精度。三、关系总结表表格格式压缩属性上游来源下游输出核心用途能否直接给 AI 推理RAW(Bayer)无压缩Sensor MIPI仅 ISP底层调试、标定❌ 不能NV12无压缩ISP 输出RAW 处理后VPS/BPU/H264/JPG 编码器AI 推理、视频编码、本地预览✅ 推荐首选JPG有损压缩NV12 编码生成网络传输、图片存储网页预览、截图存档❌ 不推荐四、结合你 RDK X5 工程推荐标准链路正式产品主链路最优Sensor → RAW → ISP → NV12NV12 一路VPS 预处理 → FCOS/YOLO 推理NV12 二路硬件 H264 编码视频录像NV12 三路可选分支硬件 JPG 编码 → WebSocket 远程预览。❌ 不推荐错误链路NV12 → JPG → 解码YUV → AI推理多次压缩 色彩转换带宽浪费、精度下降。五、调试抓帧选型建议排查相机硬件、Sensor、ISP 问题 → 保存RAW调试目标检测算法、复现漏检问题 → 保存NV12需要快速发给电脑查看画面 → 保存JPG补充命令参考开发板调试bash运行# 播放裸NV12文件必须指定分辨率 ffplay -f rawvideo -pixel_format nv12 -video_size 1280x720 frame.nv12 # NV12 转JPG ffmpeg -f rawvideo -pixel_format nv12 -video_size 1280x720 -i frame.nv12 frame.jpg