FPGA ISP之CISP-Lite IP软件栈

CISP-Lite LinuxCISP-Lite 在 Kria KV260 上的 Linux 相机软件栈ISP · V4L2 · libcamera · 树莓派 · GStreamer目录项目简介特性系统架构CISP-Lite IP仓库结构快速上手License项目简介CISP-Lite是一套基于C/HLS实现的轻量级图像信号处理器ISP面向 Xilinx 系 FPGA支持运行时动态配置分辨率、Bayer 格式与各处理模块参数。设计目标最高4K60FPS已在Kria KV260xck26类 ZynqMP 5EV上验证4K30FPS实时通路。CISP-Lite-Linux是面向该 ISP 的Linux 相机软件栈覆盖驱动、中间件到应用层级内容驱动层V4L2 / Media Controllercisp-lite、mipi-rx-to-video、ar1335、imx219框架层改造自树莓派的libcameravc4 →cisp_lite及 IPA应用层rpicam-apps、cam、GStreamer、Camera Tuning ToolCTT固件层PL bitstream / DTBO、预编译 rootfs 与 WIC 镜像脚本目标是在自定义 FPGA ISP 上复用树莓派成熟的相机软件生态与调参流程。特性本仓库为软件栈核心在于生态兼容与工具链可迁移特性说明V4L2 / Media Controller标准 Linux 视频接口ISP / MIPI-RX / Sensor 接入 Media Graph可用media-ctl、v4l2-ctl配置拓扑与抓流libcamera改造树莓派 vc4 pipeline 支持cisp_lite复用同一套 IPA、控制模型与cam工具树莓派生态rpicam-hello/rpicam-still/rpicam-vid及 CTT 用法与树莓派一致应用与调参流程可直接迁移GStreamer支持libcamerasrc等标准插件可组预览、编码、推流等 pipeline驱动与固件配套含 PL bitstream / DTBO、双 SensorAR1335 / IMX219驱动支持 configfs 动态加载系统架构Sensor → 应用端到端拓扑双路 MIPI 将 Sensor RAW 经 FrameBuf Writer 写入 DDRFrameBuf Reader 取帧送入 CISP-LiteISP 双通道 CVIPCHN0 / CHN1各经一路 FrameBuf Writer 写回 DDR由 libcamera / rpicam / GStreamer 消费Processing SystemProgrammable LogicSensorAR1335IMX219MIPI-RX(IAS1)MIPI-RX(RPi)FrameBufWriterFrameBufWriterFrameBufReaderCISP-LiteFrameBufWriter(CHN0)FrameBufWriter(CHN1)DDR4libcamerarpicam-appsGStreamer硬件框图基于 KV260双 MIPI-RX 采集 → Frame Buffer 与 DDR 交互 → CISP-Lite 处理 → PS 侧软件栈消费。分类模块说明自定义 IPMIPI-RX ×2、CISP-Lite采集与 ISP 处理核心Xilinx IPFrameBuf Writer ×4、FrameBuf Reader ×1PL ↔ DDR 视频 DMASensorAR1335、IMX219IAS1 / RPi CSIPS 外设DDR4、SD、ETH、DP/HDMI存储、网络与显示软件栈框图自下而上硬件 IP → V4L2 驱动 → libcamera → 树莓派系应用与 GStreamer。图例含义黄色本项目新增驱动 / IP绿色本项目修改libcamera 等对接树莓派生态棕色Xilinx 既有视频 IP / 驱动Sensor 支持Sensor接口典型分辨率说明AR1335IAS13840×2160 10bit默认演示路径IMX219RPi CSI3280×2464 10bit可选第二路CISP-Lite IP使用 C/HLS 描述可综合到 Xilinx FPGA。支持软件动态配置分辨率、Bayer 格式与各模块参数片上提供 AE / AWB 统计供 libcamera IPA 做 2A 闭环。处理流水线Bayer RAW │ ▼ DPC → BLC → BNR → DGAIN → LSC ──► STAT_AE │ ▼ DEMOSAIC ──► STAT_AWB │ ▼ WB → CCM → GAMMA → CSC │ ▼ YNR / CNR → EE │ ┌────────────┴────────────┐ ▼ ▼ CVIP CHN0 CVIP CHN1 YUV2RGB→CROP→DSCALE→444TO422 同左独立配置模块说明CISP 主通路点击展开模块名称功能简述cisp_dpc坏点校正5×5 邻域内 8 个邻近像素均大于/小于当前像素时以中值替换cisp_blc黑电平校正RGGB 四通道分别减去配置的黑电平cisp_bnr拜耳降噪简化双边滤波cisp_dgain数字增益像素乘以配置增益cisp_lsc镜头阴影校正Mesh 网格 16×12四通道增益表cisp_demosaic去马赛克基于边缘、色度与色差的自适应插值cisp_wb白平衡RGB 三通道乘增益cisp_ccm色彩校正矩阵3×3 CCMcisp_gammaGamma查表 Gammacisp_csc色彩空间转换整数优化 RGB→YUVcisp_ynrY 降噪7×7 双边滤波cisp_cnrUV 降噪可选高斯滤波cisp_ee边缘增强Y 通道高频增强cisp_stat_aeAE 统计指定 ROI 四通道像素数/和及直方图cisp_stat_awbAWB 统计指定 ROI 且落在阈值范围内的 RGB 统计CVIP 后处理通路点击展开模块名称功能简述cvip_yuv2rgbYUV→RGB整数优化转换cvip_crop裁剪可配置 ROIcvip_dscale缩小宽/高分别支持 1/Ncvip_yuv444to422444→422作为v_frmbuf_wr源写入内存NV12axis_422 与 axis_420 时序相同双通道 CVIPCHN0 / CHN1可独立配置典型用途一路全分辨率、一路缩略预览或编码输入。仓库结构cisp_lite_linux-master/ ├── README.md ├── LICENSE ├── debug_cmd.txt # 进阶调试命令参考 ├── doc/ # 架构图、演示截图、drawio 源文件 │ ├── cisp_lite_diag.png │ ├── zynqmp_hw_diag.png │ ├── camera_sw_diag.png │ ├── demo.png │ └── diagrams.drawio ├── bsp/ │ ├── drivers/ │ │ ├── cisp_lite/ # cisp-lite / mipi-rx / ar1335 等 │ │ └── allegro/ # VCU 编解码相关驱动 │ ├── fpga/ # bitstream、DTSI、DTBO 构建 │ ├── patch/ # linux-xlnx 补丁 │ ├── build_arm64.sh # 内核 驱动 FPGA 构建 │ └── install_arm64.sh # 产物安装如 TFTP rootfs ├── linux-xlnx-xilinx-v2022.1/ # Xilinx Linux 内核树 ├── libcamera-0.6.0-rpt20251202/ # 适配 cisp-lite 的 libcamera ├── rpicam-apps-1.11.0/ # 树莓派 rpicam 应用集 └── prebuild/ # 预编译 boot / rootfs / mkwic.sh快速上手硬件准备项目要求开发板AMD/XilinxKria KV260SensorAR1335接在IAS1IMX219 可选接 RPi CSI存储≥8GBmicroSD显示HDMI / DP 显示器调试串口115200烧写与运行下载 kv260_cisp_lite.wic.zip 镜像用 balenaEtcher 烧写到 SD 卡插入SD卡AR1335接在IAS1上接好串口与显示器上电启动系统就绪后执行./load_drv.sh modetest-Dfd4a0000.display-w40:alpha:0 rpicam-hello-t0load_drv.sh会通过 configfs 加载 PLDTBO bitstream并插入相关内核模块。之后与树莓派相同一条rpicam-hello即可实时预览。演示视频演示视频更多进阶命令Media Graph、抓流、GStreamer 等见debug_cmd.md架构图源文件见doc/diagrams.drawio。LicenseCopyright © 2026 bxinquan第三方组件Linux、libcamera、rpicam-apps、Allegro VCU 等遵循各自原有许可证。