042、Xilinx FPGA可编程ISP流水线设计——从RTL到HLS的灵活性与延迟优化

042、Xilinx FPGA可编程ISP流水线设计——从RTL到HLS的灵活性与延迟优化上周调试一块基于ZU+系列的车载环视拼接板卡，客户反馈夜间倒车影像在LED路灯频闪下出现横向亮暗条纹，而且动态范围明显不够。我们一开始怀疑是sensor的HDR模式没配好，查了三天寄存器，最后发现是ISP流水线里AEC（自动曝光）的统计窗口和HDR合成模块的时序没对齐——AEC统计的是两帧前的亮度，而HDR合成用的是当前帧，导致曝光收敛震荡。这种问题在ASSP ISP里几乎不会出现，因为硬件流水线是固定的，但在FPGA上，你一旦为了灵活性把流水线拆成可配置的模块，时序对齐就成了你自己的责任。这就是FPGA做ISP最核心的矛盾：你要灵活性，就得自己扛时序；你要低延迟，就得牺牲一部分可重配置性。今天这篇笔记，我不打算从RTL和HLS的语法讲起，那太无聊了。我想从“为什么你会在FPGA上做ISP”这个真实动机切入，聊聊流水线划分、延迟预算、以及HLS和RTL的边界到底画在哪里。先说说为什么有人愿意用FPGA做ISP。无非三种情况：一是sensor是特殊的，比如全局快门、多光谱、或者非标接口，ASSP ISP根本不支持；二是算法是自研的，比如特殊的降噪、特殊的HDR融合策略，高通和联发科的ISP流水线是封闭的，你改不了中间层；三是延迟要求极端，比如工业视觉里的飞拍、或者AR眼镜里的VIO（视觉惯性里程计），ASSP的ISP从sensor到输出通常有3-5帧延迟，这在某些场景下不可接受。FPGA的好处是你可以把ISP流水线做成“直通式”，sensor数据进来，经过几行缓冲就能出结果，延迟可以压到几十微秒级别。但代价是什么？代价是你要自己设计