FPGA双目工业相机板级集成：MIPI、DDR3与USB3.0全链路设计实战

双目工业相机这个方向这几年在产线检测、机器人引导、三维重建这些场景里需求越来越硬。但真要把一套双目方案塞进一块板子还要跑出可用的帧率和同步精度MIPI、DDR3、USB3.0这三块任何一块掉链子整个系统就废了。我前后做过三版双目采集板从分立方案到单板集成踩过的坑足够写一本小册子。这篇就把FPGA双目工业相机的板级集成方案拆开讲重点放在MIPI接收、DDR3缓存、USB3.0上传这条完整链路上涉及选型逻辑、时序约束、布线要点和实测调优。不管你是刚接触FPGA图像采集的新手还是已经在做类似项目想找参考的老手应该都能从里面捞到点能直接用的东西。1. 双目工业相机的系统架构与核心需求拆解1.1 为什么是FPGA而不是SoC或专用ISP双目方案的核心诉求其实就三条两路图像严格同步、原始数据低延迟缓存、高带宽上传。市面上常见的做法有几种用SoC带双MIPI CSI的芯片直接接摄像头或者用专用ISP芯片做处理再或者用FPGA做桥接。我最早也试过用带双路MIPI的SoC方案省事是省事但问题在于灵活性太差。双目要做的事情往往不只是采集还涉及去马赛克、立体匹配预处理、行对齐、时间戳插入这些操作SoC的固定管线很难改。专用ISP就更不用说了参数调不动双目同步的精度也受限于芯片内部机制。FPGA的优势在于MIPI D-PHY的接收可以自己控DDR3的读写调度可以自己排USB3.0的传输节奏可以自己定。整条链路的时间确定性是可控的这对工业场景里要求微秒级同步的双目来说非常关键。而且FPGA做定点数运算、做流水线处理延迟可以压到极低不像SoC那样要过好几层软件栈。具体到这套方案核心需求可以拆成下面几块双路MIPI CSI-2接收每路摄像头一般是2 lane或者4 laneRAW10/RAW12格式分辨率常见1280x720到1920x1080帧率30到60fps。两路要同步触发曝光时间要对齐。DDR3缓存双目一帧数据量不小1080p RAW10单帧约2.7MB两路就是5.4MB如果要做多帧缓存或者立体匹配的窗口缓存没有几百MB的DDR3根本不够用。DDR3还承担跨时钟域的数据缓冲MIPI接收时钟和USB3.0发送时钟不一致必须有个大缓冲池来吸收抖动。USB3.0上传工业相机现在基本都走USB3.05Gbps的理论带宽实际能跑到3.2Gbps左右。双目1080p60 RAW10两路加起来约3.2Gbps刚好卡在带宽边缘所以传输效率必须做高。同步与触发两路摄像头的曝光同步、帧同步以及外部触发信号的接入这是双目区别于单目的核心。1.2 板级集成的难点在哪里把这三块集成到一块板上难点不在单个模块能不能跑通而在于它们之间的相互干扰和资源竞争。MIPI是高速差分信号DDR3也是高速信号USB3.0同样是高速差分。三套高速接口挤在一块板子上信号完整性问题会非常突出。MIPI的时钟频率一般在几百MHz到1GHz以上DDR3在800MHz到1066MHzUSB3.0的5Gbps对应2.5GHz的奈奎斯特频率。这些信号的谐波会互相耦合尤其是DDR3的开关噪声很容易串到MIPI的接收端导致误码。另一个难点是时钟域。MIPI接收有自己的像素时钟DDR3控制器跑在独立的时钟域USB3.0的PHY也有自己的参考时钟。三个时钟域之间的数据搬运需要异步FIFO而FIFO的深度设计、跨时钟域的握手协议直接决定了系统会不会丢帧。还有功耗和散热。FPGA本身加上DDR3、USB3.0 PHY、两路摄像头的供电整板功耗可能到5到10W工业相机体积又小散热空间有限。温度一高DDR3的刷新率要调整否则会出错。2. MIPI CSI-2接收链路的实现细节2.1 D-PHY的物理层配置与时钟恢复MIPI CSI-2的物理层是D-PHY接收端要做的事情包括差分信号接收、时钟恢复、lane对齐、字节解包。FPGA实现MIPI接收有两条路一是用FPGA自带的MIPI D-PHY硬核比如Xilinx的HP bank支持MIPI电平可以直接接二是用外部D-PHY芯片转成LVDS或者并行信号再进FPGA。我选的是第一条路用FPGA的HP bank直接接MIPI。原因是省芯片、省布线、延迟低。但这里有个坑FPGA的HP bank要配置成MIPI电平需要正确的VCCO电压和终端电阻。MIPI D-PHY的差分摆幅比较小HS模式下典型200mVLP模式是1.2V所以bank电压一般设1.2V或者1.8V具体看FPGA型号。时钟恢复这块MIPI是源同步接口时钟随数据一起传输。FPGA的ISERDES或者IDELAY需要做训练找到最佳的采样点。我一般会用IDELAY做扫描从0到31逐个tap试找到误码率最低的那个点。这个过程在板子回来第一次调试时必须做而且温度变化后可能要重新校准。// MIPI D-PHY接收的IDELAY扫描示例简化 // 对每个lane的IDELAY tap进行扫描统计误码 reg [4:0] delay_tap; reg [31:0] error_cnt [0:3]; always (posedge clk) begin if (scan_en) begin delay_tap delay_tap 1; if (delay_tap 5d31) begin scan_done 1b1; // 选择error_cnt最小的tap end end end2.2 CSI-2协议层的解包与同步物理层拿到的是字节流CSI-2协议层要做的是识别包结构。CSI-2的包分短包和长包短包是帧同步、行同步这些控制信息长包是实际的图像数据。每个包有包头、数据、包尾。包头里的ECC要做校验包尾的CRC也要校验校验不过的数据要丢掉或者标记。双目场景下两路CSI-2的帧同步包要能对齐。我的做法是两路CSI-2接收模块各自解析出帧起始和行起始然后送到一个同步模块由同步模块产生统一的帧号和行号。如果两路有偏差通过调整摄像头的触发信号来对齐。这里有个经验CSI-2的虚拟通道Virtual Channel可以用来区分两路摄像头。如果两路摄像头接在同一个CSI-2控制器上可以用不同的VC来区分。但双目一般用两个独立的CSI-2控制器各自接一路这样更简单同步也更好做。2.3 双目同步的触发机制设计双目同步是整套方案里最容易被低估的部分。很多人以为两路摄像头同时上电就能同步实际上差得远。摄像头的内部时序、曝光延迟、读出时间都有差异不做处理的话两路图像的曝光时刻可能差几毫秒对立体匹配来说是致命的。我的做法是用一个外部触发信号同时触发两路摄像头的曝光。触发信号由FPGA产生频率就是帧率。两路摄像头配置成外部触发模式收到触发后同时开始曝光。曝光时间通过I2C配置两路设成一样的值。这样两路的曝光起始时刻由同一个触发信号决定偏差可以控制在微秒级。但光这样还不够因为两路摄像头的读出时间可能不同导致数据到达FPGA的时刻有偏差。所以还要在FPGA侧做帧对齐用帧同步包里的时间戳或者帧号来对齐。如果偏差超过一行就要考虑是不是摄像头的配置有问题。提示双目同步的精度最终取决于触发信号的抖动和摄像头的触发响应延迟。选摄像头时一定要看触发延迟这个参数有些摄像头触发延迟能到几十微秒有些只有几微秒差别很大。3. DDR3缓存控制器的设计与带宽优化3.1 DDR3选型与拓扑结构DDR3这块选型主要看容量、位宽和速度。双目1080p60 RAW10两路的数据率约3.2Gbps如果做4帧缓存需要约21MB加上立体匹配的窗口缓存64MB到128MB比较合适。位宽一般选16位或者32位32位带宽更高但布线更复杂。速度上DDR3-1600800MHz时钟是比较稳妥的选择再高对布线和FPGA的时序要求就很苛刻了。拓扑结构上单片DDR3最简单点对点连接信号完整性好做。如果容量不够要挂两片就要考虑Fly-by还是T型拓扑。Fly-by适合地址线共享但需要做读写平衡T型拓扑简单但高速下信号质量差。我一般推荐单片大容量DDR3比如256MB或者512MB的单片省去拓扑的麻烦。3.2 DDR3布线规则与实测要点DDR3的布线是板级集成里最考验功力的部分。几条硬规则必须遵守等长同一组的数据线、地址线、控制线要做等长误差控制在±50mil以内。数据组内等长要求更严一般±25mil。时钟差分对也要等长误差±5mil。阻抗单端线50欧姆差分线100欧姆。DDR3的ODT片上终端要配置正确一般动态ODT读写时不同。参考平面DDR3的信号要有完整的参考平面不能跨分割。换层时旁边要加回流地过孔。间距DDR3信号之间要保持3W间距减少串扰。尤其是时钟线和数据线之间。实测中我遇到过因为地址线等长没做好导致高地址区域读写不稳定的情况。后来用Vivado的时序报告和眼图扫描发现是地址线的建立保持时间不够。重新调整等长后问题解决。还有一点DDR3的VREF电压要稳定一般用分压电阻加电容滤波。VREF的噪声会直接影响读写眼图。3.3 AXI4接口的读写调度与带宽分配FPGA里DDR3控制器一般用MIGMemory Interface Generator生成对外提供AXI4接口。双目场景下DDR3要同时服务两路MIPI的写入和USB3.0的读出还有可能加上立体匹配的读写。带宽分配就很重要。我的做法是给MIPI写入和USB3.0读出各分配独立的AXI端口用仲裁器调度。MIPI写入是实时的优先级要高因为MIPI的数据流不能停一停就丢帧。USB3.0读出可以稍微缓一缓用大一点的FIFO吸收。立体匹配的读写放在低优先级用空闲带宽。带宽计算上DDR3-1600 32位的理论带宽是6.4GB/s实际有效带宽大概70%到80%也就是4.5到5GB/s。双目写入3.2Gbps约0.4GB/sUSB3.0读出也是0.4GB/s加起来不到1GB/s带宽绰绰有余。但要注意的是DDR3的读写切换有开销频繁切换会降低效率。所以调度上要尽量做批量读写减少切换次数。// AXI4读写仲裁的简化逻辑 // 写通道优先级高于读通道但读通道有紧急请求时提升优先级 always (posedge clk) begin if (wr_req !rd_urgent) begin grant WRITE; end else if (rd_req) begin grant READ; end end注意DDR3的刷新操作会占用带宽高温下刷新率翻倍带宽会下降。设计时要留够余量别把带宽算得太满。4. USB3.0上传通道的集成与吞吐量调优4.1 USB3.0控制器的选型与接口方式USB3.0这块FPGA实现的方式主要有两种一是用FPGA自带的USB3.0硬核比如某些高端FPGA有集成二是用外部USB3.0控制器芯片通过FIFO或者并行接口跟FPGA对接。我用的是第二种外部控制器芯片原因是灵活、成熟、成本可控。常见的USB3.0控制器芯片有CYPRESS的FX3系列、FTDI的FT60x系列等。FX3是ARM核加USB3.0 PHY可编程性强但开发复杂度高。FT60x是纯桥接FIFO接口简单开发快但灵活性差。双目方案里如果只是做数据上传FT60x够用如果要做协议处理、多接口复用FX3更合适。接口方式上FT60x用同步FIFOFPGA侧产生读写时钟和使能数据宽度一般32位时钟频率100MHz理论带宽3.2Gbps。FX3用GPIF II接口可以配置成多种模式灵活性高但配置复杂。4.2 吞吐量瓶颈分析与实测调优USB3.0的理论带宽是5Gbps但实际能跑多少取决于控制器、驱动、主机多个环节。我实测下来FT60x在FPGA侧100MHz 32位FIFO的情况下持续吞吐能到3.2Gbps左右也就是400MB/s。双目1080p60 RAW10两路是3.2Gbps刚好卡满所以任何环节的效率损失都会导致丢帧。瓶颈一般在几个地方FIFO深度FPGA侧到USB控制器的FIFO如果太浅DDR3读出的突发会被打断导致吞吐下降。我一般用至少4KB的FIFO。驱动效率主机侧的驱动如果每次传输的数据包太小USB3.0的协议开销占比就高。用大包传输比如每次1MB效率能到90%以上。主机性能USB3.0的host控制器和CPU性能也会影响。老主机的USB3.0控制器可能跑不满。调优的时候我会先用一个简单的递增数据测试从FPGA发到主机看实际吞吐。然后逐步加入MIPI和DDR3看吞吐变化。如果下降明显就定位是哪个环节的问题。4.3 跨时钟域数据搬运的FIFO设计MIPI的像素时钟、DDR3的控制器时钟、USB3.0的FIFO时钟三个时钟域各不相同。数据从MIPI到DDR3再从DDR3到USB3.0要经过两次跨时钟域。异步FIFO的设计要注意几点格雷码指针读写指针用格雷码避免多比特同时变化导致的亚稳态。深度计算FIFO深度要能吸收两个时钟域的频率差和抖动。一般按最坏情况算比如写时钟比读时钟快10%那FIFO深度至少要能存10%的突发量。同步级数指针同步一般用两级触发器高速下可能要用三级。// 异步FIFO的格雷码指针同步简化 reg [ADDR_WIDTH:0] wr_ptr_gray, rd_ptr_gray; reg [ADDR_WIDTH:0] wr_ptr_gray_sync1, wr_ptr_gray_sync2; reg [ADDR_WIDTH:0] rd_ptr_gray_sync1, rd_ptr_gray_sync2; always (posedge wr_clk) begin wr_ptr_gray bin2gray(wr_ptr_bin); end always (posedge rd_clk) begin wr_ptr_gray_sync1 wr_ptr_gray; wr_ptr_gray_sync2 wr_ptr_gray_sync1; end提示跨时钟域FIFO的深度不是越大越好太深会增加延迟和资源消耗。按实际抖动和频率差算留20%余量就够了。5. 板级集成的信号完整性与电源设计5.1 高速信号的布局分区与隔离一块板子上同时有MIPI、DDR3、USB3.0三套高速接口布局分区是第一步。我的原则是按信号速率和敏感度分区高速差分信号尽量远离电源和地要完整。具体布局上MIPI的接收端靠近FPGA的HP bank走线尽量短差分对之间保持足够间距。DDR3放在FPGA的另一侧远离MIPI避免DDR3的开关噪声耦合到MIPI。USB3.0的差分对也远离MIPI走线阻抗严格控制。如果板子空间允许MIPI和DDR3之间用地平面或者电源平面隔开。实在隔不开就在中间加屏蔽过孔墙减少串扰。5.2 电源树设计与噪声抑制电源设计上FPGA一般需要多路电源核心电压、IO电压、辅助电压、DDR3的1.5V、MIPI的1.2V、USB3.0的3.3V和1.1V等。电源树要设计好每路电源的电流要算够纹波要控制。DDR3的1.5V电源对噪声很敏感要用低噪声的LDO或者DC-DC加滤波。VREF的分压电阻要用高精度的旁边加0.1uF和1uF的电容滤波。MIPI的1.2V电源也要干净否则会影响D-PHY的接收灵敏度。实测中我遇到过因为DDR3电源纹波太大导致高低温下读写不稳定的情况。后来在电源输出端加了LC滤波纹波从50mV降到10mV问题解决。5.3 散热与温控策略工业相机体积小散热是个大问题。FPGA、DDR3、USB3.0控制器都是发热大户。我的做法是FPGA下面铺大面积铜皮通过过孔连到背面背面加散热片或者导热垫。DDR3和USB控制器也尽量铺铜散热。如果温度还是高就要考虑温控策略。比如温度超过85度时降低DDR3的刷新率或者降低帧率。FPGA内部有温度传感器可以读出来做闭环控制。我一般会设一个温度阈值超过就降频保证系统稳定。6. 调试过程中踩过的坑与排查思路6.1 MIPI接收不稳定的排查链路MIPI接收不稳定是最常见的坑。表现是图像有随机噪点、行错位、甚至完全无数据。排查的时候我会按下面的顺序来先看时钟用示波器测MIPI的时钟差分对看频率对不对摆幅够不够有没有明显的抖动。MIPI的HS时钟摆幅一般200mV左右LP模式1.2V。再看数据测数据差分对看有没有信号。如果时钟有但数据没有可能是lane没对齐或者摄像头没配置好。查IDELAY如果信号都有但误码高做IDELAY扫描找最佳采样点。查电源MIPI的1.2V电源纹波大不大地噪声大不大。查配置摄像头的寄存器配置对不对lane数、数据格式、帧率这些。我遇到过一次MIPI图像随机出现横条纹查了半天发现是DDR3的开关噪声耦合到了MIPI的电源上。后来在MIPI电源上加了一个磁珠和电容问题解决。6.2 DDR3读写错误的定位方法DDR3读写错误的表现是数据比对不过、系统跑飞、或者高低温下不稳定。定位方法用MIG的内建自测试Vivado的MIG有自测试功能可以先跑一遍确认DDR3本身没问题。做地址扫描写一个固定模式到所有地址再读回来比对看哪些地址出错。如果错误集中在高地址可能是地址线等长问题。看时序报告Vivado的时序报告会给出建立保持时间的余量余量不够的地方要重点查。眼图扫描用示波器做眼图看眼高眼宽够不够。我踩过一个坑DDR3的ODT配置不对导致读写切换时信号反射严重误码率高。后来改成动态ODT读写时分别配置问题解决。6.3 USB3.0吞吐上不去的调优过程USB3.0吞吐上不去表现是帧率达不到预期或者丢帧。调优过程先测裸吞吐FPGA发递增数据主机收看能到多少。如果裸吞吐就低说明控制器或驱动有问题。查FIFOFPGA侧到USB控制器的FIFO是不是满了或者空了用逻辑分析仪抓FIFO的满空信号。查驱动主机侧驱动的传输包大小改成大包试试。查主机换一台主机或者换一个USB3.0口试试排除主机问题。我遇到过一次USB3.0吞吐只有1.5Gbps查了半天发现是FPGA侧的FIFO时钟和USB控制器的时钟相位不对导致FIFO读写冲突。后来调整了时钟相位吞吐恢复到3.2Gbps。7. 几个容易被忽略的设计细节7.1 复位信号的亚稳态处理FPGA里复位信号如果处理不好会导致亚稳态。尤其是跨时钟域的复位一定要做同步。我的做法是每个时钟域用两级触发器同步复位信号释放时用异步复位同步释放的方式。// 异步复位同步释放 reg [1:0] rst_sync; always (posedge clk or negedge rst_n) begin if (!rst_n) begin rst_sync 2b00; end else begin rst_sync {rst_sync[0], 1b1}; end end wire rst_synced rst_sync[1];7.2 定点数运算在图像预处理中的应用双目图像预处理里去马赛克、灰度化、滤波这些操作用定点数比浮点省资源。定点数的关键是定标也就是小数点位置。比如RAW10的数据是10位做滤波时中间结果要留够位宽避免溢出。我一般用Q格式比如Q2.8表示2位整数8位小数。7.3 温控风扇的PWM控制工业相机如果功耗大可能需要风扇。风扇用PWM控制FPGA产生PWM信号根据温度调整占空比。PWM频率一般25kHz左右避开人耳听觉范围。温度低时风扇停转或者低速温度高时全速。8. 方案验证与实测数据8.1 双目同步精度的实测同步精度用示波器测两路摄像头的曝光信号看上升沿的时间差。我实测下来用外部触发的方式两路曝光信号的偏差在1微秒以内。如果不做触发同步偏差能到几毫秒。8.2 端到端延迟的测量端到端延迟从摄像头曝光到主机收到数据包括曝光时间、读出时间、MIPI传输、DDR3缓存、USB3.0传输。我实测下来1080p60的情况下延迟在20毫秒左右。其中曝光时间占16毫秒剩下的传输和处理占4毫秒。8.3 长时间运行的稳定性连续跑24小时帧率稳定在60fps没有丢帧。温度稳定在70度左右DDR3没有出错。这个稳定性对工业场景来说够用了。整套方案从选型到调试前后花了大概三个月。中间最大的坑是MIPI和DDR3的相互干扰以及USB3.0的吞吐调优。现在回头看板级集成的核心还是信号完整性和时钟域处理这两块做好了系统就稳了。后面如果要做更高分辨率或者更高帧率MIPI可能要上4 laneDDR3要上更高速的颗粒USB3.0可能要考虑USB3.1或者万兆网但基本的架构和调试思路是相通的。