CVPR 2026｜PhyFusion：基于物理感知和模态特定先验驱动的红外与可见光图像融合

PhyFusion把红外辐射与可见光反射写进图像融合1. 一句话总结现有红外-可见光融合方法大多只匹配图像外观容易削弱红外热目标并模糊可见光纹理。本文提出PhyFusion分别从红外辐射模型和可见光 Retinex 模型中提取物理先验再利用发射率与反射率指导融合实现更强的热目标对比、更清晰的结构细节和更好的下游分割性能。2. 论文信息题目PhyFusion: Physics-Aware Infrared and Visible Image Fusion via Modality-Specific Physical Priors | 基于模态特定物理先验的物理感知红外-可见光图像融合发表CVPR 2026 Findings作者Haiyang Jiang、Huiqin Zhang、Yanduo Zhang、Jiayi Ma、Junjun Jiang、Huabing Zhou*单位武汉工程大学智能机器人湖北省重点实验室武汉大学哈尔滨工业大学代码https://github.com/HaiyanggJiang/PhyFusion3. 论文摘要现有问题红外和可见光图像采用的是不同的成像原理但是大多数的方法把融合看作是外观匹配的问题并且会丢失掉模式特有的信息。核心思路把红外图像分成发射率、温度以及外界热辐射三部分把可见光图像分成反射率和光源两部分。关键设计选择稳定的并且互相补充的发射率 与反射率 用物理引导融合模块把局部和全局的物理信息都给到指导信号里去。实验效果在MSRS、M³FD和TNO的12个指标里有十个最好的两个次好的在MSRS语义分割上得到78.2%的mIoU。图1 原文Fig.1展示现有不同之处在于PhyFusion的方法和发射率、温度、热辐射、反照率以及光照等因素所构成的物理先验可以更准确地反映热目标和结构特征。核心创新点创新一就是以成像机理为依据来重建模型并进行融合除了对红外和可见光图像进行外貌特征的学习之外PhyFusion 还把两个传感器拍摄的照片所代表的实际内容也纳入到了融合的过程中来。创新二就是从五个可以解释的物理成分中抽取出来两个物理先验提取器所做出的预测是红外模态就是发射率、温度 、环境热辐射可见光模式下的反射率、照明其中主要是对热辐射材料和目标进行分布说明。尽量保持不容易受到灯光影响的纹理结构。创新三就是多层次交互和全局调节相结合Physics-Guided Fusion Module(PGFM)用DINO编码发射率、反射率在不同尺度上加入跨模态注意机制来增强物理特征并且使用空间自适应调节对融合特征进行修改。创新四就是物理一致性被破坏了论文还对融合图像和红外图像在物理分解空间里的一致性进行了限制并且在突出热目标的时候不会出现普通的重建所造成的过度光滑的问题。5. 方法详解5.1 整个结构PhyFusion 可以接收可见光图片 和红外图像 得到混合图象。分为两部分物理先验提取PPE取红外和可见光的物理先验物理先验引导与融合PPGF用发射率、反射率来引导特征融合。图2 原文Fig.2第一阶段把红外图像分成、、把可见光图像分成、第二步用PGFM给图片加上一些物理上的先验信息之后再用RestormerDecoder把它们放在一起。5.2 红外物理先验提取红外图像是由物体自身的辐射以及环境反射出来的辐射所构成的按照辐射传输模型可以得到如下两种形式其中表面发射率为温度场局部环境辐射热的方向是红外图象的网格平均值逐个相乘。红外先验提取器得到的结果是公式解读发射率表示物体向外散发热量的能力大小温度越大则该物体所发出的热量也就越多在低发射率的地方会有更多的环境反射热能存在。模型用重新构建出的红外图来使得上述三个因素之间有物理上的联系。5.3 可见光物理先验提取根据Retinex模型可知可见光图像是由反射率与照明共同作用产生的其中表示材料的反光系数指环境光。在训练的时候要保证反射率的一致性、光照的平滑以及用Retinex方法进行重构所受到的限制最终得到公式解读反射率一致性的要求是同一个场景在不同的光照条件下具有相似的结构照明平滑约束用来抑制不正常的亮度差异而重建损失则是为了使得分解出来的结果可以还原成原始图像。论文最后决定用发射率 和反射率 从融合的角度来看由于两者都给出了稳定的热目标的信息以及可视化的结构信息。图3 原文Fig.3把发射率、温度、热辐射、反射率以及照明效果都用可视化的形式表现出来。发射率用来显示热的目标和物质分布情况而反射率则保持了受到光照影响较小的部分结构特征。5.4 PGFM用物理先验来引导融合把红外和可见光的图像按照通道维度进行拼接之后再用Transformer编码器得到最初的特征DINO 会从发射率和反射率里抽取浅层、中层、深层特征以及全局上下文PGFM 由两部分组成CMI-Block双方向跨模态交互CMI-Block 用交换查询的方式把图像特征查询到物理先验上去并且让物理先验反过来去查询图像的内容在各个层次上都保持了红外热目标和可见光纹理的关系。SAM-Unit全局物理环境调节全局发射率和反射率的特点用来产生缩放参数 和偏移参数 融合特征在经过实例归一化的处理之后会进行动态调整公式解读对各个地方以及各种通道进行加强处理来显示高温物体或者重要的图案再对细粒度结构进行优化在此基础上用自注意力以及Restormer解码器来获得最后的结果。图4 原文Fig.4CMI-Block 负责物理先验和图像特征在不同尺度上的互惠作用SAM-Unit 则是通过全局的物理上下文来调整融合后的特征。5.5 损失函数第二步用结构相似性损失、强度损失、最大梯度损失以及物理一致性损失来训练模型最重要的物理不一致性的损失是实验中设置公式解读前三个是限制结构、明显强度以及边沿细节的而物理一致性损失则是指要使融合后的图像具有和原始红外图像一样的辐射特性。用一句话来概括这个方法就是首先在红外图上得到发射率在可见光图上得到反射率然后用这两种物理先验在局部多层次以及全局上下文两个方面一起去引导融合。6. 实验结果实验条件训练数据MSRS中包含1083幅图片测试数据M³FD300对、MSRS361对、LLVIP300对、TNO113对**训练轮数**1 20个周期输入尺寸批大小8优化器AdamW学习率从 衰减至硬件NVIDIA A800 PCIe 80Gbps评价指标EN、SF、AG、SD对比方法TarDAL、SHIP、Text-IF、SAGE、KDFuse、DCEvo、HCLFuse6.2 结果融合在MSRS、M³FD以及TNO所提出的12个标准里PhyFusion获得了最好的十种和第二好的两种。M³FD 四项指标都为最优的情况是EN 7.424SF 20.605AG 6.828SD 51.017SF、AG 较高表示融合后的结果有比较明显的边界以及较多的结构信息SD 较大则意味着图片对比度更好。Table 1 主要定量对比结果表比较八种方法在MSRS、M³FD和TNO上的EN、SF、AG以及SD的结果并且PhyFusion在所有的指标上都取得了最好的或者第二好的成绩。6.3 定性的结论在低光照条件下、下雨或者大雾天气以及复杂的道路环境里PhyFusion 可以做到增加人和其他热源的目标恢复远处建筑物、道路等结构保留云彩、车轮、水滴以及护栏等细节防止出现过分锐化的现象以及不真实的对比度。图5 原文Fig.5给出M³FD、MSRS以及TNO上的一些例子来说明PhyFusion可以在复杂的光照和雨雾条件下既保热目标又保结构纹理。下游语义分割用SegFormer-B1对MSRS融合的结果做语义分割。PhyFusion获得78.2%的mIoU比第二名DCEvo高出77.4个百分点而护栏类别的占比更是达到了IoU为0.845。表2PhyFusion 的 mIoU 最高可以达到 78.2%这表明它所得到的结果在视觉上要比其他方法好很多并且对下游任务的理解也有很大的帮助。图6 原文Fig.6用各种不同的融合结果来表示分割的效果PhyFusion 的目标区域更加全面、边界也更为精确。消融实验根据LLVIP上的消融结果可以知道发射率 主要是提高热的目标反射率 主要是修复人脸、衣服等部位的纹理PGFM 比一般的注意更容易用到物理先验上同时使用 和 之后热点和纹理就比较均匀了物理一致性损失比一般情况差 重建损失。完整模型取得EN7.378SF11.436AG2.978SD59.101四个方面的表现都很好。图7 原文Fig.7用各种各样的物理先验、融合模块以及损失函数来得到的结果中完整的模型对于热目标、纹理和对比度的表现最好。表3验证发射率、反射率、PGFM以及物理一致性损失都会对结果产生积极的影响。模型复杂度在 PhyFusion 复杂度如下所示参数量89.515MFLOPs74.981G推理时间0.074s论文中提到物理先验提取器以及PGFM会带来一定的计算负担但是作者认为这可以换来融合效果好、下游任务表现优秀的优点是可以接受的。表4PhyFusion 的效率不是最高但是得到了较好的融合效果和下游任务的表现。7、总结和展望PhyFusion 把红外和可见光成像的不同之处转化成了可以加以利用的物理先验以发射率为热辐射的目标来表示以反射率为稳定的纹理并且借助跨模态交互以及空间调制来进行融合。实验结果表明在低光照条件下、下雨或者下雪以及夜晚的时候这种方法可以很好地平衡热目标、结构细节以及下游语义信息。论文还提到两个物理先验提取器以及PGFM增加了参数量和计算成本以后还可以继续减小先验提取模块以保持物理一致性和提高部署效率。一句话总结首先弄明白红外图像是怎样形成的然后用发射率、反射率来决定要保留什么样的信息。往期推荐