原文链接https://doi.org/10.1109/tgrs.2025.3591809author{Liu, Guanyu and Zhang, Ruiheng and Xu, Lixin and Zhang, Qi and Zhou, Daming}Abstract红外(IR)和可见光(VIS)图像融合旨在通过融合互补传感器数据来增强场景表示。然而现有的方法不能协调光谱保真度与结构一致性。一方面灰度融合方法通过丢弃颜色信息来保留结构细节固有地牺牲了光谱保真度。另一方面颜色融合技术保持了光谱的真实性但由于色度信息的不对准而损害了细节和结构的一致性。为了弥补这一差距我们提出了基于扩散的公差分网络(DIF-CDFusion)它通过基于扩散的特征提取和公差分交替特征融合来解决光谱保真度和结构细节保留之间的矛盾。通过在潜在空间中单独构造去噪扩散过程来建模多通道光谱分布我们的方法提取了保持颜色完整性的扩散特征同时捕获了用于纹理保留的完整光谱信息。随后我们设计了一个共差交替融合(CDAF)模块在扩散特征中交替集成差模和共模分量既增强了结构细节又增强了热目标的显著性。广泛的实验表明我们的DIF-CDFusion在数量和质量上都达到了最先进的性能。I. INTRODUCTION图1。颜色保真度、细节保留和目标突出度的图示。从(A)到(E)红外图像、可见光(VIS)图像、灰度融合图像(ReCoNet[14])、彩色融合方法(CEFusion[16])以及我们提出的DIF-CDFusion。绿色和红色的矩形分别表示细节保护和目标突出度的差异。条形图量化了每幅图像中显著目标的数量。红外传感器擅长在具有挑战性的条件下(例如云层或低照度)突出热突出的地面特征而可见光(VIS)相机捕捉复杂的表面光谱特征和空间纹理分布[1]。然而固有的光谱灵敏度限制限制了单模式传感器不能用于全面的场景表示例如地球表面、人和车辆[2]。红外(IR)-可见光图像融合通过将红外图像的热辐射特征与可见光图像中的多光谱空间模式相结合来解决这一问题在保留细节的同时保留关键的热对象[3]。通过协同跨模式传感器数据融合表示增强了各种应用的可解释性包括监测[4]、[5]、目标检测[6]、[7]、[8]、医疗分析[9]、遥感[4]和灾害响应[3]。现有的红外与可见光图像融合方法已经取得了很大的进展大致可以分为灰度融合和彩色融合。灰度方法例如FusionGAN[10]、SDNet[11]、DenseFuse[12]、YDTR[13]、ReCoNet[14]和ITFuse[15]在融合之前通过将可见图像转换为单通道输入来丢弃彩色信息。虽然这些方法有效地融合了热目标和结构细节但缺乏颜色编码显著降低了视觉真实感和人类感知对齐。颜色作为反映光谱特性和环境背景的重要线索在人类视觉认知中发挥着不可替代的作用。因此如图1(C)所示灰度融合通常输出高细节保真度但色彩丢失的融合图像这限制了它们在色彩敏感应用中的实用性。如图1(E)所示我们的基于扩散的公差分网络(DIF-CDFusion)在保持细节的同时实现了颜色信息的保真度。诸如TarDAL[17]、CrossFuse[18]和CEFusion[16]等颜色融合方法旨在通过将可见图像转换到YCbCR颜色空间来解决这一限制。这些方法将亮度(Y)通道与红外数据融合然后将融合结果与原始色度(CBCR)通道重新组合以获得最终的融合输出。然而这条管道本质上将颜色视为后处理人工产物而不是融合过程中的完整组件。融合模型仅对灰度输入进行操作忽略了原始RGB空间中的多通道相关性。因此重建的图像经常遭受颜色失真例如不自然的颜色偏移和不一致的饱和度这显著降低了视觉真实感如图1所示。此外在融合过程中缺乏对高频细节的关注经常导致纹理模糊特别是在具有复杂图案的复杂场景中如图1(D)的绿色矩形所示。此外如图1(D)中的红色矩形和条形图所示未能充分保存关键目标的热突出性可能会导致在监视和目标检测等应用中丢失重要信息。如图1(E)中的DIF-CDFusion所示这些缺点凸显了需要一种直接模拟多通道分布的框架以在增强互补特征的同时保持颜色的真实性。现有的Transformer方法依赖于空间注意力来建模结构细节但难以捕捉IR和可见光之间的光谱分布差异(例如LLVIP数据集中的微光颜色失真)。扩散模型的非平衡热力学过程自然地模拟多通道数据分布而差模-共模机制有效地将特定于形态的特征(例如红外热目标)与共享特征(例如场景结构)分开。因此本文选择将两者结合起来以解决光谱和结构信息协同保存的挑战。为了应对这些挑战我们提出了一种新的框架DIF-CDFusion该框架将基于扩散的特征学习与公差分交替融合机制相结合。我们利用去噪扩散模型通过正向-反向过程独立捕获单通道IR和三通道可见输入的多通道分布提取特定于通道的扩散特征通过在战略时间步长对解码器输出进行采样来保留频谱和结构特征。共差交替融合(CDAF)模块通过在差模特征提取单元(DMFE)和共模特征提取单元(CMFE)中交替处理来动态地整合这些特征其中DMFE通过注意引导路径强调独特的通道特征而CMFE强调共享属性。包含梯度保持、热强度一致性、感知质量和颜色保真度的综合损失函数确保生成视觉连贯和任务感知的融合图像。本文的贡献可以概括如下。1)我们发现去噪扩散过程可以实现特定于通道的多通道分布建模便于从可见光图像中提取颜色信息从红外图像中提取显著目标特征从而启发了我们基于扩散的特定通道特征提取方法。2)设计了一种差分-公共交替融合模块交替提取特定通道的差异特征和增强共享的共同特征从而增强特征的互补性从而提高红外图像中热目标的显著程度和可见光图像中的纹理细节。3)将非平衡热力学驱动的扩散与跨模式特征解耦相结合实现了红外-可见光融合中光谱建模和结构增强的协同优化为多模式融合建立了新的理论框架。II. RELATED WORKS根据融合结果将现有的红外与可见光图像融合方法分为灰度图像融合方法和彩色图像融合方法。A. Grayscale Image Fusion Methods灰度图像融合方法通常在融合前将可见图像转换为单通道表示从而产生灰度输出。这些方法往往侧重于保留红外图像中的热目标和可见光图像中的结构细节而忽略了对人类视觉感知至关重要的颜色信息。Ma等人。[10]提出了FusionGAN算法利用产生式对抗性网络(GANS)通过对抗性损失对红外图像和可见光图像进行融合既保留了可见纹理又保留了红外图像的热信息。然而它们的灰度处理流水线本身就会导致色彩保真度损失。Li和Wu[12]提出了DenseFuse这是一种基于自动编码器的体系结构具有用于多尺度特征融合的密集连接实现了增强的纹理保留同时仍然受到灰度预处理的限制。张和马[11]通过SDNet解决了实时融合的挑战SDNet是一个压缩和分解网络尽管限于灰度输出但它自适应地平衡了梯度和强度保持。唐等人。[13]YDTR引入了双分支变压器可捕获远距离依赖关系而Huang等人。[14]介绍使用递归卷积进行功能增强的ReCoNet-两者在架构创新的情况下仍保持灰度输出。唐等人。[15]提出ITFuse作为迭代求精框架通过渐进式融合实现最先进的纹理保存但从根本上仍局限于灰度表示。总而言之这些方法展示了有效的结构和保温能力同时突出了颜色信息保留的关键未解决挑战。B. Colored Image Fusion Methods彩色图像融合方法的目标是在融合红外图像的热细节的同时保留可见光谱的颜色信息。这些方法通常涉及将可见图像从RGB颜色空间转换为替代表示例如YCbCR以将亮度(Y)和色度(CBCR)分量分开。然后将亮度通道与红外图像融合并将结果与原始色度通道组合以产生彩色输出。刘等人。[17]提出了一种目标感知的双重对抗性学习框架TarDAL该框架通过双鉴别器结构保留了热信息和颜色信息但受到后处理颜色恢复的限制限制了多通道交互。Li和Wu[18]提出了CrossFuse他们开发了跨模式多尺度融合来改善颜色保留同时仍然依赖YCbCR空间转换这可能会导致颜色失真。Yang等人。[16]引入CEFusion和通道增强型网络用于直接多通道处理通过多尺度特征提取实现颜色保真度但从根本上受到颜色空间转换引起的伪影的限制。张某等人。[19]提出一个用于少镜头红外目标检测的基准强调需要稳健的跨模式对齐来缓解数据稀缺性和模式变异性。Yue et al.[20]将去噪网络应用于联合多通道数据分布(DIF-Fusion)采样消除了红外和可见光图像中的颜色空间限制。这些彩色融合方法展示了在色度保存方面的逐步改进同时揭示了原始RGB空间建模中的持久局限性。C. Transformer-Based Fusion Methods基于Transformer的融合方法利用自我注意机制来建模全局依赖关系从而能够更有效地集成多模式特征。这些方法通常使用编码器从源图像中提取特征表示并使用解码器来生成融合输出通常结合分层策略来捕获多尺度信息。典型作品如下。唐等人。[21]介绍了一种基于多尺度自适应变换的医学图像融合算法该算法将卷积和自关注相结合来保存解剖结构。然而固定比例的提取限制了分辨率的灵活性。唐和他[22]提出了EAT将对抗性学习与焦点转换器相结合来增强显著区域尽管在跨模式颜色一致性方面存在困难。唐等人。[15]介绍ITFuse这是一种用于IR-可见光融合的交互式转换器但依赖于可能会引入瑕疵的颜色空间转换。这些方法展示了变压器的潜力但在特定于通道的建模和频谱保真度方面面临挑战。尽管取得了进展但现有的颜色融合方法往往难以平衡颜色保真度与热细节和结构细节的保存如表一所清楚显示的那样。对颜色空间转换和后处理步骤的依赖限制了它们充分利用多通道输入中存在的补充信息的能力。这突出了对更集成的方法的需求该方法直接对多通道分布建模并生成彩色融合图像而无需中间变换。总而言之虽然灰度融合方法在保存热和结构信息方面表现出色但它们未能解决颜色保真度这一关键问题。另一方面彩色融合方法试图保留颜色信息但通常依赖于可能会降低融合图像质量的次优预处理步骤。如表I所示这些限制促使我们建议的方法的开发该方法直接建模多通道分布并生成彩色融合图像而不需要颜色空间转换从而在颜色保真度、纹理保持和热显著方面实现卓越的性能。III. METHODOLOGY图2.我们提出的DIF-CDFusion的框架。DIF-CDFusion包括1)双分支扩散模型通过正反向过程提取特定于形态的特征2)融合模块其中DMFE捕捉独特的模式CMFE识别共享特征以及3)重建网络生成具有增强的热细节和纹理细节的融合图像。在这一部分中我们介绍了我们提出的用于红外和可见光图像融合的DIF-CDFusion的全面体系结构。如图2所示我们的Dif-CDFusion框架包括三个阶段特征提取、融合和重建。双分支扩散模型通过正反向过程提取特征其中图像经历高斯噪声破坏和随后的去噪。融合模块通过DMFE和CMFE处理这些特征分别提取特定于通道和共享的特征。最后重建阶段通过上采样和卷积层生成融合图像在复合损失的监督下保持热细节和纹理细节。A. Diffusion-Based Feature Extraction给出一幅红外图像∈RH×W×1和可见光图像IVI∈RH×W×3的高度H和宽度W我们设计了一种双分支扩散结构来提取可区分的潜在表示。如图2所示并行分支使用协调去噪扩散概率模型(DDPM)处理单通道IR(1C-IR)和三通道VIS(3CVIS)输入。每个分支实现T步扩散过程其中前向相位逐渐添加高斯噪声以将输入I0变换为类似于各向同性高斯噪声的潜在变量XT。反向阶段使用学习的马尔可夫链通过T个去噪步骤迭代地预测和去除噪声。这种双向优化实现了分层的潜在空间构建同时保留了特定于通道的特征红外热模式和可见纹理。去噪网络εθ通过U网结构实现跨时间步长的特征交互。它的解码输出不是噪声本身而是神经网络变换后的特征映射编码了输入图像在潜在空间中的光谱分布(可见光RGB通道的相关性)和结构特征(红外热目标的空间位置)。我们将来自所选时间步{t1...tk}沿通道维度创建综合特征映射和其集成了跨通道的高频细节和低频结构。1)去噪网络去噪网络εθ采用基于SR3[23]的U网结构进行迭代噪声预测。该网络包括三个组件压缩编码器、扩展解码器和扩散头。编码器和解码器各自包括具有剩余连接的五个卷积层。扩散头利用负责最终噪声估计的单个卷积层。该体系结构能够通过连续的下采样和上采样操作逐步细化潜在特征同时在反向扩散过程中保持空间一致性。2)正向扩散过程正向扩散过程构成了一个马尔可夫链它遵循非平衡热力学原理从输入I0到T个时间步长逐步腐蚀。对于时间步长t它遵循的是噪波图像其中Z表示单位协方差矩阵。这里it和it−1表示连续的噪声破坏状态(单通道IR或三通道VIS)其中αt控制噪声调度。初始的损坏状态源于其中γ∈RH×W×C表示与输入维度C匹配的高斯噪声。通过(1)的递归应用我们得到闭式分布其中累加差异计划。该公式允许通过预定的噪声注入从I0直接计算它。3)反向扩散过程反向扩散过程通过在受噪声破坏的状态之间的参数转换迭代地恢复干净的图像[26]。在每个时间步长t去噪网络通过条件分布估计从它到它的转变−1其中方差σ2 t如下学习到的平均值µθ的参数如下其中εθ表示去噪网络。该网络接受噪声样本it∈RH×W×C和时间步长t作为输入实现通过连续的噪声预测逐渐逆转扩散过程的学习马尔可夫链[24]。4)扩散过程的损失函数扩散训练目标通过以下步骤最小化预测噪声和实际噪声之间的差异对于每一次训练迭代我们采样一对IR/可见光图像、噪声向量γ∼N(0Z)和时间步长t∼U{1...、T}。损失函数公式如下其中||·||2表示欧几里得范数。该目标遵循标准DDPM框架[24]训练网络εθ以预测在任意时间步长t处负责破坏原始图像I0的噪声分量。B. Common–Differential Alternate Fusion通过CDAF模块对提取的特征Fdiff ir和Fdiff vi进行处理生成融合特征FFUSE其中CDAF模块包含双差分模式特征抽取器和共模特征抽取器。融合始于向查询(Q)、关键字(K)和值(V)张量的跨模式投影其中Wvi∗Wir∗∈Rc×d是可学习的投影矩阵(dltC)。然后融合过程在差模和共模之间交替其中F∗D通过空间通道差分操作捕获特定于通道的特征而F∗C聚合跨通道通用模式。最终的融合特征通过通道级联和线性投影将这两个分量组合在一起。红外-可见光图像融合的目标是生成保持热辐射特性和可见光纹理的合成表示。挑战在于捕获特定于通道和共享的跨通道功能。我们的框架通过新颖的差模和共模抽取器来解决这一问题利用动态注意力进行跨模式依赖建模和特征解缠如以下部分所述。1)差分模式特征提取模块差分模式特征提取模块通过空间-通道差分运算来提取特定于模式的区分特征如图3所示。给定跨模式查询Qir和可见键/值Kvi、Vvi基线交叉注意(CA)计算在那里dk将注意力得分正常化。通过以下方式改进了差异特征其中LN(·)表示层归一化MLP(·)实现具有GELU激活的两层感知器。该架构通过参数差分操作将特定于通道的模式从共享表示中分离出来。2)共模特征提取单元共模特征提取单元通过参数强化机制捕获共享的跨模式表示如图4所示。与专注于特定于通道的区别性特征的DMFE不同CMFE强调通道之间的共性。给定跨模式查询Qir和可见键/值Kvi、VviCMFE中的核心CA机制计算DK将注意力分数归一化。没有负面信号使CMFE能够专注于共同的模式而不是特定于通道的差异。共同特征通过以下方式获得其中LN(·)表示层归一化而MLP(·)实现了一个具有切换激活的两层感知器。该架构加强了跨模式相关性在保持要素保真度的同时弥合了IR-可见光区域的差距。通过DMFE和CMFE的交替迭代构建了模态特征竞争与互补的动态平衡。从数学上讲这一过程可以看作是跨峰特征空间中的双向投影优化问题。具体而言DMFE侧重于捕捉不同模式图像之间的差异特征这些特征反映了红外图像和可见光图像独特的信息表达如红外图像中对温度敏感的热特征以及可见光图像中丰富的纹理和颜色特征。同时CMFE强调提取不同模式图像的共同特征如物体的一般轮廓和位置信息这些特征代表了不同模式在场景信息表达上的共性。在交替迭代过程中DMFE和CMFE协同作用。DMFE提取差异性特征促使模型更加关注唯一的模态信息避免信息同质化。CMFE提取共同特征以确保融合图像保留跨医疗设备的关键共享信息并保持整体一致性。这种“竞争-互补”关系在数学上表现为跨通道特征空间中的双向投影。DMFE操作投射到不同的信息相关子空间而CMFE投射到公共信息相关子空间。这一过程的不断迭代使得模型能够有效地融合共同信息保留独特的模态特征实现高质量的图像融合。C. Loss Function完整的Lost功能由四个互补组件组成这些组件引导融合网络保留热特征、保持纹理细节并确保自然颜色再现。假设IF∈RH×W×3表示融合后的图像IIR和IVI分别表示输入的IR和可见光图像。综合损失公式如下1)梯度损失为了保持红外图像的热结构信息我们采用了梯度相关损失其中∇[∇x∇y]表示组合水平和垂直Sobel滤波器的梯度算子如果∈RH×W表示融合图像的强度通道则IIR∈RH×W是输入IR图像并且||·||1计算空间维度H×W上的平均绝对差。2)强度一致性损失强度损失强制两种模式的像素级保真度其中MIR表示通过直方图阈值计算的IR显著掩码。3)感知loss采用基于VGG-19的[27]特征匹配来保持视觉语义其中φL(·)表示来自预训练的VGG网络的层L的特征地图。4)颜色稳定性损失为了保持自然的颜色再现我们采用了CIELAB空间色度损失其中Q(·)表示ab色度空间中的颜色直方图而iab表示Lab颜色通道。将平衡系数设置为λGRAD1.2、λINT1.0、λPERC0.6和λCOLOR0.5。关于这些超级参数的选择请参阅第四-C.4节。在融合网络训练过程中预先训练的扩散模型保持冻结重点优化特征交互和重构参数。D. Complexity Analysis从扩散特征提取、融合模块和重建阶段三个关键部分分析了DIF-CDFusion的计算复杂性。对于扩散特征提取每个分支(IR和可见光)由T个扩散步骤组成每个步骤利用U网结构。U-Net在每一步的计算代价近似为O(HWCLHWCu)其中H和W分别表示输入图像的高度和宽度CL是编码器通道的数目而Cu是解码器通道的数目。因此两个分支的总复杂性为CDAF模块包括DMFE和CMFE的M个交替迭代。这些单元内的每个注意操作的复杂度为O(N2d)其中NHW是特征像素数d是投影维度。融合模块的总复杂性为相比之下传统的基于CNN的方法如DenseFuse编解码器的复杂度为O(HW(CencCdec))其中Cenc和Cdec分别是编码器和解码器通道的数量。虽然DifCDFusion由于扩散过程而具有较高的理论复杂性但通过预先训练扩散模块并在融合网络训练期间冻结它来缓解这一问题从而显著降低了推理时间的计算负担。