原文链接ieeexplore.ieee.org/document/11162636/author{Tang, Linfeng and Li, Chunyu and Ma, Jiayi}Abstract在大多数融合任务中基本事实(GT)的缺乏给模型的优化、评估和推广带来了巨大的挑战。现有的实现互补上下文聚合的融合方法主要依赖于手工制定的融合规则和复杂的损失函数这引入了主观性往往无法适应复杂的现实场景。为了应对这一挑战我们提出了一种新的融合范例MASK-DiFuser它巧妙地将无监督图像融合任务转化为双蒙版图像重建任务通过将蒙版图像建模与扩散模型相结合克服了由于没有GT而产生的各种问题。特别是我们设计了一个双重掩蔽方案来模拟互补信息并使用扩散模型来从两个被掩蔽的输入恢复源图像从而聚合互补上下文。部署了具有注意力并行特征混合器的内容编码器以提取和整合互补特征提供本地内容指导。此外开发了一个语义编码器来提供全局上下文并通过交叉注意机制将其集成到扩散模型中。在推理过程中MASK-DIFUSER从高斯分布开始在多源图像的条件下迭代去噪直接生成融合图像。掩蔽扩散模型从高质量的自然图像中学习先验知识确保融合结果更接近人类的视觉感知。在红外可见、医学、多曝光和多聚焦图像融合等多个融合任务上的广泛实验表明MASK-DiFuser显著优于SOTA融合方案。I. INTRODUCTION图1.克服图像融合领域缺乏真实性的各种解决方案工作流程和不同图像融合任务的示意图。单模态(或设置)传感器从特定波段或角度捕获场景信息使其具有全面描述场景的挑战性。因此多源融合成为机器视觉领域的新宠图像融合受到了极大的关注。图像融合的目的是从多幅图像中聚集互补信息便于视觉感知和语义决策。一般来说图像融合主要包括多模式融合和数字摄影融合。红外与可见光图像融合(IVIF)和医学图像融合(MIF)是多模式图像融合(MMIF)的代表任务。在数字摄影图像融合中两个典型的任务是多曝光图像融合(MEF)和多聚焦图像融合(MFF)。图像融合的有效信息聚合和视觉效果使其在军事检测、智能医疗、辅助驾驶[1]、场景理解[2]、[3]等军事和民用领域都得到了广泛的应用。深度学习的进步极大地推动了图像融合的发展。自动编码器(AE)、卷积神经网络(CNN)、产生式对抗网络(GAN)、变形器和扩散模型等一系列复杂的网络结构已经被应用于图像融合任务中取得了良好的性能。在早期阶段研究人员将不同的融合任务作为独立的问题来处理并开发了几个著名的算法如DeepFuse[4]、DenseFuse[5]、FusionGAN[6]、EMFusion[7]和SeAFusion[8]。DeepFuse率先将深度学习引入多曝光图像融合。DenseFuse、FusionGAN和SeAFusion是用于红外和可见光图像融合的三种方法。具体地说DenseFuse开创了一个基于声发射的框架其中深度学习明确负责特征提取和图像重建。FusionGAN将图像融合定义为生成者和鉴别者之间的对抗性博弈标志着Gans在该领域的首次应用。SeAFusion是第一个语义感知框架将语义引导引入到图像融合中。EMFusion是一种无监督的医学图像融合方法通过浅层和深层约束提高了信息的保存性和互补性。除了特定于任务的方法外研究人员还广泛探索了各种融合任务之间的共性并在统一的框架中对它们进行了建模。一些具有代表性的统一图像融合方法包括IFCNN[9]、PMGI[10]、U2Fusion[11]、Defusion[12]和SwinFusion[13]。值得强调的是真实的融合图像在大多数图像融合任务中通常是不可用的[14]这严重阻碍了图像融合领域的进步。由于缺乏权威的监督信号研究人员在模型训练、性能评估以及方法的可解释性和泛化方面面临着巨大的挑战使得现有的方法很难在复杂和动态的现实场景中实现稳定的应用。因此图像融合领域提出了各种解决方案来缓解这一挑战。一方面研究人员设计了复杂的损失函数[6]、[13]、[15]、[16]来训练直接合成融合图像的端到端融合模型如图1(A)所示。最初损失函数是通过测量融合图像和源图像之间的相似性来构建的通常依赖于特定的手工制作的先验知识这使得适应复杂和动态的融合场景具有挑战性。此外研究人员试图手动合成地面实数(GT)来构建损失函数[17]、[18]。然而手动GT构建不仅是劳动密集型的而且受个人偏好的影响并且仅适用于特定的融合任务例如MEF和MFF。另一方面一些方法将图像融合分解为三个过程即特征提取、聚合和图像重建[5]、[9]、[19]如图1(B)所示。他们通常通过自我监督训练自动编码器进行特征提取和图像重建。最后利用手工构造的融合规则进行特征聚合。虽然这种解决方案缓解了缺乏融合GT的问题但依赖于人类设计的启发式规则的简单手工制定的融合规则缺乏对数据本身内在融合模式的深入理解从而在处理复杂多变的融合场景时显示出明显的局限性。此外由于缺乏成组技术和不同融合任务的不同优化目标大多数统一的方法仍然需要为每个任务训练特定的模型[10][13]。虽然U2Fusion[11]和TC-MoA[20]分别通过弹性权重合并和混合专家机制在单一模型中实现了多任务融合但它们尚未克服与GT相关的挑战。因此GT的缺失不仅成为图像融合领域发展的一大障碍而且极大地限制了统一图像融合方法的适用性和推广。为了解决这一问题我们提出了一种新的观点通过有效地整合来自多个源图像的互补信息来构建完整的场景表示所有图像融合任务都可以统一在生成具有自然视觉特征的高质量图像的目标下如清晰的纹理、适当的曝光和高对比度。这一目标符合人类的感知期望可以作为多模式图像融合和数字摄影图像融合的统一标准。在这项工作中我们努力解决由于缺乏地面真实(GT)而在图像融合中产生的一系列长期挑战包括由于依赖于人工定义的基于先验的损失函数而收敛到局部次优解的优化过程以及针对特定任务训练的模型对其他融合场景的有限适应性。考虑到自监督学习可以有效地从海量的未标记数据中挖掘潜在特征和结构信息[21]我们巧妙地将掩蔽图像建模(MIM)[22]应用于图像融合领域将非监督图像融合任务转化为具有GTS的自监督双掩模图像重建过程。具体地说我们通过对图像进行两次掩码来生成两个互补输入其中多个掩码选择性地结合高质量的图像内容、纯色补丁和退化版本。如图1(C)所示这种双重掩码技术是我们解决方案的关键因为它不仅模拟了实际融合场景中发现的宝贵的互补背景而且还提供了可靠的和任务不可知的监督信号。因此源图像可以作为真实的地面事实为补充信息聚合过程的优化和评估提供可靠的依据。为了实现这一点我们首先提出了一种新的双掩码方案。此外我们使用掩蔽扩散模型作为融合网络来捕捉信息丰富的参考图像的生成先验确保了视觉上令人满意的融合结果。为了最大限度地发挥扩散模型的潜力我们引入了内容和语义条件分支分别提供全面的局部和全局指导。配备注意力并行功能混合器的内容分支整合并提供本地互补上下文。语义分支使用Transformer来提取全局上下文并通过交叉注意将其集成到扩散模型中。在推理过程中预先训练的掩蔽扩散模型作为一个统一和通用的融合模型自适应地聚合来自多源的互补信息而不需要精调通过我们的创新设计和MIM的优势有效地解决了GT在图像融合中的挑战。我们的主要贡献概括如下提出了一种基于蒙版图像建模和扩散模型的自监督统一图像融合模型MASK-DiFuser通过蒙版图像恢复来学习互补信息聚合缓解了图像融合中缺乏GT的问题。-设计了一种嵌入退化因子的双重掩蔽方案来模拟有价值的补充信息并潜在地增强了融合模型对干扰的鲁棒性。-开发了一种集成局部内容和全局语义上下文的掩蔽扩散模型通过自我监督从自然图像中学习高质量的先验使融合图像能够更接近人类的视觉感知。-广泛的实验表明我们的模型在红外可见、医疗、多次曝光和多焦点图像融合任务中表现出色特别是在颜色保持、对比度增强和曝光适应方面。II. RELATED WORKA. Image Fusion近年来图像融合技术取得了显著的进展。一方面特定于任务的方法现在超越了提高融合结果的视觉质量[7]、[23]、[24]、[25]以将融合与上下游任务相结合。提出了一些实用方案包括联合配准与融合[26]、[27]、[28]、[29]联合增强与融合[30]、[31]、[32]以及语义驱动融合方法[8]、[15]、[33]。另一方面统一的方法正在逐渐增多以增加对各种场景的普遍适用性。张某等人。将图像融合建模为纹理和强度比例保持并引入压缩分解网络来保留融合过程中的关键信息[10][34]。类似地Ma等人也是如此。将结构保持、纹理保持和适当的强度控制等多个图像融合任务统一起来使用Swin Transformer来捕获全局上下文以进行充分的信息聚合[13].由于没有GT这些方法需要手动选择合适的超参数并为不同的任务训练单独的模型。因此徐等人提出了自己的观点。利用弹性权重合并通过持续学习将各种任务的参数整合到单个模型中[11]。此外朱等人还提出了一种新的方法。引入混合专家机制在一个框架内实现多个融合任务[20]。值得注意的是这些方法仍然依赖于基于融合图像和源图像之间的相似性来构造损失函数这可能导致次优目标。B. Diffusion Model扩散模型(DM)[35]已经在各种计算机视觉领域获得了突出的地位包括文本到图像的生成[36]、文本到3D的生成[37]、图像处理[38]和图像恢复[39]、[40]。图像融合领域也引入了DM[41]、[42]、[43]。例如Difference[42]使用DM作为强大的特征提取器而DDFM[41]将预先训练的DM与分数匹配相结合以用于图像融合。唐等人。开发了退化稳健DM和扩散先验组合模块以聚合来自多个通道的高质量先验有效地减轻了干扰[32]。注意训练DM通常需要客观数据(GT)来构建马尔可夫链。Yi等人的研究成果。人工选择各种融合算法的最佳结果作为GTS来训练图像融合的特定扩散模型[44]这可能会引入主观偏差限制DMS的性能。因此由于GT的缺乏扩散模型在图像融合中的潜力仍然没有得到充分的开发。C. Masked Image Modeling受掩蔽语言建模[45]、[46]在自然语言处理(NLP)中的成功启发掩蔽图像建模(MIM)[21]、[47]、[48]最近已经成为一种用于视觉表征学习的强大的自我监督学习范式。通过屏蔽输入图像的一部分并预测缺失部分MIM促进了对空间和结构模式的理解从而使学习多样化的视觉表示成为可能。像MASTED AUTOCODERS(MAE)[21]这样的开创性工作引入了一种非对称编解码器结构其中编码器高效地处理可见块而轻量级解码器重建被屏蔽的区域有效地从不完整的输入中捕获语义和结构特征。在此基础上Beit[48]扩展了MIM使用记号器将图像块转换为离散的记号利用预先学习的字典来指导重建这在MIM和NLP中的掩蔽语言建模之间建立了更紧密的联系。此外SimMIM[22]通过预测遮罩区域的原始像素值简化了MIM框架避免了复杂的标记化和预先学习的字典实现了简单性和可扩展性之间的平衡。尽管蒙版图像建模在单峰视觉任务中取得了巨大的成功但在图像融合领域的应用还不是很广泛。目前融合是目前为止唯一一项融合了MIM思想的工作利用自我监督学习和掩蔽技术进行统一的图像融合并展示了一定程度的融合性能。然而它主要关注的是通过将图像分解成共同和独特的特征来提高图像融合的可解释性而不是直接解决图像融合中GT的缺失。此外融合算法采用了一种简单的掩蔽方案仅模拟源图像的公共和唯一信息。它还将融合限制为Y通道中的互补信息并依赖于手动创建的颜色融合规则这限制了其整体性能。在这项工作中我们通过将蒙版图像建模和扩散建模相结合并考虑真实场景中退化因素的存在来克服GT的不足以获取高质量的生成先验信息并产生更符合人类视觉感知的融合结果。III. METHODOLOGY图2.MASK-DIFUSER的总体框架重点是通过蒙版图像建模进行自我监督训练。A. Problem Overview图像融合的本质是将源图像中互补的、有意义的信息融合到一幅融合的图像中。然而由于缺乏真实的融合图像(即基本事实)很难明确地定义有意义的补充信息。为了解决这一问题我们提出了一种特殊的双重掩模方案来模拟有用的互补上下文从而将无监督图像融合转化为自监督掩模图像恢复任务如图2所示。此外我们还引入了一个具有强大的生成和泛化能力的扩散模型使得所提出的方案能够应用于各种图像融合任务。最终预先训练了自监督学习的掩蔽扩散模型作为多个融合任务的统一且通用的生成器而无需微调。具体地说扩散模型在整合互补信息的同时从高质量图像中学习生成先验从而产生更符合人类视觉感知的融合结果。接下来我们详细阐述了基于掩蔽扩散模型的图像融合的关键概念包括双重掩蔽方案、网络结构和损失函数以及完整的图像融合推理过程。III.-B. Image Fusion Via Masked Diffusion ModelFig. 3. Vanilla masking scheme vs. our dual masking scheme.1)双掩码给定高质量的源图像X0∈RH×W×3香草掩码方案通常通过应用从均匀分布采样的具有固定掩码率(例如50%)的随机二进制掩码M来构建两个互补的掩码对应物(即xA和xB)如图3(B)所示。从数学上讲这个过程可以表示为其中M‘是M的逻辑否定XP∈RH×W×3表示具有随机分配的像素值p的纯图像。然而这种对互补信息的简化模拟经常导致后续融合模型中的模式崩溃从而阻碍有效的信息集成。此外它忽略了实际成像过程中常见的退化问题如光照退化、噪声和模糊。为了解决这些局限性我们提出了一种新的双屏蔽方案如图3(C)所示。建议的双掩码方案定义为其中D(·)是一组随机退化操作包括高斯模糊、高斯噪声、伽马校正和幅度-相位变换[49]。这种设计具有双重用途。一方面M2用退化的补丁替换了非屏蔽区域的一部分迫使模型从退化的输入重建高质量的内容从而增强了它的生成能力。另一方面M4将退化的斑块引入蒙版区域促使模型选择性地提取和保留有价值的内容从而提高了模型的区分能力。最终通过生成综合考虑真实感退化的互补图像所提出的双重掩蔽方案有效地模拟了现实世界图像融合任务中遇到的不同场景。这种方法显著提高了以自监督方式训练的基于合成数据的融合模型的稳健性和泛化能力。2)掩蔽扩散模型如图2(A)所示我们的掩蔽扩散模型继承了条件扩散模型并结合了双重掩蔽方案其中包括正向扩散和反向去噪过程。本质上它学习集成来自多个源图像的互补信息同时用马尔科夫链近似高质量图像的分布。前向过程涉及将高斯噪声逐渐添加到数据分布x0∼p(X0)的马尔可夫链其定义如下其中t∈[12...T]表示时间步长βt表示噪声的变化时间表。利用高斯分布的性质和重新参数的迭代推导我们可以将正向马尔可夫过程重新表示为其中。因此t步样本Xt可以直接从X0导出为其中t∼N(0i)。如果扩散时间步长T足够大则αT将渐近接近0。因此在正向过程结束时XT的分布近似于标准正态分布N(0i)。反向过程从纯高斯分布开始并逐渐去除噪声以恢复以两个互补的掩模图像xA和xB为条件的原始数据分布其也服从马尔可夫链如下在前人工作的基础上我们采用去噪网络θ来预测t步的噪声以逼近平均μσ2t是一个随时间变化的常数。具体地分布参数可以表示为其中θ(xTxAxBt)表示以xT、xA、xB和t为条件的θ估计的噪声。最后使用重新参数化技巧可以将XT−1采样为其中z∼N(0i)是标准的高斯噪声。如图2(A)所示我们的降噪网络θ涉及三个关键组件即内容编码器EC、语义编码器ES和去噪U-Net ND其中前两个组件旨在捕获局部和全局条件上下文。一方面我们引入了一个内容编码器它将互补的图像转换为融合的特征提供全面的场景表示作为条件。在这种情况下补充信息是指高质量的内容如高对比度区域、尖锐的结构边缘、细粒度的纹理、自然光照和饱和颜色。与原始像素相比基于特征的条件处理更好地捕捉了结构和抽象的场景信息有效地缓解了曝光和形态差异的影响从而方便了图像生成过程。内容分支由特征抽取器、注意力并行特征混合器和强化块组成增强块以xA和xB为输入生成局部内容条件公式如下首先特征抽取器对xA和xB进行处理得到。然后将它们送入APFMAPFM通过整合通道和空间上下文来执行粗略内容融合以评估特征重要性并生成融合权重。APFM的详细工作流程如图2(B)所示。融合的内容特征随后由增强块处理以降低通道维度并产生FF。最后将Ff与XT沿通道的特征投影连接起来为去噪U网提供局部内容先验。另一方面语义分支集成了CNN和Transformer旨在提供全局语义优先。具体地我们首先将xA和xB送入共享的语义编码器以获得SA∈RH/4×W/4×128和SB∈RH/4×W/4×128的语义表示其表示为然后通过交叉注意机制将SA和SB合并到去噪U网中为图像生成提供全局语义指导。交叉注意机制的表述如下其中QW(I)Q·ϕi(Xt)KW(I)K·SVW(I)V·Sϕi(Xt)表示去噪U网中第i层的中间表示为可学习权重矩阵d为比例因子。对于多源信息交互我们沿着通道维度串联注意力(ϕI(XT)SA)和注意力(ϕI(XT)SB)。该分支确保充分利用来自多个源图像的粗粒度场景上下文从而允许融合图像在结构、照明和颜色保真度方面与人类的感知期望保持一致。最终通过结合局部内容和全局语义信息噪声估计过程可以实现为。3)损失函数在前人工作[35]、[36]的基础上我们使用扩散损失Ldiff来训练我们的掩蔽扩散模型定义如下其中||·||2表示L2范数。尽管掩蔽扩散模型通过自监督学习优化Ldiff可以逼近p(x0|xAxB)分布但我们在实践中观察到它经常遭受明显的颜色失真。受[40]、[50]的启发我们进一步引入了图像层次一致性损失包括像素损失Lpix、结构相似性损失Lssim、感知损失Lper和颜色一致性损失Lcol.具体地根据(5)我们可以基于由去噪网络ˆ预测的噪声来近似θXT 0其表示为因此像素损失LPix被定义为估计的ˆxt 0和地面真实x0之间的强度差此外SSIM损失保持结构相似性其定义为其中μˆxt 0和μx0是平均像素值σ2 xˆt 0和σ2 x0是方差σˆxt 0x0是协方差以及c1、c2是数值稳定性常数。感知损失通过使用VGG网络从ˆXT 0和X0提取深层特征来施加约束公式如下其中φL VGG表示VGG网络的L第卷积层。颜色一致性损失明确地最小化ˆXT 0和X0的颜色向量之间的角度以防止颜色失真其公式如下其中x(I)表示x的第i个像素∠(··)计算rgb颜色空间中两个颜色向量之间的角度。最后训练我们的屏蔽扩散模型的总损失是上述损失的加权和其中λ1、λ2、λ3和λ4是控制各种损耗权衡的参数。算法1总结了整个训练流水线。4)推理一旦训练完成屏蔽扩散模型作为一个通用的、统一的融合网络支持红外可见、医学、多曝光、多聚焦图像对作为输入无需微调直接生成融合图像。如算法1所示首先将互补的多源图像送入内容编码器和语义编码器分别提取局部内容特征和全局语义先验。然后沿着通道维度将内容特征与噪声样本XT的特征表示级联作为去噪U网的输入同时通过交叉注意机制将语义先验合并到U网中。最后我们的MaskDiFuser从高斯分布出发在局部内容和全局语义先验的指导下根据(8)进行迭代去噪合成出信息丰富的融合图像。