一、概述针对现阶段无监督域自适应unsupervised domain adaptation, UDA中常见的由于分布漂移导致的模型性能受限现象现有的方法通常在高度非凸的优化空间中寻找非线性映射这种做法会带来表示崩溃和语义扭曲的风险。该模型的做法是在目标域上训练扩散模型逐步改变源域特征的分布每次转换后交替训练扩散模型和分类器使其向目标域迁移同时尽可能保持原来的类别。二、方法2.1数据处理训练数据包括源场景的高光谱邻域块中心像素的地物类别目标场景的高光谱邻域块无类别标签。主要的问题是源域和目标域中同一地物特征分布可能存在明显差异。为了避免该问题作者提出了一种强度渐进的过渡特征来避免一次性完成大幅度变换。上式中的箭头表示渐进变化上一轮的输出并不一定作为下一轮的输入。2.2模型结构图1.模型总体结构图如上图所示模型主要包含三个部分Mamba特征编码器将特征映射到潜空间扩散去噪网络学习目标域特征分布生成过渡特征记忆Transformer域适配器根据特征预测类别并逐步调整分类边界。2.3模型流程整个流程分为四个阶段源域分类预训练-目标域扩散建模-生成与分类交替适应-目标域推理。2.3.1源域预训练该阶段的作用是建立稳定的特征空间。模型会先在源域上训练一个编码器其流程是①将源域样本送入编码器得到②通过适配器得到分类概率③训练目标为交叉熵并更新可学习参数。完成上述学习后编码器将会被冻结后续不再更新。故源域和目标域都会被投射到同一个固定特征空间。这样可以让源域和目标域的数据更稳定提升扩散模型的性能。但需要注意的是冻结的只是编码器分类器模型后续依旧会更新。2.3.2MTDA分类器图2. MTDA结构图MTDA并不仅仅是一个线性分类器它用特征统计构造记忆 token再通过注意力与空间—光谱分支完成分类。其流程如下1.提取局部特征输入特征以次经过一个3D卷积1X1X3和一个2D卷积3X3得到特征图TR。2.用最大值和均值构造两种摘要对第c个通道SPRS提取空间最大响应保留最突出的判别线索LFMA提取空间平均响应保留整个区域的背景与整体状态随后将两种摘要拼接为token3.将摘要加入注意力计算原始序列包括特征token类别token和位置编码分别投影得到记忆token投影为将它加入key和value计算得到原始 token 不仅能相互关注还能从“最显著响应”和“区域平均状态”中读取信息。4.分别处理光谱和空间信息随后patch经过两个分支1x1卷积多头注意力处理光谱分支3x3卷积多头注意力处理空间分支MTDA 在后续训练中具有双重身份既是需要适应目标变化的分类器也是约束生成样本类别的语义评价器。2.3.3扩散生成器该阶段使用2.3.1节中训练好并冻结的编码器提取目标域特征由于编码器将源域和目标域都进行了投射所以扩散直接发生在潜空间中。本文的扩散器采用带时间步嵌入的3D-Unet。它的直接输出是噪声预测然后依据扩散公式得到去噪结果。其他流程和标准扩散模型一致关键在于如何利用目标域 DDPM 转换源域特征。取一个带标签的源域样本先获取其特征然后部分加噪再由目标域去噪器生成过渡特征其中表示“加噪-去噪转换”并非独立网络。在上式中噪声强度决定了转换幅度较小的时候能更多的保留原始特征但可能存在域转换不够的情况较大的时候则会让样本更偏向目标域但可能造成原类别信息丢失。仅仅使用目标域 DDPM并不能保证转换后的特征仍然是原本的类别索引本文还引入了交替训练。2.3.4 SA交替训练SA(Semantic Anchoring)语义锚定。在当前转换强度下冻结编码器和MTDA仅更新DDPM。将过渡特征送入MTDA依旧使用源域标签。总目标函数为。式中的两个项目负责维持目标域去噪建模的能力负责使转换结果依旧符合源样本类别。2.3.5 BA固定生成器BA(Boundary Adaptation)边界适应。此时编码器和DDPM处于冻结状态仅更新MTDA。在生成器固定的情况下过渡特征作为训练数据分类器学习如何识别它们。目标函数为2.3.6训练流程整个训练流程如下面伪代码阶段 I 用有标签源域训练 Mamba 编码器和 MTDA 冻结编码器 阶段 II 提取无标签目标域特征 随机加噪 训练 DDPM 预测噪声 阶段 III 对逐渐增大的转换强度 k 提取源域特征 加噪并通过 DDPM 得到过渡特征 SA 固定 MTDA 用扩散损失 源标签分类损失更新 DDPM BA 固定 DDPM 用当前和历史过渡特征更新 MTDA 按论文描述保留训练目标表现较好的 MTDA 阶段 IV 目标影像 → 冻结编码器 → MTDA → 类别