「统一提升图像细节与文本对齐」一张生成图可以有正确的构图和主体却仍然缺少让人相信它的纹理毛发略显平滑砖墙不够细致材质也少了一些层次。直接生成 RGB 的像素扩散模型同样会遇到这个问题。我们在这项工作中研究了一种后训练方式保留原有扩散或流匹配目标对模型预测的干净图像加入对抗监督。在 DeCo 和 PixelGen 两个像素模型上这种做法改善了细节并在分布质量、样本覆盖和文本对齐等指标上取得共同提升。模型架构和推理流程保持不变。图1 | 加入对抗后训练前后的生成效果。每组左侧为 w/o GAN右侧为 w/ GAN上方为 512 分辨率样例下方为 1K 样例及局部放大。来源论文图 1。这项工作由UC San Diego、Adobe Research 和 UC Merced的研究者共同完成关注的是多步像素扩散的质量改善。本文介绍方法、实验依据以及它在潜空间模型上的适用边界。01 看像素模型仍然缺少哪些细节潜空间扩散先在压缩表示中生成再由解码器还原成图像像素扩散则直接预测最终的RGB。省去自编码器后模型也需要同时负责全局结构和局部纹理。即使构图已经较为稳定细尺度图像统计仍可能与真实图像存在差距。我们从频域观察到两种像素基线的高频成分不足。这里的高频对应快速变化的局部图像信息与细纹理和边缘有关。研究的问题因此很具体能否补足这部分统计同时保持文本对齐和生成分布的覆盖范围02 在结构较稳定的阶段加入对抗监督后训练从已有检查点出发。原有学习目标继续约束生成过程额外的判别器比较真实图像与模型预测的干净图像并为生成模型提供反馈。主实验使用基于冻结 DINOv2 特征的文本条件判别器论文也比较了其他判别器设计。对抗损失只用于噪声不太高的训练时间步。原因是在高噪声阶段预测图像的轮廓还不可靠过早要求它呈现逼真的细节可能干扰结构学习。图2 | 采样过程中低频结构残差较早降低高频细节残差则持续到更后期。右侧给出对应的图像和残差可视化。来源论文图 9。判别器用于训练推理时沿用原模型的采样方式。这一方案不依赖偏好标签或奖励模型也不进行步数蒸馏它带来的收益是质量改善而非采样加速。03 两个像素模型上的定量结果为区分对抗监督与额外训练本身的作用每个模型都与相同步数的无 GAN 微调基线比较。两组共享起始检查点、训练数据与训练时长均在 BLIP3o-60k 上进行后训练。论文表 1 的完整指标。DPG Score 在 DPG-Bench 上评估其余指标使用 COCO-30k。↑ 越高越好↓ 越低越好加粗为各模型中更好的结果。DeCo 的 FID 从 33.27 降到 28.59DPG Score 从 81.6 升到 83.3Recall 从 0.361 升到 0.406。PixelGen 的 DPG 和 Recall 也有提升FID 的变化则较小。不同模型、不同指标的收益并不相同。图3 | 相同提示词与随机种子的对比。每组左侧未加入 GAN右侧加入 GAN可观察面部、手套、羽毛和建筑表面的局部细节。来源论文图 2。FID 衡量特征分布距离Recall 反映样本覆盖DPG 衡量文本要求的满足程度。结合这些指标才能判断细节增加是否伴随其他方面的改善。04 新增的高频是否更接近真实图像看起来更锐利并不足以说明生成质量更好。噪声或简单锐化也会增加高频。因此我们进一步检查了生成图像的频带组成和径向功率谱。图4 | 两种像素模型的中频与高频功率占比。灰色为无 GAN 基线绿色为加入 GAN 后的结果每个模型统计 30 000 张图像。来源论文图 3。DeCo 的高频功率占比从 2.1% 增至 3.9%PixelGen 从 3.9% 增至 6.4%。这说明高频内容确实有所增加但还需要判断它是否接近自然图像的统计规律。在论文采用的测量方式下真实 COCO 图像的功率谱斜率约为 2.19。DeCo 无 GAN 基线为 2.59意味着功率随频率升高而衰减得更快对抗后训练将这一数值拉近至 2.24。这与修正原有高频不足的解释一致。更多纹理也需要对照实验支持我们还对无 GAN 输出施加普通锐化滤镜将频谱调到接近 GAN 输出。即便如此锐化后的 FID 最好也只有约 32.3仍弱于 GAN 的 28.59无参考质量指标也未达到同等水平。这说明结果不能仅由后处理锐化来解释。另外训练集最近邻分析中DINOv2 平均相似度几乎不变约为 0.586最大相似度从 0.943 降到 0.929。结合 Recall 上升与相同步数的无 GAN 对照这些结果不支持把收益简单归因于训练集记忆、覆盖收缩或训练时间增加。频谱和最近邻分析提供的是统计证据仍需与视觉样例和多项评测一起解读不能据此保证每张图像都没有伪影。05 感知损失为何没有带来相同收益感知损失是改善视觉细节的常见选择。论文使用 LPIPS 与深层 DINO 特征监督作为对照比较它与对抗后训练的行为。图5 | PixelGen 的原始输出、感知监督和 GAN 后训练结果。每列包含完整图像与局部放大感知监督样例出现了颜色与对比度的变化。来源论文图 5。在 DeCo 的匹配实验中感知监督提高了 TOPIQ 和 MANIQA 等无参考质量分数却使 FID 从 33.27 变为约 34.1DPG 从 81.6 变为 81.4。对抗后训练则在这些指标上取得共同改善。两种监督都能增加高频但感知监督还伴随饱和度、对比度和色彩丰富度下降。论文将其解释为颜色域偏移纹理更明显并不意味着图像的整体分布与语义表现也更好。这组结果适用于文中采用的损失形式、权重和训练设置并不意味着感知损失普遍无效。它提示我们在评价生成模型时不能只看锐度或单一无参考分数还要检查颜色、分布与文本对齐。06 为什么潜空间模型的收益不同我们也在 PixArt-α 和 SANA 上测试了对抗后训练。潜空间模型需要经过冻结解码器才能得到 RGB论文分别尝试在原生潜表示或解码后的图像上施加判别监督。在这些测试配置中部分指标有所改善但没有复现像素模型的共同提升。解码图像的高频功率占比也变化有限SANA 从 2.2% 到 2.3%PixArt 从 2.1% 到 1.9%。图6 | 对原生输出施加匹配扰动后PixArt 的冻结 VAE 对解码高频变化的响应比像素空间的直接映射弱约 3.5 至 11 倍。来源论文图 8。这为一种机制解释提供了支持对抗监督的效果既取决于输出中是否存在可修正的误差也取决于可训练的表示能否有效改变这些图像成分。像素模型直接输出 RGB而冻结解码器可能削弱潜表示变化对最终高频细节的影响。这里的结论限定于测试过的模型和冻结解码器设置。它不排除联合训练解码器、采用其他表示或监督方式后获得不同结果。判别器、时间步门控和 GAN 权重也会改变指标之间的取舍论文没有给出适用于所有任务的最优配置。07 这项工作的启发像素扩散的细节不足可以作为一个明确的后训练目标。对抗监督在本文的两个像素模型上提供了可行的修正方式频谱分析和多组对照进一步解释了收益来源。对于生成模型后训练关注监督作用在哪种表示上、能否改变最终图像是值得继续研究的问题。论文https://arxiv.org/abs/2609.38170作者Xin Lin、Zhifei Zhang、Yuqian Zhou、Haitian Zheng、Zhe Lin、Ming-Hsuan Yang、Truong Nguyen。论文于 2026 年 9 月 29 日发布。本文配图与实验数据均来自 arXiv v1。