说个我特别有共鸣的场景你把一句话提示词调得差不多了想批量生成一组图当素材比如“一只柯基犬在夕阳下的草地上奔跑”。第一次跑出来一张很惊艳第二次跑构图变了但狗还是那只狗跑到第五次图像开始不对劲要么柯基变成了狐狸要么草地变成了水泥地。这个现象几乎每个玩文本生成图像的朋友都遇到过。真正折磨人的不是单张图崩坏而是“多样性”和“一致性”在打架。你希望这组图之间足够不同能覆盖视角、光影、氛围的变化你又希望它们都还是“同一只柯基犬奔跑在夕阳草地上”这个语义。GASSGeometry-Aware Spherical Sampling for Disentangled Diversity Enhancement in Text-to-Image Generation这名字虽然长但它要解决的恰恰是这个矛盾几何感知的球形采样帮你在文本生成图像过程里做到解耦的多样性增强。这篇就围绕这个方法思路聊清楚它到底在解决什么、怎么落地以及实操中能避开哪些坑。1. 从一个“既要又要”的生成困境说起1.1 批量生成时我踩过的两个坑先说我自己的体验。以前做素材批量生成我第一反应是“多抽几次随机噪声不就行了”。于是我把同一个提示词丢进去一次生成批次 16 张。结果大致分两类一类是图像彼此高度雷同只是细节略有抖动背景、主体位置、动物形态都几乎没有变化另一类就完全放飞提示词里的核心对象直接跑偏数量、颜色、种类都变了。这两类结果看着是相反的但本质是同一个问题生成系统的采样阶段没有被“有方向地控制”。随机噪声带给模型的不只是随机性还有各种可能破坏语义的风险。我们需要的不是“无限的随机”而是“在不越界的前提下尽可能分散”。后来我意识到这件事不能靠盲目调随机种子解决得回到采样方法本身。这也是我注意到 GASS 这类几何感知球形采样工作的原因——它把多样性增强从一个“玄学调参”变成了一个有几何结构的采样问题。1.2 为什么要在“球形”上做文章文本生成图像的扩散模型通常从一个随机噪声张量出发通过多步去噪逐步逼近自然图像。传统做法是从标准正态分布里独立采样每个像素位置对应的噪声值所有噪声值拼成一个高维向量。这个高维向量的分布是各向同性的没有任何方向偏好。但正是这种“无方向偏好”导致难以控制生成结果。你随机抽两个噪声向量它们之间的夹角、距离完全是随机的所以生成出来的两张图可能差别很大也可能几乎一样。GASS 的做法则很直接把采样范围约束在高维空间的一个稀疏球面上让所有候选噪声点在球面上有明确的几何关系。这样一来你可以通过球面上的“方向”和“距离”来定义多样性而不是靠运气。这个思路很像拍一组产品照片你不想每张都把商品随手乱扔到房间里而是希望固定商品的位置语义不变只让相机在周围某个球面上移动。球的大小决定多样性幅度移动的轨迹决定多样性类型。GASS 就是给扩散模型找了一个类似的“摄影轨道”。2. 多样性增强为什么这么难做2.1 从噪声采样到图像生成的基本逻辑先别急着看 GASS 的具体算法得先把底层的生成逻辑盘清楚。在基于扩散的文本生成图像模型里要生成一张图通常有三个核心输入文本条件向量、随机初始噪声、去噪网络。文本向量负责“画什么”初始噪声负责“怎么起笔”。去噪网络在整个链路中会把文本信息和噪声信息逐层融合。这里的噪声张量不是传统意义上的“干扰”它更像一棵树的种子它包含了初始的轮廓、结构、光影等大量低层信息。改变噪声的具体取值等于更换了生成的“草稿纸”。两张图最终是否相似很大程度上取决于两颗噪声点在潜在空间里的距离和相对方向。问题就出在这我们通常用的标准正态分布在极高维空间里呈现一个非常反直觉的特性——样本几乎都集中在一个半径约为 sqrt(d) 的薄球壳上而且任意两个样本之间的方向近似正交。这意味着随机噪声之间的差异几乎是“全方向”的提升多样性的同时也容易把属于核心语义的特征也一并改变。2.2 高维空间里的“随机平等”是个错觉做采样增强时很多人默认“多抽几次噪声就能覆盖不同风格”但高维空间并不像我们想象的二维平面那样均匀。维度升高以后随机向量之间的夹角非常接近 90 度彼此互不干扰。听起来是好事对吧问题在于这个“互不干扰”对应的是像素级或特征级的所有方向不是语义级的方向。打个比方你在一个房间里胡乱走能到很多位置但如果你希望“始终站在房间的主位同时改变站姿和光线”只靠乱走就很难保证不出房间。普通采样就是“乱走”它不考虑哪些方向会离开语义区哪些方向只在安全范围内变化。结果就是你得到十分多样的一组图但其中一半跑题了。所以单纯追求多样性的采样方法在文本生成图像里很容易失效。多样性必须有方向必须解耦。这也是“解耦多样性增强”这个概念的由来——多样性的增加应当被限制在不影响核心语义的维度上。2.3 常见的多样性增强手段为什么翻车我试过几种常规手段都各有问题。第一种是提高采样温度或调整随机种子简单粗暴但不可控第二种是在潜在空间做线性插值lerp两个噪声之间取中间点这种操作会让生成结果处在一个概率分布不友好的区域图像容易模糊或产生伪影第三种是直接用随机擦除、图生图重绘但成本高而且容易改变主体特征。这些方法都没把“几何结构”考虑进去导致多样性增强伴随着语义漂移。反过来看 GASS 的思路它至少要做三件事第一把采样点放到球面上让样本之间的相对距离完全由角度控制第二利用潜在空间的几何信息找到哪些方向是语义敏感的“雷区”第三把多样性增强限制在语义敏感方向的补空间里。这样多样性和一致性不再是互斥的而是被“方向”这个机制解耦了。3. GASS 的核心设计思路3.1 球形采样把噪声放进同一个“地球仪”上先看“球形采样”这个词。传统采样从标准正态分布 N(0, I) 中抽取噪声 z每个维度独立、尺度也不定而球面采样限定样本在一个固定的超球面 {z: ||z|| r} 上。这个 r 对应球半径控制整体噪声能量。为什么要固定半径因为在扩散模型里初始噪声的范数会影响生成图像的“起始状态”。如果每次采样的半径不一样相当于每次生成时的整体噪声能量不同图像的整体亮度、结构稳定性都会受影响。而球面采样把范数固定住剩下的自由度全部来自方向。这样候选噪声之间的差异就完全由球面上的角度差决定尺度上的一维干扰被去掉了。如果两个噪声点都在同一个球面上它们之间的距离可以通过测地线来度量。球面上两点之间的最短路径是经过大圆的弧线这条弧线在插值时对应着球面线性插值slerp比普通线性插值更稳定。你会发现在图像编辑和生成领域slerp 早就被证明比 lerp 能更好地保持语义连贯。GASS 把这种思路从“两两插值”扩展到了“整体采样分布”。3.2 几何感知跟着数据流形的形状走“几何感知”是更关键的一步。高维潜在空间并不是均匀平坦的文本生成图像模型的中间表示通常集中在一个低维流形附近。这个流形有“弯曲”的主方向也有相对平坦的方向。从数据流形的角度看沿着某些方向移动生成图像会明显变化沿着另一些方向移动图像只是在细节上略有差异。GASS 的“几何感知”就是要去估计这些方向。常见做法有两种一种是用大量真实图像或生成图像的潜在表示做主成分分析PCA找到方差最大的几个方向把它们视为语义敏感方向另一种是把文本条件对噪声的梯度当作敏感方向梯度越大说明噪声变化对生成结果影响越强烈属于“高危区域”。还有更进阶的做法是直接分析去噪网络在局部噪声点处的雅可比矩阵获得更精细的局部几何。有了这些敏感方向之后采样时就要绕开它们。具体来说可以把随机采样的方向向量投影到敏感方向张成的子空间的正交补空间上。通俗点说就是告诉采样器这些方向容易破坏语义尽量别去那些方向是安全的随便动。3.3 解耦把“可以变”和“不能变”分开解耦disentangled这个词听起来高级落到实际操作里就是把“变化”按语义相关性强弱切分成不同分组。一组是“语义关键方向”比如物体类别、颜色、数量这些方向一旦变了图就跑了另一组是“次要属性方向”比如姿态微调、光照氛围、纹理细节这些方向变了图还是在同一个语义轨道上。GASS 的做法是先找到语义关键方向然后把采样完全限制在它的补空间里。这样批量生成的图像之间主体保持稳定但边缘细节可以充分变化。本质上是把“生成什么”和“怎么表现”分成两个管道前一个管道由文本条件决定后一个管道由几何感知采样决定。这就是“解耦多样性增强”的含义。这种解耦还有一个附加好处它让“多样性”变得可解释。你可以通过调整球面半径控制变化幅度通过调整方向选择控制变化类型。不再需要像玄学一样一次次换种子而是把多样性当作一个有旋钮的维度来调。4. 从理论到落地一个可复现的采样流程4.1 准备三个基础组件要把类似 GASS 的思路落地到自己的流程里不需要改动整个扩散模型你只需要准备三样东西一个已经训练好的文本生成图像模型一个能提取文本特征的编码器还有一个用于估计敏感方向的脚本。扩散模型负责生成文本编码器负责条件语义敏感方向估计脚本负责几何信息。三者组合起来就能替代原来的随机噪声采样环节。下面是一个简化后的整体流程伪代码主要展示结构性想法。为了便于理解我做了抽象实际工程中可能要换成你熟悉的推理框架。# 伪代码GASS 风格采样流程示意 text_prompt 一只柯基犬在夕阳下的草地上奔跑 text_embed get_text_embedding(text_prompt) # 1. 文本编码 base_noise get_base_noise(text_embed) # 2. 找到球心 sensitive_dirs estimate_sensitive_dirs( text_embed, sample_pool128 ) # 3. 敏感方向 safe_dirs nullspace_basis(sensitive_dirs) # 4. 安全方向基底 candidate_dirs sample_orthogonal_dirs( safe_dirs, num_samples8, radius1.0 ) # 5. 球面采样 noises normalize_each(candidate_dirs) * radius base_noise images [generate_image(text_embed, n) for n in noises]4.2 确定中心点不是随便一个原点很多人以为采样中心就是零向量但在文本生成图像中零向量并不代表“无偏状态”反而可能让每张图脱离文本条件。比较自然的做法是把文本嵌入映射到潜在空间后把中心点定在这个映射结果附近。你可以用文本向量经过一个简单线性映射得到初始中心也可以用一组基础噪声的平均值做中心。我实际用下来更推荐第二种先用同一个文本条件跑少量几次生成记录下初始噪声然后对这些噪声取平均得到“这个提示词的平均起点”。这样得到的中心点更贴近模型对该文本的响应后续在其周围做球形采样时语义漂移会明显减少。中心点确定后所有候选噪声都要围绕它展开。球心相当于“构图的钉子”采样方向则是“镜头移动”。半径决定镜头能离钉子多远方向决定镜头能朝哪些位置移动。4.3 估计敏感子空间这一步是 GASS 风格采样最关键的部分。推荐一个容易上手的做法随机采样 128 个噪声分别输入生成模型得到 128 张中间结果。然后用 CLIP 图像编码器给这些中间结果提取特征并结合文本嵌入的相关性把最容易引起语义变化的噪声方向找出来。更直接的办法是计算文本嵌入对初始噪声的梯度。对于一个给定的文本条件你可以把去噪损失对初始噪声求导梯度方向就是“改变噪声对生成结果影响最大”的方向。把这些梯度向量收集起来做主成分分析取前 k 个主成分作为敏感子空间的基底。k 一般取 8 到 32视模型规模而定。太大容易把安全方向也收进去太小又挡不住语义漂移。有了基底之后求它的正交补空间。正交补空间的维度就是可以自由变化的方向数目。实际操作时你不需要把全维度都展开只要在补空间里随机生成方向向量然后把这些方向向量与球面约束结合即可。4.4 在球面上做受约束的方向采样真正采样阶段可以把目标候选数设为 N。先在高维补空间里随机生成 N 个高斯向量再将每个向量减去它在敏感子空间上的投影得到“洗干净”的候选方向随后把每个候选方向除以各自的范数将它们归一化到单位球面上最后乘上固定半径加上中心点。这样就得到了 N 个噪声样本。如果你希望候选样本之间彼此分散得更好而不是纯随机可以在球面上使用等距采样策略。高维球面没有完美的均匀采样公式但可以通过“先随机采样再最小化两两之间最大余弦相似度”来做筛选。这样的候选方向会尽量拉开距离生成的图像覆盖也更均衡。这里强调一下半径 r 的取值需要参考模型原本的噪声尺度。如果模型的标准噪声来自标准正态分布那么其天然范数大约在 sqrt(d) 附近。你可以以这个值作为中心参考再上下浮动。r 太小球面半径低于模型习惯生成结果会发灰r 太大噪声尺度偏离模型训练分布生成结果会崩坏。稳妥的做法是先取天然范数的 0.9 到 1.1 倍做小范围实验。4.5 评估用两个分数判断“多样性”和“一致性”流程落完后不能只靠肉眼判断。我一般会搭配两组指标一组衡量多样性一组衡量一致性。多样性指标可以用图像感知相似度距离比如 LPIPS两张图之间的 LPIPS 越大说明感知层面的差异越大一致性指标可以用 CLIP Score把生成图像和文本嵌入做余弦相似度比较分数越高说明文本语义保持得越好。实际操作时我会把生成结果里两两图像的 LPIPS 平均作为 Diversity Score把每张图的 CLIP Score 平均作为 Consistency Score。然后我还会做一个“主体识别”——用现成的分类器或检测器确认图中核心对象是否仍然存在比如柯基犬。这个指标虽然简单但却是防止语义漂移的最强兜底。5. 实操常见问题与排查5.1 问题速查表我把实操中遇到过的问题整理成一张表方便你对照现象可能原因解决方向生成结果还是太相似采样半径偏小或安全方向不够分散增大半径改用等距球面采样核心物体变了敏感子空间估计不准安全方向卷入语义方向增加样本数量重估敏感子空间提高 k 值图像整体发灰发暗半径偏离模型天然噪声尺度把半径调回 sqrt(d) 附近候选图之间互相重叠方向向量筛选不足有较高余弦相似度加入正交化步骤降低候选方向间最大夹角和文本条件配合差中心点偏离条件映射改用多次生成初始噪声的平均中心计算开销太大敏感子空间估计用了过多采样减少前 k 维用梯度近似代替大量采样5.2 三个容易忽略的细节第一敏感子空间不是一次估计就能通用的。同一个提示词在不同随机种子下其敏感方向会有波动。我通常对每个提示词做一次估计而不是对一个主题的所有变体共用一套敏感方向。如果是批量生成同一句话的多个变体共享是没问题的但如果提示词改动较大必须重新估计。第二球面采样不等于 L2 归一化。L2 归一化只是把向量长度变成 1GASS 风格的采样还需要处理和敏感子空间的正交关系。如果不做正交投影归一化之后的候选方向仍可能含有敏感的噪声分量语义漂移依旧会发生。所以顺序一定是先投影到安全子空间再归一化最后缩放半径。第三注意去噪步数的影响。有些采样器在低步数时不太稳定即使初始噪声控制得很好中途也可能偏离。建议使用步数较多的采样配置或者在选择采样器时优先稳定性强的方案。初始噪声只是起点去噪过程的稳定性同样要紧。5.3 和 CFG 的配合问题文本生成图像通常会使用 classifier-free guidanceCFG来增强文本条件的控制力。CFG 的 guidance scale 太高时模型会过度拟合文本导致“多样性被压制”太低则文本跟随不足容易偏题。GASS 风格采样在和 CFG 配合时需要微调两个参数一是 guidance scale二是球面半径。我个人的经验是先固定一个中等 guidance scale比如 6 到 8完成采样流程再对结果做一致性评估。如果一致性过高但多样性偏低说明 guidance scale 太强可以适当降低 1 到 2如果一致性偏低且主体漂移说明 guidance scale 太弱或者敏感子空间估计少了需要先修采样而不是急着调高 guidance scale。顺序很重要——采样问题不要靠增加文本约束来掩盖否则会丢失 GASS 的优势。6. 一些调参心得和后续玩法6.1 采样数量与半径的选择对于常规素材生成我建议先从小到大尝试候选方向数。方向数太少多样性提升不明显方向数太多候选之间会重叠而且计算量变大。一般来说 8 到 16 个候选方向就够用需要更广覆盖时再用 32 个。半径则从模型天然噪声范数的 0.95 倍开始以 0.02 为步长逐步增加直到出现明显偏向某一属性的变化为止。这样能最大程度保留自然的图像质感。6.2 正交基底的更新策略如果你在一个长期项目里频繁使用同一个底模可以每隔一段时间做一次“整体几何感知”收集过去生成成功且语义正确的图提取它们的潜在表示重新跑一次主成分分析更新敏感方向基底。这个操作会让采样越来越贴合你实际使用场景的语义分布。它本质上是在做数据流形的持续观测比每次临时估计更稳。6.3 跟局部编辑工具的联动GASS 风格的球形采样不只是用于首帧生成。你可以在首帧已经确定后把中心点换成首帧的噪声表示再把敏感方向换成针对这个画面的局部编辑方向从而生成同一个主体的其他姿态或光照变化。这和绘画中的“续画”很像约束住骨架放松表现层出来的结果既连续又多样。如果后续配合局部重绘技术还能进一步指定“哪些区域可以自由变化”实现更细粒度的解耦控制。6.4 我自己的落地体会做批量素材那段时间我把这套流程跑顺以后最大的感受是生成结果终于从“抽彩票”变成了“有分寸的随机”。我用同一句话生成了一组柯基犬素材主体始终稳定在柯基但色温、草地密度、夕阳位置都有了自然的连续变化。多样性和一致性不再是互相拆台的指标而是可以被分别调整的旋钮。如果你也希望批量文本生成图像的时候少一点“废片率”我的建议是别急着去调扩散模型的参数先把你自己的采样流程重构成“球心 安全方向 半径”的结构。这一个小改动比换十个随机种子都更值得。最后再分享一个实用小技巧在估计敏感子空间时可以故意混入一些偏题样本比如“狐狸版柯基”“白天草地”这类明显改变语义的负样本。把这些负样本的噪声方向也算进敏感子空间会让安全方向的限制更严格。加上这一步以后我发现主体漂移的概率又降了一截而且可变化的空间依然够用。如果你也在做基于球面采样的方向控制建议试一试。