无监督解耦外观和几何靠一个可变形生成器网络搞定——这个方向的名字很学术但拆开之后特别接地气。它要解决的是生成模型里最头疼的问题如何在不打标签、不给3D信息的情况下让网络自己明白“长什么样”外观和“位置怎么摆”几何是两码事。我最初关注这个课题是因为做人脸编辑时被纠缠的隐向量折腾得够呛后来发现把变形场单独拎出来很多问题一下就清楚了。这篇文章的思路不仅适用人脸医学图像、手写数字、动物姿态都能用适合正在搞生成模型、图像配准或表示学习的人参考。1. 项目概述与核心思路拆解1.1 这个标题到底在解决什么问题生成模型发展到现在难点早就不是“能不能出图”而是“能不能控制出图”。普通GAN把随机噪声映射成图像但隐空间里的每个维度往往同时影响颜色、形状、姿态、背景改一个变量可能所有东西都跟着变。这种纠缠让很多下游任务很难做比如我想让一个人闭嘴结果脸型也变了想让某个数字倾斜结果笔画的粗细也变了。问题出在生成过程没有把外观和几何分开二者被一股脑塞进同一个隐编码里。可变形生成器网络给出的解法很直接生成最终图像时不直接生成每个像素的颜色而是先让一个分支生成一个“外观模板”再让另一个分支生成一个“变形场”最后用双线性采样把模板扭曲成目标形状。这样做完之后外观信息被固定在外观分支里几何信息被固定在变形场里天然就有了解耦的结构。标题里“无监督”三个字是重点——它不依赖关键点标注、不依赖3D模型、不依赖语义分割只从一堆图像里自己学出这种分工。换句话说这个标题本质上问的是如果只有一批图像没有额外指导怎么让网络自动把“画了什么”和“画在哪里”分成两个变量可变形生成器网络通过架构先验回答了这个问题。这也是为什么它后来能延伸到图像配准、表情迁移、数据增强等许多领域。1.2 为什么是可变形生成器而不是普通GAN或VAE我见过很多人第一次看到这个思路时会疑惑GAN不是也能操作隐空间吗VAE不是也能学解耦表示吗为什么非得搞一个可变形生成器出来这个问题问得很有价值值得把三种方案的差别讲清楚。普通GAN的生成过程是一张白纸直接画像素。隐空间里的每个方向都是网络自己摸索出来的没有哪个模块天然对应外观或几何。虽然可以通过后处理在隐空间里找语义方向比如在训练好的GAN里用大量样本拟合一个“笑脸方向”但这种方法需要额外计算而且得到的解耦方向通常只能做加减法没法精确地把一个人A的表情迁移到另一个人B的脸上。VAE的理论基础很好但标准的VAE倾向于把每个样本压缩成紧凑分布geometry上的变化往往被编码成全局隐变量很难拆成独立的形状通道。可变形生成器不一样它把“空间变换”这个操作当成了生成器的内生模块。这个模块从数学上就和像素颜色分开变形场只改变采样坐标不改变模板本身的数值。你可以把它类比成盖印章——印章上的图案是外观按压的位置和力度是几何。只要印章图案和按压方式分开管理你就能只换图案保留位置或者只换位置保留图案。普通GAN相当于一边刻章一边压印整个过程混在一起可变形生成器就是把这个流程拆成了两个零件。这个结构先验比单纯在损失函数上添加解耦项要强得多因为网络没有选择只能在架构给的路径里做分工。1.3 无监督解耦的评价标准是什么聊解耦之前得先承认一个残酷的事实无监督解耦并没有绝对正确的标准答案。给定一堆图像你可以把“圆变椭圆”既解释成外观上的改变也可以解释成几何变形把圆压扁了。在没有任何标注时仅从数据分布出发这种歧义是不可消除的。所以无监督解耦真正依赖的是我们在网络结构里塞进去的归纳偏置变形场必须平滑、局部、最好接近微分同胚这些约束告诉网络“几何应该是什么样的”。在实操中大家一般用三类指标来评价解耦效果。第一类是隐变量干预测试固定外观编码改变几何编码看生成图像的形状是否变化而纹理是否保持固定几何编码改变外观编码看反过来是否成立。第二类是属性预测训练一个小分类器去预测某个属性比如数字的倾斜角度或人脸的表情如果这个属性只由几何编码决定说明解耦方向正确。第三类是重建质量与变形场质量重建误差不能太高变形场也不能出现折叠或大面积不可逆区域。这些指标没有一个能单独说明问题但组合起来基本能判断一个模型到底是真的解耦了还是在自欺欺人。2. 技术原理与实现细节2.1 可变形生成器网络的整体架构在动手之前先把架构的整体轮廓立起来。最简版本包含四个部分外观分支、几何分支、采样模块和判别器。外观分支接收一个外观编码通过若干反卷积层生成一个外观张量这个张量可以是三通道RGB图也可以是多通道特征图。多通道的好处是给后续采样提供更多自由度但如果只是想跑通一个demo直接用三通道模板也不差。几何分支接收另一个几何编码通过一个小型网络生成一个低分辨率的二维变形场然后上采样到和外观张量相同分辨率。变形场的每个像素表示“这个位置的像素应该从原图的哪个坐标采样过来”本质是一个稠密坐标偏移。采样模块使用PyTorch里的F.grid_sample完成。它会根据网格坐标从外观张量上取像素双线性插值保证整个流程可微所以无论后面的判别器还是重建损失梯度都能顺畅地传回外观分支和几何分支。判别器负责判断生成图像和真实图像是否可区分这是无监督对抗训练的核心。如果做重建任务还需要一个编码器把输入图像编码成两个子向量分别作为外观编码和几何编码如果只是做无条件生成则可以直接从高斯分布采样两个编码。整个架构的设计思路在于图像内容被强制分成了“底色”和“形状”两个通道。底色由外观分支提供形状由几何分支提供。采样模块是一个确定性操作没有可学习的参数因此几何分支学到的只能是坐标映射不可能直接改变像素颜色。这就从根上阻断了外观和几何在生成后期再混在一起的可能。2.2 外观分支与几何分支如何协同光有架构还不够最麻烦的是两个分支之间的“默契”。如果你不加任何约束网络很容易偷懒让外观分支直接生成最终图像几何分支学成恒等变形这样解耦宣告失败。为了让两边真正分工需要设计一些机制来逼迫它们合作。最常见的做法是分割隐编码。将一个编码向量拆成两部分前半部分输入外观分支后半部分输入几何分支两者物理隔离谁也别想占谁的便宜。但这只是第一层更关键的是损失函数和结构约束要配套。几何分支输出必须低频平滑所以会给变形场加上总变差正则外观分支要是想绕过几何分支直接生成包含形状的图像需要有足够大的容量去画各种形状这点可以通过减小外观分支容量或者增加几何分支编码维度来调节。还有一个思路是利用交叉重建来强化协同。具体做法是取两张图A和B提取A的外观编码和B的几何编码合成一张图C。C应该看起来像A的内容配合B的姿态。如果网络解耦得不够彻底C会非常不自然这个信号会通过判别器传回网络迫使两个分支各自只编码自己负责的那部分信息。我在实际项目中往往会在常规对抗损失之外加上这样的交叉一致性约束效果比单纯调正则权重要明显得多。需要注意的是几何分支学到的变形不一定非要是全局仿射变换它完全可以包含局部形变。比如人脸表情变化、数字笔画倾斜、动物姿态变化这些都属于非刚性几何变换。如果变形场被正则压得太死模型可能把所有形变都甩给外观分支导致外观分支不得不学习不同姿态下的纹理变化解耦还是失败。所以正则强度需要调试目标不是最小化变形幅度而是让变形幅度保持在一个“够用但不过分”的范围里。2.3 关键损失函数设计写清楚了这个框架后损失函数就变成了整个项目成败的关键。通常包含四个部分。第一是重建损失。如果目标是做图像重建直接计算生成图像和输入图像的L1距离或感知距离。感知距离喜欢用预训练网络的特征层来做能保留更多结构信息。重建损失保证外观分支和几何分支确实保留了输入图像的完整信息而不是随意生成。第二是对抗损失。这是无监督能力的核心让生成分布逼近真实分布。常见做法是LSGAN或Hinge损失。对抗损失会促进生成图像更真实但也会和重建损失打架需要把权重调到一个平衡点。第三是几何正则。其中总变差正则||∇d||_1让变形场平滑避免邻近像素出现剧烈跳变。雅可比行列式正则是另一个常用的约束它统计变形场每个局部区域的面积变化希望行列式接近1这样局部面积不会被过度放大或压缩也不会出现折叠。折叠在像素层面表现是一片纹理被拉伸到重叠位置画面出现撕裂这个问题在后面的常见问题里还会细讲。第四是外观正则。这个不见得必须加但我常会限制外观张量的均值或方差避免它变得过于极端。极端外观会逼迫几何分支做无意义的缩放来补偿破坏解耦稳定性。权重设置方面我的经验是一个基础组合重建损失权重大约1.0对抗损失0.05到0.1总变差正则5到10雅可比正则0.1到0.5。具体数值要看数据集但没有一个放之四海而皆准的答案关键在于观察变形场的可视化结果来反推权重是否合理。2.4 与GAN、VAE、扩散模型的组合关系可变形生成器并不是一个孤立结构它可以嵌入各种生成框架中。最经典的是GAN框架生成器换成可变形生成器训练目标换成对抗损失适合做无条件生成。如果做重建则通常配一个编码器变成类似VAE但带显式形变的结构可以加入KL散度让隐空间正则化。这种情况下它和普通VAE的差别在于解码器多了一个显式的空间变形模块。扩散模型最近很火也有不少人尝试把可变形生成器思想移植过去。一个相对自然的做法是让扩散模型生成“外观模板”再通过额外的变形网络控制几何。这样采样过程就多了一个自由度可以控制姿态或形状。不过扩散模型和网格采样之间的长时间迭代会让变形场的梯度传递很慢训练成本会显著上升。从我接触的项目来看目前这个方向还在早期做实验需要谨慎评估收益。说到底可变形生成器的价值不在某个具体框架里而在于它把“生成”拆成了“内容生成”和“空间变换”两个子问题。只要你的场景天然存在这种区分它就有发挥空间。3. 实操过程与核心环节实现3.1 数据准备与适用场景数据选择比很多参数设置更关键。可变形生成器的基本假设是同一类物体之间主要是非刚性形变和外观差异。因此数据集最好是单一语义类别的图像比如人脸、手写数字、鸟类、胸片、脑部MRI。如果数据里混入了完全不同类别的东西网络会把类别差异当成外观差异类内的姿态变化当成几何差异解耦结果就会变得混乱。图像预处理上建议先做粗对齐。即使是无监督方法粗对齐依然能显著减少绝对位置带来的干扰。比如人脸可以将两只眼睛的中心大致对齐手写数字可以按质心对齐到图像中心。粗对齐之后网络面对的输入主要是局部形变而不是全局平移几何分支的压力会小很多也更不容易陷入平凡解。分辨率方面64到128像素足够验证思路追求细节再上到256。如果一个数据集里的几何变化非常有限比如所有物体都是正脸且表情平静那么几何分支会把大量变形幅度压缩到零附近外观分支独自承担全部重建压力。这种情况下解耦很难体现出来建议换一个几何变化更丰富的数据集来调试代码等模型稳定后再切换到目标任务。3.2 搭建简化版可变形生成器网络这里给一个核心代码骨架足够让你理解关键模块也方便扩展到自己的数据集。代码里省略了部分网络层但整体结构和数据流是完整的。import torch import torch.nn as nn import torch.nn.functional as F class DeformableGenerator(nn.Module): def __init__(self, latent_dim128, hidden_dim256, image_size64): super().__init__() self.image_size image_size # 外观分支从外观编码生成外观张量 self.appearance nn.Sequential( nn.Linear(latent_dim, hidden_dim * 4 * 4), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(hidden_dim, hidden_dim // 2, 4, 2, 1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(hidden_dim // 2, 3, 4, 2, 1), nn.Tanh() ) # 几何分支从几何编码生成低分辨率变形场再上采样 self.geometry_encoder nn.Sequential( nn.Linear(latent_dim, 64), nn.ReLU(inplaceTrue), nn.Linear(64, 8 * 8 * 2), nn.Tanh() ) self.flow_upsample nn.Upsample( size(image_size, image_size), modebilinear, align_cornersTrue ) def forward(self, z_app, z_geo): appearance self.appearance(z_app) # (B,3,H,W) flow_low self.geometry_encoder(z_geo) # (B,128) flow_low flow_low.view(-1, 2, 8, 8) # (B,2,8,8) flow self.flow_upsample(flow_low) # (B,2,H,W) flow torch.tanh(flow) * 0.8 # 限制最大变形幅度 b, _, h, w appearance.shape xs torch.linspace(-1, 1, w, deviceappearance.device) ys torch.linspace(-1, 1, h, deviceappearance.device) grid_y, grid_x torch.meshgrid(ys, xs, indexingij) base_grid torch.stack((grid_x, grid_y), dim-1).unsqueeze(0) # (1,H,W,2) grid base_grid flow.permute(0, 2, 3, 1) # (B,H,W,2) out F.grid_sample( appearance, grid, modebilinear, padding_modeborder, align_cornersTrue ) return out, flow这里有几个比较重要的设计点。外观分支输出直接用Tanh将像素范围压到-1和1之间方便和判别器配合。几何分支在view之前通过Tanh把变形场控制在[-1,1]区间再乘0.8留一点余量避免采样网格跑到图像边界外太远。低分辨率变形场的8x8设计是为了强制几何变化是低频的如果一开始就用全分辨率变形场模型很容易过度拟合噪声解耦质量反而下降。3.3 训练配置与参数调试训练阶段我建议分两步走。第一步是热身阶段固定几何分支不更新只训练外观分支让外观分支先学会生成一个大致合理的外观模板。这个阶段通常跑几百步就够了主要目的是给后续联合训练一个较稳的起点避免一开始几何分支就把外观拉得乱七八糟。第二步是联合训练同时放开外观分支和几何分支把对抗损失、重建损失、几何正则全部叠加起来。基础配置可以按照GAN常用参数来Adam优化器学习率2e-4beta1取0.5beta2取0.999batch size 32。学习率不要太大尤其是几何分支它的输出要平滑学习率过大会导致变形场震荡。每500步左右把当前生成的图像和变形场可视化一次重点看变形场有没有出现局部折叠、是否覆盖到了图像的主要结构变化。参数调优时有一个很实用的监控指标变形场平均幅度。如果这个值接近0说明几何分支没起作用如果这个值很大并且重建损失减得很慢说明变形场太激进导致采样错乱。我一般会把平均幅度控制在0.3到0.6之间如果偏离就调整乘0.8这个系数或者TV正则权重。3.4 评估与可视化怎么看解耦有没有成功评估解耦不能只看重建损失。一个非常容易出现的假象是重建损失很低但解开编码之后你根本没法独立控制外观或几何。所以要主动做隐变量干预测试。具体操作是固定一批几何编码不变在四个不同的外观编码之间线性插值把生成图片拼成一行。这一行里如果图像内容颜色、纹理在变化但姿势、形状基本不动说明外观分支确实只负责外观。再固定外观编码让几何编码在几个点之间插值生成另一行图片这一行里应该保持同一张脸的纹理但脸形、表情或姿态在变。第二个常用评估是交叉重建我前面提到过。选两张图A和B用A的外观编码配上B的几何编码生成结果再用B的外观编码配上A的几何编码生成另一个结果。这两张图如果都能做到“A的身体摆B的姿势”和“B的身体摆A的姿势”说明解耦已经很扎实。第三个评估指标是几何场的性质。用颜色渐变可视化变形场或者计算雅可比行列式的分布。如果行列式出现大量负值说明变形场有折叠后续在使用时容易产生不自然的扭曲。这些评估手段虽然朴素但在实际项目中比任何单一的量化指标都好用因为它们直接对应人的直觉。4. 常见问题与排查技巧实录4.1 几何分支把外观变化也吞掉了这是整个模型最典型的失败模式表现是改变几何编码时不仅形状在变连颜色、纹理也跟着大改。原因通常是几何分支能力过强或者外观分支没有得到足够的特征表达能力。几何分支不仅做了坐标偏移还试图通过局部放大缩小来改变纹理密度于是外观信息也被卷进几何变化里。我的习惯是先做一次“编码隔离”检查。把外观编码和几何编码完全随机配对观察生成图像的质量。如果配对后图像变得很怪说明两个分支的编码存在耦合网络并没有真正独立利用它们。解决手段包括削减几何编码维度让几何分支只保留有限信息增加几何正则的权重将几何分支输出的分辨率进一步降低比如从8x8降到4x4让它根本不可能表达高分辨率纹理。还可以尝试一个狠招——在训练时对输出图像叠加一个人工的随机几何扰动这样数据里所有几何层面的变化都被外部扰动覆盖一遍几何分支就“无事可做”只能去拟合那些不能被人工扰动覆盖的结构性形变外观分支则被迫承担纹理细节。这个方法在玩命情况下很好用。4.2 变形场折叠导致的图像撕裂变形场折叠是网格采样最让人头疼的问题。表现是生成图像里出现局部翻转、比例失调或者明显撕裂有时候某个区域像被揉成了一团。原因是多个源坐标映射到了同一个目标坐标导致那个位置采样的像素发生冲突。它在数学上对应雅可比行列式小于等于零的区域。排查时可以打印网格的雅可比行列式分布看看负值的比例和位置。一旦确认存在折叠最直接的修复是加强雅可比正则。det(J)-1的约束会让局部面积尽量保持防止过度压缩或拉伸。但权重不能太大否则变形场会退化成恒等变换几何分支直接罢工。另一个更优雅的替代方案是改用微分同胚变形框架不直接预测位移场而是预测一个速度场再通过缩放和平推方法得到最终变形。这个思路在医学图像配准里已经被验证过多次能保证变形是双向平滑且可逆的缺点是实现复杂一点、训练速度会下降。4.3 训练损失正常但解耦方向不符合直觉有时候重建损失和对抗损失都降到很低变形场也很平滑但解耦出来的“几何”对应的却是颜色深浅“外观”对应的却是脸型胖瘦。这说明网络确实把信息分成了两份但分的方式不符合我们人类预期。前面提到过无监督解耦存在本质歧义所以这种情况很难彻底避免。我的应对策略是引入极少量弱监督信号来打破歧义。不需要完整标注只要少量的成对样本就行比如几十张同一个人的不同表情图片让模型知道“外观相同、几何不同”长什么样或者几十张不同人的同一表情图片让模型知道“几何相同、外观不同”长什么样。把这些弱约束作为辅助损失加入训练解耦方向会迅速被拉回到合理解空间。如果连这些数据都拿不到那只能接受网络找到的“解耦”不一定符合人类直觉并在下游任务里尽量利用它的一致性。4.4 常见问题速查表现象可能原因快速处理几何编码变化时颜色纹理也变化外观/几何编码耦合、几何自由度太大削减几何编码维度增加TV正则降低变形场分辨率变形场出现折叠图像撕裂雅可比行列式为负局部采样重叠加入雅可比正则改用速度场积分降低变形幅度系数几何分支几乎不工作输出全是恒等变形几何正则过强或外观分支已经包揽全部信息降低TV权重增大变形幅度系数缩小外观分支容量训练早期重建损失崩坏几何分支在大变形下让采样梯度混乱先冻结几何分支做热身逐步增大变形幅度上限损失下降但生成图像模糊重建损失和对抗损失权重失衡增加感知损失适当降低对抗权重提高分辨率隐变量插值时出现跳变编码空间不够平滑给编码加KL正则减少编码维度使用线性插值并归一化这张表我基本是踩坑踩出来的每次训练一个新型数据集都会翻出来对照一遍。5. 应用场景与后续扩展5.1 人脸编辑表情迁移而非换脸可变形生成器在人脸领域的价值不体现在传统的“换脸”上而在于表情迁移和姿态归一化。换脸需要把一个人的身份特征完整搬到另一个人脸上这更多是外观层面的替换但可变形生成器可以把人脸图像拆成身份/皮肤/光照等外观因子以及表情/角度/脸型轮廓等几何因子。想实现“A脸微笑”的效果就可以保留A的外观编码同时把B的几何编码拿过来合成中间结果。这个结果可能还不够精细但可以作为引导图继续用GAN inversion和基于优化的编辑方法细化比直接在高维隐空间里线性拖拽更可控。姿态归一化也很实用。比如在证件照场景下一个数据集里包含各种低头抬头、左右侧脸的照片传统模型很难统一到正脸。可变形生成器通过几何分支可以学到这种姿态差异只要在几何编码上做方向向量减法就能把歪头的人脸拉回正脸。这类任务对无监督解耦非常友好因为训练数据里天然包含大量姿态变化不需要额外标注。5.2 医学图像配准与解剖结构归一化医学影像领域里不同人的脑部MRI形状差异很大但组织对比度、灰质白质分布等外观信息相对一致。可变形生成器正好可以承担无监督配准的工作外观分支捕捉统一的解剖外观模板几何分支负责把模板变形到不同个体。这样做的好处是不需要人工标解剖点训练数据直接就是一批未配准的图像。训练完成后每个人脑图像的几何编码就隐式编码了当时的解剖结构变形可以用于后续的形态分析。但医学场景里我会有额外的担心变形场必须有正则约束保证不产生不合理的局部拉伸否则医学图像会被扭曲到完全失真。微分同胚约束在这里几乎是必备选项。另外医学数据的评价不能只看肉眼重建质量需要计算Dice系数或者特定解剖结构的配准精度。所以这个方向可行但门槛主要在验证环节。5.3 做数据增强与域适应解耦模型训练好之后等于你拥有了一个可控的数据生成器。你可以固定外观编码在几何编码上采样生成“同一纹理、不同形状”的新样本也可以固定几何编码改变外观编码生成“同一形状、不同纹理”的样本。这对某些训练场景特别有用。比如在自动驾驶场景里车辆姿态会影响目标检测器的鲁棒性。你用可变形生成器把车辆图像解耦成外观和几何后就能通过对几何编码做插值生成同一辆车在不同角度下的图像而不是像传统增强那样简单旋转裁剪。在域适应里如果源域和目标域的主要差异在纹理你就可以用外观编码迁移生成一批目标域风格的训练图帮助模型做适应性调整。这种增强方式的可控性远超随机扰动。5.4 往3D和扩散模型扩展二维变形场可以直接推广到三维体素空间。外观分支生成一个规范三维模板几何分支生成三维变形场再通过可微渲染投影成图像。这种结构在单视图3D重建里很有潜力网络只需要学一个目标物体的规范形状和每张图对应的变形就能从多视角图像中无监督学出3D结构。不过三维计算开销大而且单纯靠外观/几何解耦无法解决对称性和遮挡问题目前更多是研究性质的探索。扩散模型方面一个值得尝试的方向是把可变形生成器当作扩散模型的“条件约束器”。外观生成阶段交给扩散模型负责几何分支只对最终输出施加可微变形。这样既能保留扩散模型的图像质量又获得了对形状和姿态的精细控制。但这个组合需要把扩散过程的时间步与变形场更新耦合起来梯度回传路径较长训练稳定性是个挑战。我身边还没有看到特别成熟的落地案例如果你要上手建议先在小分辨率、单类别的数据上做实验不要一上来就冲击大模型。最后说点跑模型之外的体会。我在实际做这个方向时最大的感受是解耦的尽头不是loss而是归纳偏置。你需要把“哪些因子算外观、哪些算几何”想清楚然后通过网络结构去告诉模型而不是完全指望它在隐空间里自己顿悟。可变形生成器最打动我的一点就是它把生成问题变成“画内容”和“放位置”两个子问题。如果你后面想尝试无监督解耦我建议先从这个框架入手哪怕最后用到别的模型上这种“显式化变形”的思路也会让你少踩很多坑。