1. 为什么我到现在还在用ACGAN做图像生成搞图像生成这些年从最早的GAN一路折腾到后来的扩散模型各种新架构层出不穷。但每次有朋友让我帮忙搭一个能跑、能控、能出活的生成模型基线我第一反应还是ACGAN。原因很实在它把生成逼真图像和控制生成类别这两件事塞进了同一个框架里结构不复杂训练逻辑清晰调参空间可控特别适合拿来快速验证一个想法到底行不行。ACGAN全称是Auxiliary Classifier GAN也就是带辅助分类器的生成对抗网络。名字听着唬人拆开看就三块东西一个生成器负责从噪声和类别标签造图一个判别器负责判断图真不真外加一个分类头负责判断图属于哪一类。它解决的问题很具体——普通GAN你只能随机生成想要指定类别就得重新训练或者搞条件注入的各种花活ACGAN把类别信息同时喂给生成器和判别器生成端按标签造图判别端顺便把类别也认了一举两得。这篇文章适合谁看如果你刚接触图像生成想找一个结构清楚、代码量不大、能在一张消费级显卡上跑起来的入门方案ACGAN是很好的练手对象。如果你已经用过条件GAN但对其中的标签注入方式、损失函数设计、训练稳定性这些细节一知半解这篇会把我在实际项目里踩过的坑和调参经验摊开讲。全文围绕一个核心目标让你看完能自己搭出一个能按类别出图的ACGAN并且知道每一步为什么这么做。我先把结论摆前面ACGAN的核心价值不在于它能生成多高清的图而在于它提供了一个生成加分类联合优化的干净范式。理解了这个范式你再看后面那些更复杂的条件生成模型会发现底层思路一脉相承。下面我从整体设计思路开始拆一路讲到实操步骤和排错技巧。2. 整体设计与思路拆解2.1 核心架构为什么是生成器判别器分类头三件套先说清楚ACGAN和普通GAN的本质区别。普通GAN的判别器只干一件事判断输入图像是真实数据还是生成器造的假图输出一个真假概率。ACGAN在此基础上给判别器加了一个辅助任务——同时预测这张图的类别标签。注意这个分类头是挂在判别器身上的共享前面的卷积特征提取层只在最后分叉出两个输出一个真假判别一个类别分类。生成器这边也不一样。普通GAN的输入只有随机噪声ACGAN的输入是噪声向量拼接上类别标签的嵌入表示。也就是说生成器在造图的时候是知道自己要造哪一类的。这个设计的好处很直接你给标签猫它就往猫的方向生成给标签狗它就往狗的方向生成。控制粒度是类别级别的不需要额外的条件网络或者注意力机制。为什么这么设计从信息流动的角度看类别标签在生成端是指令在判别端是监督信号。生成器要学会把标签信息和噪声一起映射成符合该类分布特征的图像判别器要学会从图像里反推出类别。两个任务互相拉扯生成器被迫造出类别特征鲜明的图否则判别器的分类损失会升高判别器被迫学到更有判别力的类别特征否则分不清真假也分不清类别。这种联合优化让模型在类别可控性上比单纯的条件GAN更稳。我实际对比过几种条件注入方式一种是把标签做one-hot直接拼到噪声后面一种是过一层嵌入层再拼还有一种是像ACGAN这样在判别器加辅助分类头。实测下来小数据集上one-hot拼接加辅助分类头的组合收敛最快嵌入层适合类别数多的情况比如上百类因为one-hot维度太高会让生成器输入变得稀疏。这个取舍后面讲参数选择时还会细说。2.2 损失函数的设计逻辑真假损失与分类损失如何平衡ACGAN的损失函数是两块拼起来的。判别器这边要最小化两个东西一是真假判别的交叉熵损失让真图判真、假图判假二是辅助分类的交叉熵损失让真图分类正确、假图也按生成时的标签分类正确。生成器这边要最小化的是让判别器把假图判成真的损失加上让判别器把假图分类成目标标签的损失。这里有个容易搞混的点生成器的分类损失到底怎么算。假图是生成器按某个标签造出来的判别器对这张假图做分类预测我们希望预测结果和生成时用的标签一致。所以生成器的分类损失是判别器对假图的分类输出与生成时标签之间的交叉熵。这个设计很巧妙它逼着生成器造出的图不仅要在整体分布上像真的还要在类别特征上足够鲜明能让判别器认出来。两块损失的权重怎么配这是实操里最影响效果的超参数之一。我试过的配置里真假损失和分类损失按1:1配是最稳的起点。分类损失权重太低生成器对类别不敏感出图类别混淆权重太高生成器过度追求类别特征图像质量会下降出现模式坍塌的早期迹象。有个经验做法训练初期分类损失权重可以稍高一点比如1.2让模型先把类别特征学出来训练中后期再降回1.0甚至0.8给图像质量留空间。这个调度策略不是必须的但在类别数较多比如10类以上时效果明显。还有一个细节判别器的分类损失只对真图算还是真假图都算标准ACGAN的做法是两者都算。真图的分类标签是数据集给的假图的分类标签是生成时用的。这样判别器在分类任务上同时见到真样本和假样本学到的特征更有泛化性。我早期偷懒只对真图算分类损失结果判别器对假图的分类能力很弱生成器的分类损失降不下去出图类别控制很差。这个坑后面排错部分还会提。2.3 相比其他条件生成方案ACGAN的取舍在哪里条件生成这条路线上除了ACGAN还有cGAN条件GAN、InfoGAN、以及后来基于扩散模型的各种条件注入方案。ACGAN的定位很清晰结构简单、训练直接、类别控制硬约束。cGAN的做法是把标签同时拼到生成器输入和判别器输入判别器不额外做分类只是把标签作为条件信息一起判断真假。这种方式在类别少的时候够用但判别器没有显式的分类监督类别特征的学得不够锐利。ACGAN加了辅助分类头相当于给判别器加了一个必须认类别的硬任务类别特征学得更扎实。InfoGAN走的是另一条路它不依赖标签而是通过互信息最大化让隐变量和输出产生关联属于无监督的可解释表示学习。ACGAN是有监督的需要标签数据但控制精度更高你想生成哪类就生成哪类不用去猜隐变量对应什么语义。至于扩散模型时代的条件注入那是另一个量级的东西生成质量和多样性都碾压GAN系但训练成本、推理速度、调参复杂度也高一个数量级。ACGAN的价值在于它是理解条件生成这件事的最小可用范例。你把ACGAN的生成器、判别器、分类头、损失平衡这几块吃透再看扩散模型里的classifier-free guidance会发现底层逻辑是相通的——都是在生成过程中注入条件信号只是注入方式和优化目标不同。所以我的建议是如果你的目标是快速验证一个类别可控的生成想法数据量不大几千到几万张算力有限ACGAN是性价比很高的选择。如果追求极致生成质量那确实得上扩散模型但ACGAN作为基线对比是少不了的。3. 核心细节解析与实操要点3.1 生成器结构从噪声加标签到图像的关键路径生成器的输入是两个东西拼起来的一个100维的随机噪声向量一个类别标签的嵌入表示。标签嵌入怎么做如果类别数不多比如10类直接one-hot拼上去就行维度就是类别数。如果类别数多建议过一个嵌入层把标签映射到比如50维或100维再和噪声拼接。拼接后的向量维度是噪声维度加标签维度这个总维度就是生成器第一层的输入维度。生成器的主体是反卷积堆叠也就是转置卷积。以生成64x64的RGB图为例一个常见的结构是输入向量经过一个全连接层映射到4x4x512的特征图然后依次经过四层转置卷积每层把空间尺寸翻倍通道数减半最后到64x64x3。每层后面接批归一化和ReLU激活最后一层用Tanh把输出压到-1到1之间。这里有几个实操要点。第一批归一化的位置。我习惯在转置卷积之后、激活之前加BN但最后一层不加BN直接Tanh。原因是最后一层加BN会让输出分布被强行拉平颜色会发灰。第二激活函数的选择。中间层用ReLU没问题但如果你发现生成的图有大量死像素某些位置永远是黑的可以换成LeakyReLU负斜率设0.2。第三上采样方式。转置卷积容易产生棋盘格伪影尤其是在层数多的时候。一个替代方案是先做最近邻上采样再接普通卷积伪影会少很多但计算量稍大。我在64x64这个尺度上两种都用过转置卷积够用128x128以上建议换后者。标签嵌入层的位置也有讲究。我试过把标签嵌入和噪声拼接后一起过全连接也试过把标签嵌入单独过一层再和噪声特征在通道维度拼接。前者实现简单后者在类别数多时效果更好因为标签信息和噪声信息在早期就保持了某种独立性。这个不是硬性要求看你的类别规模来定。3.2 判别器结构共享特征加双头的设计细节判别器的输入是一张图输出是两个东西一个真假概率标量一个类别概率分布类别数维向量。结构上前面是卷积堆叠做特征提取后面分两个头。以64x64输入为例四层卷积每层卷积后接LeakyReLU负斜率0.2前几层可以加Dropout或者谱归一化来稳定训练。卷积完把特征图展平接一个全连接层得到共享特征向量然后这个向量分两路一路接一个神经元输出真假logit一路接类别数个神经元输出分类logit。为什么判别器用LeakyReLU而不是ReLU这是GAN训练的老经验了。判别器如果大量神经元死亡ReLU的零梯度问题梯度传不回生成器训练直接卡死。LeakyReLU给负区间留了一个小斜率梯度不会完全断掉。这个细节在ACGAN里尤其重要因为判别器要同时学真假和分类两个任务梯度路径更复杂神经元死亡的风险更高。谱归一化是我强烈建议加的一个技巧。它作用在判别器的卷积层上把每层的权重矩阵谱范数约束住防止判别器过强导致生成器梯度消失。加了谱归一化之后判别器和生成器的能力更平衡训练曲线会平滑很多。实现上就是在卷积层后面包一层谱归一化主流框架都有现成实现。我对比过加和不加的情况不加的时候判别器损失经常掉到接近零生成器完全学不动加了之后两边损失在一个合理区间来回拉锯出图质量稳步上升。分类头的输出维度等于类别数用交叉熵损失。真假头的输出是一个标量用二元交叉熵。两个头共享前面的卷积特征这是ACGAN设计上的关键——分类任务迫使卷积层学到类别相关的特征这些特征同时服务于真假判别相当于给判别器加了一个正则项让它不会只盯着低级的纹理真假线索而是学到更语义化的表示。3.3 标签处理与输入拼接的实操细节标签处理这块新手最容易在维度对齐上翻车。假设类别数是10batch size是64。标签张量的形状是[64]每个元素是0到9的整数。做one-hot之后形状变成[64, 10]。噪声张量形状是[64, 100]。拼接的时候要在最后一个维度拼得到[64, 110]。这个110就是生成器第一层全连接的输入维度。如果用过嵌入层标签先过nn.Embedding(10, 50)输出形状[64, 50]再和噪声拼成[64, 150]。嵌入层的权重是跟着生成器一起训练的不需要预训练。嵌入维度怎么选我的经验是类别数在10以内嵌入维度取32到64都行类别数上百嵌入维度取128左右。维度太低标签信息表达不充分太高容易过拟合尤其是每类样本不多的时候。还有一个容易忽略的点判别器做分类任务时假图的标签从哪来。假图是生成器按某个标签造出来的这个标签在生成时就确定了判别器对假图做分类预测时监督信号就是这个生成标签。实现上你在生成假图的那一步把标签存下来算分类损失时直接用。别搞混成判别器预测假图的类别然后和真实标签比假图没有真实标签它的真实标签就是生成时用的那个。拼接顺序也有讲究。噪声在前标签在后还是标签在前噪声在后理论上没区别因为全连接层会学到对应的权重。但实测下来噪声在前更符合直觉因为噪声是主信号标签是条件信号。我习惯噪声在前。这个不影响效果团队协作时统一一下就行免得代码合并时出岔子。3.4 训练循环的节奏控制与关键超参数训练循环的骨架是每个batch先更新判别器再更新生成器。判别器更新时真图和假图都要过一遍算真假损失和分类损失反向传播更新判别器参数。生成器更新时只过假图算生成器的真假损失和分类损失反向传播更新生成器参数。注意更新生成器时要冻结判别器参数不然判别器也被带着改训练就乱了。优化器选择上Adam是标配。学习率我一般设判别器2e-4生成器2e-4beta1设0.5beta2设0.999。beta1设0.5是GAN训练的老传统动量小一点训练更稳。学习率别设太大1e-3以上很容易震荡也别太小1e-5以下收敛慢得让人怀疑人生。2e-4是个经过大量实践验证的甜点值。batch size方面64到128是常见区间。太小比如16梯度噪声大训练不稳太大比如512显存吃不消而且每个epoch的更新次数少收敛慢。我一般用64显存富裕就上128。如果数据集类别不平衡建议用分层采样保证每个batch里各类别都有一定比例不然判别器的分类头会偏向多数类。训练轮数没有固定值看损失曲线和出图效果。一般几十个epoch能看到类别控制生效上百个epoch图像质量趋于稳定。我习惯每5个epoch存一次模型并生成一批样例图肉眼观察类别是否对得上、图像是否清晰。损失曲线方面判别器和生成器的真假损失应该在一个区间来回拉锯如果判别器损失一路降到零说明判别器太强得加正则或者降判别器学习率如果生成器损失爆炸检查梯度有没有异常、学习率是不是太大。4. 实操过程与核心环节实现4.1 环境准备与数据管线的搭建环境这块没什么特殊要求主流深度学习框架都行。我用的是PyTorch版本1.10以上CUDA按显卡型号配。依赖就几个torch、torchvision、numpy、matplotlib画样例图用。数据管线用torchvision的ImageFolder加DataLoader前提是数据按类别分文件夹存放每个文件夹名就是类别名。如果你的数据是别的格式写个自定义Dataset类__getitem__返回图像张量和标签整数就行。数据预处理有几个必做项。图像统一resize到目标尺寸比如64x64转成张量归一化到-1到1之间和生成器最后一层Tanh的输出范围对齐。归一化用 transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))这会把0到1的像素值映射到-1到1。别忘了这个对齐生成器输出-1到1判别器输入也得是-1到1不然真假分布对不上训练直接崩。数据增强要不要加我的建议是谨慎。水平翻转一般可以加对类别语义影响小。颜色抖动、随机裁剪这些要小心可能破坏类别特征尤其是细粒度分类任务。我早期在一个花卉数据集上加了随机裁剪结果生成器学出来的花总是缺一块因为裁剪把花瓣裁掉了模型以为花就该是残缺的。所以增强策略要和类别语义匹配拿不准就先不加基线跑通了再试。DataLoader的num_workers设成4到8pin_memory设True能明显加快数据加载。如果数据集小可以把整个数据集预加载到显存里省去反复读盘的开销。这个优化在数据集几千张的时候效果明显上万张就得掂量显存了。4.2 生成器与判别器的代码骨架生成器的核心代码逻辑是这样的定义标签嵌入层如果类别多或者直接用one-hot定义噪声维度、标签维度、拼接后的输入维度然后堆转置卷积层。我习惯把结构参数化比如用一个列表存每层的通道数循环建层这样改尺寸的时候不用重写一堆代码。import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, noise_dim100, num_classes10, embed_dim50, img_channels3, feat_dim64): super().__init__() self.embed nn.Embedding(num_classes, embed_dim) input_dim noise_dim embed_dim self.fc nn.Linear(input_dim, feat_dim * 8 * 4 * 4) self.net nn.Sequential( nn.BatchNorm2d(feat_dim * 8), nn.ReLU(True), nn.ConvTranspose2d(feat_dim * 8, feat_dim * 4, 4, 2, 1), nn.BatchNorm2d(feat_dim * 4), nn.ReLU(True), nn.ConvTranspose2d(feat_dim * 4, feat_dim * 2, 4, 2, 1), nn.BatchNorm2d(feat_dim * 2), nn.ReLU(True), nn.ConvTranspose2d(feat_dim * 2, feat_dim, 4, 2, 1), nn.BatchNorm2d(feat_dim), nn.ReLU(True), nn.ConvTranspose2d(feat_dim, img_channels, 4, 2, 1), nn.Tanh() ) def forward(self, noise, labels): label_embed self.embed(labels) x torch.cat([noise, label_embed], dim1) x self.fc(x).view(-1, 512, 4, 4) return self.net(x)这段代码生成的是64x64的图feat_dim设64通道数从512一路降到3。转置卷积的参数是kernel_size4, stride2, padding1这个组合正好让空间尺寸每次翻倍。你可以根据目标尺寸调整层数每多一层尺寸翻倍。判别器的骨架是卷积堆叠加双头输出class Discriminator(nn.Module): def __init__(self, num_classes10, img_channels3, feat_dim64): super().__init__() self.features nn.Sequential( nn.Conv2d(img_channels, feat_dim, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(feat_dim, feat_dim * 2, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(feat_dim * 2, feat_dim * 4, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(feat_dim * 4, feat_dim * 8, 4, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), ) self.adv_head nn.Linear(feat_dim * 8 * 4 * 4, 1) self.cls_head nn.Linear(feat_dim * 8 * 4 * 4, num_classes) def forward(self, x): feat self.features(x).view(x.size(0), -1) adv_out self.adv_head(feat) cls_out self.cls_head(feat) return adv_out, cls_out注意这里我没加谱归一化实际用的时候建议在卷积层外面包一层谱归一化稳定性提升明显。真假头输出一个标量logit分类头输出类别数个logit损失函数用带logits的交叉熵版本省得手动加softmax。4.3 损失计算与参数更新的完整流程损失计算这块判别器和生成器分开写。判别器的一个batch更新流程是取真图真标签生成噪声和随机标签造一批假图真图假图都过判别器算判别器的真假损失真图判真、假图判假和分类损失真图按真标签、假图按生成标签两个损失加起来反向传播更新判别器。生成器的更新流程是生成噪声和随机标签造假图假图过判别器此时判别器参数冻结算生成器的真假损失假图被判真和分类损失假图被分类成生成标签加起来反向传播更新生成器。真假损失用二元交叉熵分类损失用多元交叉熵。真假损失的标签构造上真图对应1假图对应0用BCEWithLogitsLoss的话直接传logit和标签就行。分类损失用CrossEntropyLoss传logit和标签整数。有个实现细节判别器更新时假图是从生成器来的但反向传播只更新判别器所以假图要detach掉切断生成器的梯度。生成器更新时反过来判别器参数冻结梯度只传到生成器。这个detach操作漏了的话两个网络会互相干扰训练直接乱套。我见过不少新手在这里翻车损失曲线看着正常但出图质量死活上不去查半天发现是梯度没切断。参数更新频率上标准做法是判别器更新一次、生成器更新一次1:1交替。也有做法是判别器更新两次、生成器一次适合判别器偏弱的情况。我一般先用1:1跑基线如果判别器损失掉得太快再调成2:1。反过来如果生成器学不动可以试试生成器多更新一次。这个比例不是死的看损失曲线动态调。4.4 训练监控与样例图生成训练过程中必须监控两样东西损失曲线和样例图。损失曲线用TensorBoard或者简单的matplotlib画重点看判别器真假损失、判别器分类损失、生成器真假损失、生成器分类损失四条线。健康的曲线是四条线都在一个区间内波动没有哪条线一路降到零或者一路飙升。样例图生成是更直观的监控手段。每训练几个epoch固定一批噪声和标签比如每个类别各取8个样本过生成器出图存成网格图。观察要点类别是否对得上标签是猫的出图是不是猫、图像是否清晰有没有明显噪点或模糊、多样性是否够同类别的8张图是不是长得都一样。如果同类别的图高度相似说明模式坍塌了得调整损失权重或者加正则。我习惯把固定噪声存下来每次生成用同一批噪声这样能看出同一个噪声向量随着训练推进出图是怎么演化的。这个技巧对判断模型是否在稳步学习很有用。如果同一个噪声在不同epoch出的图跳来跳去说明训练不稳如果逐渐清晰且类别特征越来越明显说明在正常收敛。检查点保存策略上我一般每5个epoch存一次完整模型生成器加判别器加优化器状态同时存一份样例图。这样万一训练崩了可以回滚也方便对比不同阶段的出图效果。模型文件命名带上epoch数和关键超参数比如acgan_e50_lr2e4_bs64.pth后面复盘的时候一目了然。5. 常见问题与排查技巧实录5.1 生成图像类别混乱标签信息没学进去这是ACGAN最常见的问题出图看着还行但标签和内容对不上给猫的标签生成出像狗的东西。排查思路分三层。第一层检查标签拼接是否正确。打印生成器输入向量的维度确认噪声和标签嵌入确实拼上了维度对得上。我遇到过标签嵌入层定义在生成器外面、忘了注册成子模块的情况结果嵌入层参数没被优化器更新标签信息一直是随机的。确认嵌入层是生成器的子模块参数在优化器的参数列表里。第二层检查判别器的分类损失是否在下降。如果判别器分类损失一直很高说明判别器自己都认不出类别生成器更学不到。可能原因是分类头学习率不够、分类损失权重太低、或者判别器特征提取能力不足。可以试着把分类损失权重调高到1.5观察几个epoch看分类损失有没有下降趋势。第三层检查生成器的分类损失是否在下降。生成器分类损失是判别器对假图的分类输出与生成标签的交叉熵。如果这个损失降不下去说明生成器造的图类别特征不够鲜明判别器认不出来。这时候可以加大生成器分类损失的权重逼生成器更关注类别特征。但注意别加太猛否则图像质量会掉。还有一个隐蔽的原因类别标签在数据加载时编码错了。比如文件夹名到标签整数的映射搞乱了猫的图被标成狗的标签。这种错误损失曲线看着正常但出图类别全乱。排查方法是拿几张真图过判别器看分类输出是否和真实标签一致不一致就是数据标签有问题。5.2 模式坍塌同类别的图长得一模一样模式坍塌的表现是每个类别只能生成一两种固定的样子多样性极差。比如生成汽车永远是同一个角度同一款车换个噪声向量出来的还是那辆车。成因上模式坍塌本质是生成器找到了判别器的某个盲点用少量样本就能骗过判别器于是懒得去覆盖整个分布。ACGAN里这个问题比普通GAN更微妙因为分类任务给了生成器一个额外的优化目标有时候生成器会过度迎合分类损失把类别特征做得极其夸张但多样性丢失。应对手段有几个。一是调整损失权重把分类损失权重降一点给真假损失更多空间让生成器更关注整体分布而不是类别特征的锐度。二是加正则比如在判别器上加Dropout或者谱归一化削弱判别器对特定模式的过拟合。三是用minibatch discrimination让判别器能看到一个batch内的样本多样性惩罚生成器输出过于相似的样本。这个实现稍复杂但效果明显。四是简单粗暴地加噪声在判别器输入上加小幅高斯噪声让判别器不那么锐利。我实际用下来谱归一化加分类损失权重降到0.8的组合对缓解模式坍塌最有效而且改动量小。minibatch discrimination效果更好但实现成本高适合对多样性要求极高的场景。5.3 训练震荡不收敛判别器和生成器失衡训练震荡的表现是损失曲线剧烈波动出图质量忽好忽坏同一个噪声向量在不同epoch出的图差异巨大。根因是判别器和生成器的能力失衡一方太强另一方学不动或者学习率不匹配导致更新步长打架。排查第一步看判别器损失。如果判别器真假损失很快降到接近零说明判别器太强生成器梯度消失。对策是降判别器学习率比如从2e-4降到1e-4、加谱归一化、或者减少判别器的更新频率从1:1改成1:2即生成器更新两次判别器一次。反过来如果判别器损失居高不下说明判别器太弱生成器造的假图轻易骗过它这时候要提升判别器能力加层数或者加宽通道。学习率匹配也很关键。判别器和生成器学习率差太多会震荡。我一般先设成一样观察曲线如果一方明显跟不上再单独调。Adam的beta1设0.5对稳定性帮助很大别用默认的0.9。还有一个容易忽略的点批归一化的动量参数。生成器和判别器里的BN层动量默认0.1训练早期统计量不稳定可能导致输出分布跳变。可以试着把动量调到0.8让统计量更新更平滑。这个改动很小但对早期训练稳定性有帮助。5.4 常见问题速查表问题现象可能原因排查动作解决手段出图类别与标签不符标签拼接错误或嵌入层未更新打印输入维度检查嵌入层是否在优化器参数里修正拼接逻辑确认嵌入层注册为子模块判别器分类损失不降分类头能力不足或权重太低观察分类损失曲线提高分类损失权重至1.5加宽分类头生成器分类损失不降生成图类别特征不鲜明观察假图分类输出提高生成器分类损失权重检查标签编码同类别出图高度相似模式坍塌固定噪声看多组出图加谱归一化降分类损失权重加输入噪声损失剧烈震荡判别器生成器失衡看判别器真假损失是否趋零降判别器学习率调更新频率BN动量调0.8出图有棋盘格伪影转置卷积上采样放大看图像纹理换最近邻上采样加普通卷积颜色发灰发暗最后一层加了BN检查生成器末层结构去掉最后一层BN直接Tanh训练早期就崩学习率太大或数据归一化不对检查学习率和归一化范围学习率降到2e-4确认数据在-1到1这张表是我这些年排错攒下来的大部分ACGAN训练问题都能在里面找到对应条目。实际排查时按先看数据、再看损失、最后调结构的顺序来别一上来就改网络结构很多问题出在数据和损失配置上。5.5 几个容易被忽略的实操心得第一个心得训练前先跑一个过拟合小实验。拿几十张图关掉数据增强训练几百个step看生成器能不能把这几十张图背下来。如果能背下来出图和训练图几乎一样说明网络结构和训练流程没问题可以上全量数据。如果背不下来说明结构或者损失配置有bug先修bug再谈效果。这个实验十分钟就能跑完能省掉后面几小时的瞎调。第二个心得固定随机种子。GAN训练对随机性很敏感同一个配置跑两次结果可能差很多。调试阶段固定torch的随机种子和numpy的种子保证每次跑的结果可复现不然你改了参数都不知道是参数起作用还是随机性作祟。等配置调稳了再放开种子跑多次看方差。第三个心得样例图的标签顺序要固定。我习惯按类别顺序每个类取相同数量的样本拼网格这样一眼能看出哪个类别生成得好、哪个类别拉胯。如果某个类别一直生成不好可能是该类样本太少或者特征太复杂考虑对该类做过采样或者单独调损失权重。第四个心得别迷信大模型。ACGAN在64x64尺度上生成器几百万参数就够用了堆到几千万参数反而容易过拟合、训练慢。先把小模型跑通效果不够再加容量。我见过有人一上来就堆ResNet级别的生成器结果训练三天不收敛换成小模型两小时出效果。6. 从ACGAN出发的扩展方向ACGAN跑通之后往下走有几个自然的扩展方向。一个是提升分辨率从64x64到128x128再到256x256每上一个台阶都要调整网络深度和通道数同时训练稳定性会变差需要更强的正则手段。另一个是引入更细粒度的条件控制比如在类别标签之外再加属性标签颜色、姿态做成多条件生成。还有就是把ACGAN的辅助分类思路迁移到其他生成框架里比如在扩散模型的条件注入里借鉴这种判别端加分类监督的设计。我个人在实际操作中的体会是ACGAN最大的价值不是它本身能生成多好的图而是它把条件生成的几个核心问题——条件怎么注入、监督信号怎么设计、两个任务怎么平衡——用最简洁的方式摆在了你面前。把这几个问题想清楚后面换任何生成框架都是换汤不换药。我到现在做新项目的生成基线还是先搭一个ACGAN跑通确认数据管线和评估流程没问题再上更复杂的模型。这个习惯帮我省了很多时间也让我对每个新框架的条件控制部分看得更透。