简介面向深度学习研究者、毕业设计学生及医学图像处理从业者的CycleGAN实战资源包聚焦风格变换与跨模态图像生成内含完整源码、训练教程与原始论文可快速上手跑通自定义数据集。资源共75个文件、41.87MB主体为36个Python脚本覆盖模型定义、数据预处理、训练与测试环节14个Shell脚本提供一键训练、测试及数据集下载功能7个Markdown文档和2个Jupyter Notebook包含环境配置、参数调整与实操示例另附LaTeX源码与PDF论文便于对照理论。目前已有1256人学习目录结构按数据集、模型、工具、脚本等模块划分清晰易读。读者可按教程从零运行CycleGAN无需重复踩坑并能基于自带代码扩展适用于画风迁移、域适配及医学图像模态转换等方向兼顾科研与工程落地。1. 无配对风格变换为什么值得自己跑一次Cycle GAN第一次用Cycle GAN跑自己的数据集别期待第一轮就出惊艳效果。这个模型解决的是风格变换里最麻烦的一类场景没有成对样本。白天街景到夜晚街景、夏天照片到冬天照片、油画到照片都可以丢进Cycle GAN训练。它不需要你对每张图做像素级对齐只要把图片分成两个域放进文件夹模型自己学着互相转换。这篇笔记把Cycle GAN的训练教程落到官方code上从论文原理、数据集准备到训练命令和踩坑记录一路讲完适合有图像数据、又不打算花时间做配对标注的工程师照着复现。2. 从论文拆Cycle GAN的实现循环一致性、双生成器与模型配置Cycle GAN的论文是《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》它的核心贡献是无配对条件下的风格变换。论文里最关键的设计是循环一致性约束看不懂这个后面调参都是盲调。2.1 循环一致性损失无配对训练能收敛的支点如果只给一个生成器G和判别器D让G把X域图片变成Y域风格模型很快会走捷径G会把所有输入都映射到Y域的某一个模式上因为判别器只关心“像不像Y域”根本不关心内容对不对。Cycle GAN的解法是再训练一个逆向生成器F: Y→X并且要求变换之后还能变回来。损失函数写出来是三项之和。第一项是正向对抗损失判别器D_Y逼迫G生成的结果接近Y域分布第二项是逆向对抗损失判别器D_X逼迫F生成的结果接近X域分布第三项是循环一致性损失用L1距离约束F(G(x))尽量等于xG(F(y))尽量等于y。第三项的权重λ在官方实现里默认设为10这个值决定了内容保留和风格迁移之间的平衡。循环一致性的厉害之处在于它不需要任何一对一的标注只需要两个域的图片集。白天到夜晚的转换里模型必须保证白天图片里的路灯位置、道路轮廓在变成夜晚后仍然对得上否则逆向生成器无法还原原图。这就是为什么Cycle GAN能在无配对数据下稳定训练的根本原因。论文里还用了一个细节对抗损失用的是LSGAN的最小二乘形式而不是普通GAN的二元交叉熵目的是一开始训练更平稳。2.2 两个生成器、两个判别器从论文配置到官方code的对应Cycle GAN一共有四个网络生成器G_A把A域变到B域生成器G_B把B域变回A域判别器D_A判断输入像不像真实的A域判别器D_B判断输入像不像真实的B域。训练时四个网络交替更新G_A和D_B对抗G_B和D_A对抗同时G_A和G_B串联起来算循环损失。官方code对应这项配置核心模型文件一般是models/cycle_gan_model.py网络结构定义在models/networks.py。clone官方repo下来之后常见做法是直接查这两个文件核对论文里说的结构grep -n def forward models/cycle_gan_model.py grep -n lambda_A\|lambda_B\|lambda_identity options/train_options.py第一条命令定位前向计算位置第二条命令看循环损失的权重默认值。lambda_A和lambda_B是循环一致性损失权重默认10lambda_identity是身份损失权重默认0.5后面会单独讲什么时候用它。论文配置到官方参数的映射关系见下表训练前把这张表过一遍心里就有底了组件论文设置官方参数默认值生成器结构ResNet-9 Blocks--netGresnet_9blocks生成器备选U-Net 256--netGunet_256判别器结构70×70 PatchGAN--netDbasic生成器通道数64--ngf64判别器通道数64--ndf64优化器Adam--optimizeradam学习率0.0002--lr0.0002循环损失权重10--lambda_A, --lambda_B10身份损失权重0.5--lambda_identity0.5训练时你会在日志里看到这些损失交替打印G_A、G_B生成器总损失D_A、D_B判别器损失cycle_A、cycle_B循环一致性损失以及idt_A、idt_B身份损失。正常情况下cycle损失应该稳步下降D_A和D_B损失在0.5到1.5之间波动是常态不必恐慌。2.3 什么时候选Cycle GAN无配对方案和有配对方案的分界动手之前先想清楚你的数据到底是不是真的无配对。如果你手里有同一场景的两张图一张白天一张夜晚且像素位置对齐那直接用pix2pix这类有配对模型效果更好、训练更稳定。Cycle GAN的优势场景是A域和B域分别来自不同来源比如网上爬的照片和艺术画作根本没有配对关系。这时强行做对齐既费时间又留伪影不如让Cycle GAN通过循环一致性自己学习对应关系。另一个选型看法是任务方向。Cycle GAN一次训练能提供双向变换如果你只需要单方向比如实景转油画那也可以考虑CUT或者FastCUT这类更新方案训练更快、显存更省。但Cycle GAN胜在稳定和通用论文代码成熟踩坑资料多作为第一个无配对风格变换项目非常合适。3. 准备自己的数据集目录结构、图像预处理与训练前检查脚本很多人在Cycle GAN上翻车不是模型问题是数据目录放错了。官方code对数据集目录结构有严格约定不按约定放训练脚本会直接退出或者读取到空目录。3.1 目录结构一个域一个文件夹Cycle GAN把图片分成两个域命名固定为trainA和trainB测试集是testA和testB。dataroot参数指向数据集根目录根目录下必须有这些子文件夹。图片文件名随便起A和B之间不需要任何对应关系这一点和pix2pix有本质区别。datasets/style_ab/ ├── trainA/ # 域A的训练图例如白天街景 ├── trainB/ # 域B的训练图例如夜晚街景 ├── testA/ # 域A的测试图至少放几张 └── testB/ # 域B的测试图至少放几张train.py训练时只需要trainA和trainB但建议从一开始就把testA/testB建好否则后面跑test.py时会因为找不到测试目录而报错或者输出空结果。test集不需要很多每个域放20到50张就够定性验证效果。注意训练时batch size默认是1也就是说每个iteration只读一张图。官方代码的DataLoader会从trainA随机取一张、trainB随机取一张喂给模型这两张图并没有配对关系这正是无配对训练的前提。如果你的数据本身就存在隐式配对比如按文件名编号一一对应请自己斟酌是否真的要用Cycle GAN否则循环一致性约束会限制模型发挥。3.2 图像预处理脚本统一尺寸、通道和EXIF方向手机照片、截图、扫描件混合在一起时最常见的三个问题是PNG带透明通道、照片带EXIF旋转信息、图片尺寸差异巨大。不处理这些训练时有些图会读取失败有些图会被错误旋转90度最后生成结果横竖混乱你还以为是模型问题。下面这个脚本是我一般会在数据准备阶段用一次的预处理工具统一做三件事去掉alpha通道、按EXIF信息转正方向、保持长宽比缩到短边286像素。import os from PIL import Image, ImageOps src_root raw # 原始图集内部按A、B分两个子目录 dst_root datasets/style_ab # Cycle GAN要求的目录 target_size 286 # 对齐官方训练默认的load_size for domain in [A, B]: src_dir os.path.join(src_root, domain) dst_dir os.path.join(dst_root, train domain) os.makedirs(dst_dir, exist_okTrue) for name in os.listdir(src_dir): path os.path.join(src_dir, name) try: img Image.open(path) except Exception as e: print(损坏文件跳过, path, e) continue img ImageOps.exif_transpose(img).convert(RGB) # 保持长宽比缩放短边到target_size训练时官方会再随机裁剪到256 w, h img.size scale target_size / min(w, h) img img.resize((round(w * scale), round(h * scale)), Image.LANCZOS) img.save(os.path.join(dst_dir, name), quality95)脚本里exif_transpose会把照片的EXIF方向信息真正应用到像素上避免手机竖拍照片在训练时被横过来。convert(RGB)把RGBA和灰度图统一成三通道RGB防止后续模型输入维度报错。短边缩到286是为了贴合官方训练的load_size默认值训练时DataLoader会按load_size等比例缩放图片再从286的区域里随机裁出256×256。如果你希望模型学习更多细节可以把target_size改成512对应训练时把--load_size和--crop_size一起调大。但注意分辨率提高后显存消耗会明显上涨消费级显卡建议先在256跑通再考虑放大。另有一个后悔药技巧预处理时不要覆盖原始图片输出到新目录后面想换缩放策略还能重新生成。3.3 训练前检查数量、长宽与内容分布数据准备好了别急着跑train.py先花两分钟检查一遍。写个小脚本统计两个域的图片数量、尺寸分布和损坏情况import os from collections import Counter from PIL import Image root datasets/style_ab for split in [trainA, trainB]: path os.path.join(root, split) names os.listdir(path) sizes [] corrupt [] for n in names: p os.path.join(path, n) try: sizes.append(Image.open(p).size) except Exception: corrupt.append(n) counter Counter(sizes) print(split, 数量:, len(names), 最常见尺寸:, counter.most_common(3)) print(split, 损坏文件:, corrupt)检查时重点看两个东西。一是数量trainA和trainB最好数量接近如果一边800张一边50张判别器D_B会很难训练因为模型没见过足够丰富的B域样本。二是内容分布把图片随机抽几张肉眼看一下确保A域里没有混入B域的图这种标注错误是训练后效果“说不清为什么差”的高频原因。数据检查这一步常常被跳过但它是整条训练链路里成本最低的保险。一个域几百张图已经能训练出可看的效果想要更高质量优先增加目标域B的数据多样性而不是盲目增加A域数量。4. 用官方code把训练跑通环境、命令与三个必调参数Cycle GAN最省心的做法是用论文作者的官方PyTorch实现仓库名是pytorch-CycleGAN-and-pix2pix代码结构清晰训练和测试脚本都是开箱即用的。自己从零写一套训练循环没有必要的官方code支持所有论文里提到的损失项和训练策略。4.1 环境准备PyTorch版本和官方依赖的安装官方repo基于PyTorch建议用conda建独立环境避免和现有项目打架。Python版本用3.9或3.10都可以PyTorch用2.x系列配对应CUDA版本即可。conda create -n cyclegan python3.9 -y conda activate cyclegan pip install torch torchvision git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix.git cd pytorch-CycleGAN-and-pix2pix pip install -r requirements.txtrequirements.txt里主要包含dominate和visdomdominate用于保存训练过程的可视化HTML页面visdom是官方推荐的可视化服务端。如果只在服务器上训练并且不想开额外服务可以不装visdom因为训练时把display_id设为0就会绕过它。常见做法是先跑一遍官方自带的示例数据集确认环境没问题再换自己的数据集。官方repo里有download_cyclegan_dataset.sh脚本可以用来下载苹果到橙子的示例数据集但那需要访问外部存储网络不便时可以直接跳过。环境装好后的验证方式是直接跑下面这章的训练命令能看到loss输出就说明环境没问题。4.2 训练命令最少改三个参数训练自己的数据集命令核心如下。我注释了三个必改参数和两个建议关注参数python train.py \ --dataroot ./datasets/style_ab \ --name style_exp \ --model cycle_gan \ --dataset_mode unaligned \ --direction AtoB \ --display_id 0 \ --n_epochs 100 \ --n_epochs_decay 100dataroot必须指向你放trainA/trainB的上级目录也就是数据集根目录。name是实验名输出会保存到checkpoints/style_exp/同时测试阶段的输出会保存到results/style_exp/。model固定为cycle_gan不要改成pix2pix。dataset_mode用unaligned告诉DataLoader不需要配对读取。direction决定训练方向AtoB表示把A域照片变成B域风格测试时也是按这个方向调用生成器。display_id设为0可以完全关闭visdom这在没有浏览器的环境里特别实用。n_epochs和n_epochs_decay控制训练总轮次前者是学习率不变阶段后者是线性衰减到零的阶段两者相加为总轮次200。更完整的参数说明见下表红色不及格项基本不用动参数默认值作用--n_epochs100学习率固定阶段的epoch数--n_epochs_decay100学习率线性衰减阶段的epoch数--lr0.0002初始学习率--batch_size1批次大小论文设定--lambda_A, --lambda_B10循环一致性损失权重--lambda_identity0.5身份损失权重--save_epoch_freq1每N个epoch保存一次checkpoint--crop_size256训练时随机裁剪的目标尺寸训练开始后终端会每秒打印一次当前epoch、iteration和各损失项。首次训练建议单独观察前20个epoch如果cycle_A和cycle_B一直在下降说明模型在学习映射关系如果损失横盘不动超过30个epoch大概率数据有问题提前止损比硬跑200轮省时间。4.3 训练过程怎么看损失曲线、生成器输出与checkpoint训练不是把命令扔进终端就完事。日志里每一行都有含义看到loss_D_A和loss_D_B特别低而loss_G特别高时说明判别器碾压了生成器模型生成的内容毫无风格反过来loss_G低而loss_D高可能是生成器进入了模式坍塌。理想状态是两边的loss都维持在一个动态平衡区间不出现单方趋近于零。官方code每隔一定epoch会保存checkpoint到checkpoints/style_exp/下文件包括latest_net_G_A.pth、latest_net_G_B.pth、latest_net_D_A.pth和latest_net_D_B.pth。训练中断后想接着跑加上--continue_train参数即可python train.py \ --dataroot ./datasets/style_ab \ --name style_exp \ --model cycle_gan \ --dataset_mode unaligned \ --display_id 0 \ --continue_train \ --epoch_count 101epoch_count要设成“上次已完成的epoch数1”官方code会根据这个值从对应checkpoint加载权重并继续。不加--epoch_count直接从0继续会出问题说白了就是模型重新从头训练而不是从断点恢复。如果你是用办公电脑本地训练有几点注意。一个完整训练周期通常要数小时到数十小时取决于GPU型号和图片分辨率。运行train.py时它会默认在后台跑全部epoch中途CtrlC会保存当前状态吗官方实现里如果不主动调用save_networks中断后只会保留最近一次save_epoch_freq周期checkpoint所以建议把--save_epoch_freq调小到5即使中断也不会丢太多进度。5. 训练避坑清单五条实战踩坑记录与处理方式Cycle GAN训练的坑很多是共性的。以下五条来自实际跑数据集的常见问题每条都按现象、原因、解决三步说明。5.1 输出整图偏暗偏灰损失看起来很正常现象loss曲线正常下降但每隔几个epoch保存的图片显示生成结果是一张灰蒙蒙的平均色图完全看不到物体轮廓。原因这是GAN训练里最经典的翻车现场。D_B判别器能力太强G_A生成器发现不管怎么努力都骗不过D_B干脆输出一张平滑的“平均图”纹理全部丢掉反正这样cycle loss也能降到较低水平。解决先把初始学习率从0.0002降到0.0001给生成器多一些适应空间。再检查lambda_identity默认身份损失会让G_A尽量保留A域原图信息如果之前手动把它调大过先恢复到默认。还不行的把--netD从basic改为n_layers同时把n_layers设小比如3削弱判别器。最后降低crop_size到192或128减少生成器需要填的细节面积通常能救回来。5.2 两个域差异太大循环一致性损失极慢现象比如做实体照片到地图风格转换cycle_A损失一直在1.5以上迟迟不下降生成图里内容结构明显被破坏出现多栋楼叠在一起的诡异效果。原因两个视觉域差别过大时循环约束要求F(G(x))还原x而Gx本身已经面目全非F再强也很难还原梯度互相拉扯训练长期停滞。解决先用较小的数据子集和256分辨率跑通一个短训练作为试探比如只训练50轮看生成结果是否至少保留了语义形状。其次降低cycle损失的权重lambda_A和lambda_B从10到5让对抗损失发力更多。还有一种操作是在预处理阶段让两个域的图片分辨率尽可能一致并统一裁剪策略避免模型把分辨率差异当作风格差异。5.3 训练集不平衡导致判别器来回横跳现象训练日志里loss_D_A稳定在0.1附近loss_D_B在0.4到1.8之间剧烈波动生成结果风格不稳定同一张输入不同epoch输出差异很大。原因trainA有2000张trainB只有60张。D_B没见过足够的B域真实样本每次迭代都在被迫重新学习B域分布无法收敛。解决最直接的对齐数量B域如果无法扩充就从A域随机抽与B域相同数量参与训练。另一种做法是对B域做数据增强比如随机水平翻转、小幅度亮度抖动扩充到接近A域规模。注意增强B域时要保持目标风格特征不被破坏翻转不会改变风格但过度的颜色扰动会让模型学到错误的风格定义。5.4 测试输出图出现棋盘格与块状纹理现象训练时用visdom或定期导出的图片看着正常但test.py批量输出后某些图出现明显的重复网格纹理尤其边缘区域严重。原因第一种情况是测试时输入图片分辨率大于训练时的crop_size生成器的感受野覆盖不了全局使局部纹理重复叠加。第二种情况是走了unet_256生成器内部上采样用了反卷积反卷积叠加本就容易产生棋盘格。解决让test.py的输入预处理和训练时保持一致。训练用crop_size 256测试时就不要在test.py里额外输入超大的load_size保持默认286。如果已经用了unet_256更换为resnet_9blocks生成器上采样部分用的是双线性插值棋盘格问题会小很多。这个坑修完之后最好批量跑30张测试图不要只看单张结果就下结论。5.5 测试阶段翻车test.py加载模型失败或输出全空现象train.py一切正常但跑test.py时提示模型文件找不到或者干脆输出目录为空命令行也没有明显报错。原因大部分情况下是name参数或dataroot不对应。name要和训练时的--name完全一致否则test.py去加载不存在的checkpoint。另外test.py默认读取testA和testB目录如果第3章目录准备时偷懒没建testA/testB就会静默空跑。解决确认测试命令python test.py \ --dataroot ./datasets/style_ab \ --name style_exp \ --model test \ --direction AtoB \ --num_test 50注意这里必须显式加--model test否则test.py会按cycle_gan模式尝试同时生成A到B和B到A两套输出并依赖更多的模型文件。跑完后检查results/style_exp/test_latest/index.html用浏览器打开可以直接对比输入和输出图片。6. 验证与调优让输出图和论文效果对齐的三个技巧训练结束不等于任务完成验证和调优才是决定这个方案值不值得继续投入的关键。我给你三个技巧按优先级排序。第一批量导出结果按三个维度定性验收。用上面的test.py导出全部测试图后不要只看挑出来的两三张。随机抽30张依次问三句话主体语义形状保住了吗风格特征像目标域吗有没有单张崩坏图如果30张里有3张以上内容错乱说明训练还没到位。用表格记录每张图在这三个维度上的主观评价比盯着loss曲线靠谱得多。第二身份损失lambda_identity是调优风格强度的旋钮。官方默认0.5它的作用是让G_A在遇到B域输入时尽量保持输入本身从而保留原图的颜色分布。如果你发现转换后图像色彩完全被目标域覆盖、原图信息丢失把lambda_identity上调到1.0到2.0反过来如果觉得风格迁移不够明显、只是轻微改了滤镜下调到0.1甚至0。这个参数改起来代价极低通常单独调它就能解决七成效果不满意的问题。第三低学习率微调比重新训练更省时间。如果已有训练200轮的checkpoint想要更好的细节表现常见做法是加载checkpoint后以0.0001的初始学习率继续训练50轮并把n_epochs_decay调到50让学习率平滑衰减到零。注意继续训练时要保持--continue_train和--epoch_count设置正确否则前功尽弃。# 验证脚本批量统计测试输出和原图之间的颜色差异发现异常图 from PIL import Image import numpy as np import os src datasets/style_ab/testA out results/style_exp/test_latest/testA for name in os.listdir(src): a np.asarray(Image.open(os.path.join(src, name)).convert(RGB), dtypenp.float32) b np.asarray(Image.open(os.path.join(out, name)).convert(RGB), dtypenp.float32) mae np.abs(a - b).mean() if mae 5: print(疑似崩坏风格迁移过弱, name, mae)这个脚本统计输入输出图片的MAE差异。差异极小说明风格迁移几乎没有生效可能是模型还没训练到位差异很大且图像内容错乱说明生成器在乱发挥。我把这个脚本当作每次训练完的快速体检工具跑一遍能快速找出异常样本再针对性看那几张图的结构问题。教训是训练Cycle GAN这类对抗模型不能只看损失数值也不能只看单张效果图。我的习惯是先缩到50个epoch跑通流程确认生成器输出稳定后再启动全量训练这个习惯帮我省下了大量重跑时间。希望帮到你。本文还有配套的精品资源点击获取