简介这是一套基于Matlab实现的Pix2Pix对抗网络学习资料面向本科、硕士阶段进行图像生成、计算机视觉与深度学习教研的读者旨在解决Pix2Pix模型在Matlab环境下从理论到落地的实践难题。压缩包共含5个文件两个m脚本分别实现Pix2Pix模型主体与Facade数据集加载txt说明文件提供运行要点jpg与gif则展示训练后的生成结果与动态对比整体大小约28.78MB便于快速下载与复现实验。作者已在包内直接放置运行结果读者无需自行训练即可查看模型效果并能对照代码深入理解条件生成对抗网络的训练流程、生成器与判别器结构以及图像到图像翻译的实现细节。已有148人浏览学习适合作为对抗网络入门实践、课程设计或毕业设计的参考资料也可作为Matlab图像处理方向研究的起点尤其适合有一定Matlab基础、希望快速上手Pix2Pix的读者。1. Pix2Pix 对抗网络这份 Matlab 代码值得你跑一遍第一次拿到Pix2Pix对抗网络附matlab代码运行结果.zip时我以为是又一个套壳的深度学习演示。解压扫完PIX2PIX.m和LoadFacadeDatabase.m才发现这是个能直接出图的完整训练工程边缘图进去建筑立面图出来还随手带了resultepoch4.jpg和p2pfacade.gif让你肉眼确认训练进度。对想在 Matlab 里落地图像翻译、又不想被 Python 环境折腾的人来说这份资源比大部分 GAN 教程都实在。Pix2Pix 的核心不是“生成一张像的图”而是“在输入条件约束下生成一张对得上的图”Matlab 版把这件事拆成了数据加载、生成器、判别器三个模块顺着代码读一遍对抗网络的基本盘就清楚了。适合课程设计、本科毕设以及想快速体验对抗生成网络完整流程的 Matlab 用户。2. 对抗网络的核心机制条件生成、U-Net 与 PatchGAN 如何配合2.1 为什么 Pix2Pix 必须用条件 GAN而不是普通 CNNPix2Pix 的本质是条件生成对抗网络。普通 GAN 的生成器输入是一段随机噪声输出是一张图生成什么全靠“撞”Pix2Pix 的生成器输入是另一张图——比如建筑立面的边缘线稿、语义分割图、或者白天街景的轮廓输出是对应的真实风格图像。这个“输入条件”把生成过程从无约束变成有约束判别器不再判断“这张图像不像真的”而是判断“这一对图像像不像真实配对”。我最初犯过的理解错误是以为判别器只看生成图的质量。其实在条件 GAN 里判别器同时输入条件图 C 和输出图 X判断的是“C 和 X 是否来自同一个样本对”。如果生成器把一栋长得完全不同的楼画得很真判别器照样给低分因为条件对不上。这个设计迫使生成器学的不是“画一张好看的建筑图”而是“根据边缘结构推测建筑外观”。Matlab 代码里的D网络输入层通常直接cat(2, edge, img)拼接通道就是干这件事读代码时注意这个拼接位置就能少走弯路。2.2 U-Net 生成器与 PatchGAN 判别器在代码里的落点英文原版 Pix2Pix 用的是 TorchMatlab 复现版保留了相同的网络骨架。生成器是 U-Net 结构左边编码器逐层下采样右边解码器逐层上采样中间用 skip connection 把编码器浅层特征直接拼到解码器对应层。这么做的原因是图像翻译任务里输入和输出共享很多低频信息——边缘线稿里已经包含了门窗的大致位置生成器不需要从零重建这些轮廓跳连接能把浅层的结构细节直接传给深层训练更快、边缘更清晰。判别器不是把整张图压成一个 0 或 1而是 PatchGAN 结构。常见实现是把 256×256 的输入切成 70×70 的 patch 网格每个 patch 单独判断真假最后输出一个二维得分图。这样做的好处是参数量小Matlab 在 CPU 上也能撑住而且把判别重点放在高频纹理上低频一致性交给损失函数里的 L1 项去管。代码中判别器的卷积层步长通常设置为 2连续几次下采样后输出特征图尺寸缩小到原来的 1/4 左右那就是 patch 得分图。% 判别器输出维度示例输入 256x256 图像对输出 30x30 得分图 % 每格感受野约 70x70对应原图的一个 patch dOutput discriminator.forward(realPair); % realPair [边缘图, 真实图] 通道拼接 dOutputSize size(dOutput); % 期望 [30, 30, 1, batchSize]这段代码的关键是理解dOutput不是标量。discriminator.forward返回的是一个二维得分矩阵每个位置对应输入图上一个 patch 的真实性分数。训练时计算损失要在这个得分图上求平均而不是只取一个值如果把自己的判别器改成全连接输出单个分数训练往往会不稳定因为全局判断丢失了局部纹理约束。2.3 损失函数L1 和对抗损失怎么分配权重Pix2Pix 的损失由两部分组成对抗损失让生成图“骗过”判别器L1 损失让生成图在像素层面贴近真实图。纯用对抗损失容易产生纹理丰富但不忠于输入结构的图纯用 L1 则会让输出变得模糊、缺少高频细节。代码里常见的组合是totalLoss lossGAN lambdaL1 * L1Loss其中lambdaL1默认取 100。我在实际调参时发现λ 取 100 是论文里验证过的经验值并不适合所有数据集。如果你的图纹理细腻、结构简单L1 权重可以降到 6080 让生成图更锐利如果图里细节复杂、边缘信息弱L1 权重应提到 150300否则生成器会放弃结构约束、只画“好看但不对”的图。修改PIX2PIX.m里的lambdaL1变量即可不需要动网络结构。2.4 五个文件各自承担什么角色文件类型作用PIX2PIX.m主程序训练主循环数据加载、生成器/判别器前向计算、损失反向传播、定时输出结果LoadFacadeDatabase.m数据处理脚本读取 facade 数据集完成缩放、归一化、左右拼接生成训练用样本p2pfacade.gif动态结果各 epoch 生成结果的动画能直观看到从噪声到清晰图的收敛过程resultepoch4.jpg静态验证图第 4 个 epoch 结束时的生成样例验证训练已启动、图像结构开始浮现说明.txt说明文档版本信息、运行方式、数据集来源说明建议先读LoadFacadeDatabase.m再读PIX2PIX.m最后打开 gif 对照着看。按这个顺序能把“数据怎么进、网络怎么训、结果怎么变”串起来比从主程序硬啃快很多。3. 数据准备这一步facade 图片加载、归一化与配对校验3.1 facade 数据集到底长什么样Pix2Pix 的经典演示数据集是 CMP Facade内容是欧洲建筑立面的成对图片左边是语义分割图不同颜色块代表墙、窗、门、檐口右边是真实建筑照片。训练时输入左图、输出右图相当于做“语义图转真实照片”。LoadFacadeDatabase.m的任务就是把这些成对图读进来整理成网络能吃的格式。注意一个容易忽略的点数据集里的语义分割图和真实照片是从同一个建筑的不同视角渲染的不是简单左图右图就可以配对。加载脚本要保证按文件名一一对应否则训练时输入条件和真实输出对不上loss 再低也是白训。我拿到资源后第一件事就是随机抽几对样本打印出来看对应关系这一步能省掉后面好几个小时的排错时间。3.2 预处理里藏着三个关键细节% LoadFacadeDatabase.m 的典型预处理流程 imageDir facade/base; % 真实建筑图目录 labelDir facade/seg; % 语义分割图目录 files dir(fullfile(imageDir, *.jpg)); imageSize 256; % 统一训练尺寸 for i 1:numel(files) img imread(fullfile(imageDir, files(i).name)); seg imread(fullfile(labelDir, files(i).name)); % 1. 统一尺寸原始图尺寸随机直接喂会报错 img imresize(img, [imageSize, imageSize]); seg imresize(seg, [imageSize, imageSize]); % 2. 灰度图补成 RGB部分语义图是单通道 if size(img, 3) 1 img repmat(img, [1 1 3]); end % 3. 像素归一化到 [0, 1]并与输入条件左右拼接 trainData{i} cat(2, im2double(seg), im2double(img)); end这段代码里三个细节要留意。第一是imresize语义图和真实图的原始尺寸不一定相同必须缩放到同一尺寸否则后期cat(2, ...)拼接时维度对不上。第二是灰度图处理部分语义分割文件是单通道图像直接拼接会少两个通道这里用repmat复制成三通道。第三是im2double把 0255 的像素值映射到 01Matlab 的神经网络计算普遍期望输入在这个范围。我一般会在循环结束后加一句size(trainData{1})打印维度确认输出是[256, 512, 3]。256 是高512 是宽左 256 语义图 右 256 真实图3 是 RGB 通道。如果这里不是512说明拼接逻辑或尺寸统一没做对先别急着进训练。3.3 数据没喂歪的快速验证方法数据预处理最怕的是“看着没报错其实图对错了”。LoadFacadeDatabase.m跑完后我会立刻做一次可视化抽查% 随机抽 4 个样本拼成一张图肉眼检查 figure; for i 1:4 idx randi(numel(trainData)); subplot(1, 4, i); imshow(trainData{idx}); title(sprintf(sample %d, idx)); end抽检时重点看左右两栏是否语义对应左栏里的窗户色块右栏对应位置是不是也有一扇窗户左栏里墙的颜色块右栏对应区域是不是墙面纹理。如果出现“左图是窗、右图对应位置是门”的情况说明数据集配对或裁剪出了问题。这一步只花一分钟却能拦住后面十几个 epoch 的白训我把它写在最前面是因为这是最值得抄的作业。4. 跑通 PIX2PIX.m环境检查、训练参数与第 4 轮结果怎么看4.1 运行前先做三个检查拿到代码先别急着点运行Matlab 直接弹红字报错多半是下面三个原因。第一工作目录没切到解压文件夹LoadFacadeDatabase.m里的相对路径facade/base找不到。切目录的方式是cd(你的解压路径/Pix2Pix)或者直接在 Matlab 当前文件夹窗口双击进入。第二数据集的图片文件不完整部分分享包里只带代码不带全量数据需要对照说明.txt确认 base 和 seg 两个目录都存在且有成对文件。第三版本差异摘要里写的是 matlab2014/2019a两版对imresize和矩阵运算的处理基本一致但 2019a 对维度隐式扩展支持更好2014 里某些矩阵相加要写成bsxfun运行前可以先在命令行试一句[256 512 3] [1 3]报错就得改写成bsxfun(plus, ...)。cd D:/Pix2Pix/ ls facade/base/ | head -5 ls facade/seg/ | head -5上面这段是命令行快速确认数据路径的方式。ls能列出两个目录下的前 5 个文件名如果输出为空说明解压完整性问题先去修数据再谈跑代码。4.2 训练主循环的关键参数与修改位置PIX2PIX.m的主循环是这份资源里最值得逐行读的部分因为所有训练策略都集中在这几十行里。核心参数如下参数常见默认值含义调整建议numEpochs200训练轮数CPU 环境先降到 50 试跑确认收敛再加大lambdaL1100L1 损失权重图像结构复杂时提高到 150300learningRate0.0002Adam 学习率判别器收敛过快时减小到 0.0001imageSize256输入图像尺寸内存不足时可降到 128PatchGAN patch 感受野会变化batchSize1每批样本数数据量大时可加到 4但 loss 可能更震荡% PIX2PIX.m 主训练循环的典型骨架 for epoch 1:numEpochs for i 1:numel(trainData) realEdge trainData{i}(:, 1:imageSize, :); % 左半语义分割图 realImg trainData{i}(:, imageSize1:end, :); % 右半真实建筑图 fakeImg generator.forward(realEdge); % 生成器根据条件图出结果 % 判别器分别判断真实对和生成对 dReal discriminator.forward(cat(2, realEdge, realImg)); dFake discriminator.forward(cat(2, realEdge, fakeImg)); % 损失对抗损失 lambdaL1 * 像素误差 lossD mean(-log(dReal eps)) mean(-log(1 - dFake eps)); lossG mean(-log(dFake eps)) lambdaL1 * mean(abs(fakeImg - realImg), all); % 反向传播更新参数Matlab 2019a 可用 dlgradient2014 需手动推导 if mod(epoch, 4) 0 saveResult(fakeImg, epoch); % 生成 resultepoch4.jpg 这类验证图 end end end注意看realEdge和realImg的切片方式左半是语义图、右半是真实图这个划分必须和LoadFacadeDatabase.m里的cat(2, seg, img)保持一致否则训练时喂进去的条件是反的。lossG的写法也值得注意它同时包含“骗过判别器”的目标和“像素靠近真实图”的目标两个目标相互拉扯才让生成图既清晰又忠实于条件结构。训练过程中你会看到resultepoch4.jpg这类文件被陆续写出来。不要在第一轮就期待清晰照片第 4 轮的图通常是“轮廓对、纹理糊”的状态——窗户位置已经对了但墙面还是一团色块。这就是正常的说明生成器已经在学习结构对应关系。4.3 如何判断训练是真的在收敛很多人看到 loss 曲线波动就慌其实 GAN 训练里 loss 波动是常态。更可靠的判断方式是看验证图每隔 4 个 epoch 保存一张生成结果把这些图按顺序排起来如果结构轮廓越来越接近真实图、颜色块越来越平滑就是收敛趋势。p2pfacade.gif就是这个用途它把连续 epoch 的结果串成动画能一眼看出模糊到清晰的变化过程。如果第 50 轮的生成图依然是一团噪声再回头看 lossdReal接近 0 说明判别器能轻易分辨真实图dFake接近 1 说明生成器已经骗过判别器但图还是糊的这多半是 L1 权重太低生成器只学了“像”没学“对”。反之如果生成图颜色单调、纹理缺失说明 L1 权重太高生成器选择了保守的模糊策略来降低像素误差。这两种情况在代码里调lambdaL1就能看到明显变化。5. 常见问题排查五个实测踩过的坑与修复方法5.1 图像尺寸报错训练刚起步就崩现象运行PIX2PIX.m后报错信息指向imresize或cat提示Matrix dimensions must agree。原因facade 数据集的原始图片不是统一尺寸部分语义分割图是灰度单通道部分真实图是 RGB 三通道直接缩放后拼接宽度或通道数不一致就崩了。解决在LoadFacadeDatabase.m里强制统一尺寸和通道。先imresize到[imageSize, imageSize]再用repmat把灰度图补成三通道。改完后建议打印size确认所有样本维度一致再进训练循环。5.2 CPU 跑 200 轮等到怀疑人生现象一个 epoch 要几分钟200 个 epoch 要跑到第二天中间任何一次误关窗口就前功尽弃。原因Matlab 在 CPU 上的矩阵运算和卷积没有 GPU 加速PatchGAN 虽然参数少但逐 patch 判别的计算量仍然不小。解决把numEpochs从 200 改成 50把imageSize从 256 降到 128这两项能让训练时间缩到原来的四分之一左右。图像翻译任务在 128 分辨率下依然能看出效果确认模型结构没问题后再加大分辨率跑完整训练。5.3 图片路径报错数据集就像凭空消失现象报错No such file or directory或者路径里的中文显示成乱码。原因解压后路径里带了中文文件夹名Matlab 2014 对中文路径支持不稳定或者数据集目录结构多嵌套了一层脚本里写的相对路径对不上。解决把整个项目目录改成纯英文路径比如D:\Pix2Pix。检查facade文件夹下是否直接就是base和seg如果不是把内层文件移到外层。这个坑跟算法无关但最容易劝退新手我每次解压完都会先看一眼目录层级。5.4 loss 剧烈震荡生成图一直模糊现象dReal和dFake在 0 和 1 之间反复横跳生成图停留在“轮廓有、细节无”的状态。原因批大小只有一个样本时判别器对单张图的判断方差很大损失自然震荡另一个原因是lambdaL1太低生成器缺少足够的像素级约束容易走上“画得真但不对”的偏路。解决把lambdaL1提到 200 左右同时把学习率从 0.0002 降到 0.0001。这两个调整能让生成器更重视结构对齐震荡幅度会明显减小。注意一次只改一个参数方便判断是哪个改动起的作用。5.5 Matlab 2014 与 2019a 跑出不同结果现象同一份代码2014 报维度错误2019a 却正常或者反过来2019a 算出的归一化结果不对称。原因2014 对数组隐式扩展支持不完整A B里 A 和 B 维度不同时需要用bsxfun显式声明2019a 改进了这一行为但反过来一些老代码的for循环写法在新版下反而变慢。解决遇到维度错误就把A B改成bsxfun(plus, A, B)遇到归一化异常检查im2double是否用在了正确的位置。我一般会把矩阵归一化写成显式格式这样两个版本都能跑。6. 进阶用法把 Pix2Pix 用在你自己的成对图像数据上跑通 facade 数据集之后你手里的 Pix2Pix 就不再是“只能玩建筑图”的演示了。图像翻译的适用范围很广边缘图转产品照片、白天街景转夜间街景、灰度图转彩色图、甚至是语义标注转室内设计图。只要你的数据能整理成“输入图 输出图”的成对结构这套代码换个数据加载路径就能复用。% 用自己的数据替换 facade假设有 trainA输入图和 trainB输出图两个目录 inputDir myData/trainA; % 例如边缘图、线稿、低分辨率图 outputDir myData/trainB; % 例如真实照片、高清图 filesA dir(fullfile(inputDir, *.jpg)); filesB dir(fullfile(outputDir, *.jpg)); assert(numel(filesA) numel(filesB), 输入和输出目录图片数量不一致); myData cell(numel(filesA), 1); for i 1:numel(filesA) imgA imresize(imread(fullfile(inputDir, filesA(i).name)), [imageSize, imageSize]); imgB imresize(imread(fullfile(outputDir, filesB(i).name)), [imageSize, imageSize]); myData{i} cat(2, im2double(imgA), im2double(imgB)); end % 把 myData 替换进 PIX2PIX.m 的训练循环即可这里最关键的是assert那行输入和输出目录的图片数量必须一致同时文件名排序要一一对应。dir函数默认按文件名排序所以两个目录的文件名最好有相同的前缀和序号比如001.jpg、002.jpg避免排序错位导致 A 的第 1 张配到 B 的第 2 张。换数据集后我会强制自己先跑一个快速验证设numEpochs 4训练完看第 4 轮的验证图。重点不是看效果好不好而是看生成的图跟输入条件之间有没有“结构对应”的苗头。如果第 4 轮的输出还完全是噪声不要急着加轮数先回去检查数据集配对如果第 4 轮已经有了模糊的轮廓对应再放开numEpochs跑全量训练。这个手法的价值在于用最短的时间暴露数据问题而不是等 200 轮跑完才发现左半和右半配对反了。有一个教训我记得很深有次我在自己的数据集上直接跑 200 轮第二天打开结果发现生成图质量很高但细看每张都是背景对、主体错位。原因是我整理数据时输入图全部被上下翻转了配对关系全乱而 GAN 自己学会了“把翻转后的图硬翻译过去”loss 照样降得很漂亮。从那以后我每次换数据集都强制先跑一个 4 epoch 的快速验证把保存的生成图先肉眼检查一遍确认边缘到图的对应关系对不对再扩大训练规模。这种做法救过我至少三次希望也能帮到你。本文还有配套的精品资源点击获取