简介基于生成对抗网络GAN实现复杂背景文字图像修复的完整Python源码项目面向计算机视觉、图像处理方向的开发者与研究者重点解决自然场景中因遮挡、退化导致的文字模糊或缺失问题。项目利用生成对抗网络对图像进行端到端修复适合有一定深度学习基础、希望掌握GAN实际落地流程的学习者。压缩包内共12429个文件约176.4MB以12375张jpg训练/测试图像为主同时提供7个Python脚本含数据预处理、网络构建与训练测试逻辑、2个预训练权重文件、中文字符标签及字体库ttf/otf/ttc并包含少量XML配置与pyc缓存文件目录结构清晰便于直接运行与二次开发。已有445人学习参考。通过阅读源码可完整理解生成器与判别器的对抗训练过程学习如何在复杂背景下恢复清晰、可读的文字。附带大量真实图像样本省去自行采集数据的成本适合用于学术实验、毕业设计或工程预研。项目代码基于Python编写可搭配TensorFlow或PyTorch等主流框架使用对提升图像修复实战能力有明显帮助。1. 从复杂背景中抠字修复为什么非要用 GAN如果你拍过带有路牌、门头、广告灯箱的街景照片大概率遇到过这样的问题视野里有一行文字要么被电线杆挡住要么被行人经过的瞬间遮挡要么因为反光导致笔画不完整。需要把这些缺口的文字“补”出来。模糊和遮挡的处理在传统图像修复里已经相对成熟但文字不一样文字的笔画是强语义结构——补几根横线容易补出正确的偏旁部首、保持笔画粗细均匀和字样的骨架走向传统基于扩散的修补模型几乎无能为力。它的底层是协方差驱动的纹理延伸处理草皮和墙面没问题处理“横折钩”就会把笔画填成一片灰斑。把 GAN 拉进来逻辑并不复杂。生成器负责预测缺失区域的像素分布判别器负责判断“这一块像不像真文字”两者对抗训练最终逼着生成器输出既符合局部纹理、又符合文字语义的结果。复杂背景的难处在于文字区域周围的梯度变化远超纯色背景判别器不能只判断局部颜色对不对还要判断笔画边缘、衬线、字重这些结构性特征。这也是为什么许多直接套用通用修复模型的方案在复杂背景上翻车——它们把文字区域当成普通空洞处理忽略了文字本身的高频结构和语义约束。这篇文章会从任务边界讲起然后落到一个可复现的生成器—判别器结构和训练配方最后给出推理时的后处理技巧和常见排错方法。适合已经在跑图像生成模型、想转向图像修复方向的工程师也适合做 OCR 预处理、需要把脏污文字区域恢复干净的算法同学。2. 先给任务建模文字区域、掩码和“定位到修复”的边界2.1 复杂背景里掩码才是第一工作对象文字图像修复的第一步不是选模型而是定义“修哪里”。掩码生成直接决定了训练样本的质量。常见做法是拿到一批带文字区域的公开数据集用标注框或分割结果生成二值掩码文字像素为 1背景像素为 0。但在实际场景里掩码来源通常不是人工标注主要走三路基于分割模型的结果比如用 OCR 或语义分割模型拿到文字区域概率图阈值化后做形态学膨胀基于差分——两张时序图片同一位置做差值变化区域作为掩码适合修补街景中的临时遮挡直接随机画不规则掩码用于训练阶段的数据增强。掩码的正确形态对训练效果影响很大。文字掩码不应该是一个紧贴笔画的瘦长区域因为生成器需要一点“余量”去感知笔画和背景交界处的过渡带。我通常会在掩码上做一次膨胀操作核大小取 3 到 5把掩码边缘扩大几个像素让模型学会在部分可见笔画的引导下补齐剩余部分。import cv2 import numpy as np def dilate_mask(mask, kernel_size3): if len(mask.shape) 3: mask mask[:, :, 0] kernel cv2.getStructuringElement(cv2.MORPH_RECT, (kernel_size, kernel_size)) return cv2.dilate(mask, kernel, iterations1)这段代码的核心是cv2.dilate。kernel_size控制掩码向外扩张的程度值太大会让掩码吞掉过多背景模型被迫在真实背景上“幻化”文字噪声值太小则训练时生成器几乎看不到上下文特征提取不充分。MORPH_RECT是矩形核适合文字这种矩形排布如果文字带有明显的倾斜角度可以换成椭圆核MORPH_ELLIPSE来减少方向性偏差。在掩码生成之后还需要做一件事对掩码做归一化并转为三通道。因为生成器输入是三通道图像掩码如果作为条件输入通常需要和原图拼接而不是以单通道的形式直接送入卷积层。一个常见的错误是直接把(H, W)的掩码乘到(H, W, 3)的图上这会丢失通道维度的对齐信息。正确做法是np.stack([mask, mask, mask], axis-1)或直接用cv2.merge。2.2 背景分块策略全局上下文与局部细节的取舍复杂背景的图像尺寸往往超过 1024×1024如果直接把整图送入生成器计算成本高且梯度更新缓慢。分块训练是更务实的方案但分块策略不能随机切需要让每个训练块内部至少包含一个完整的文字区域和足够的背景上下文。我的做法是训练时随机选一个文字区域的中心点以该点为中心裁剪一个 256×256 或 512×512 的 patch同时保证掩码覆盖率在 10% 到 40% 之间。如果覆盖率过低生成器学到的只是“背景纹理修复”过高则几乎整个 patch 都是空洞判别器会轻易发现生成结果不自然。def crop_patch(image, mask, patch_size256, min_coverage0.1, max_coverage0.4): h, w mask.shape for _ in range(50): cx np.random.randint(patch_size // 2, w - patch_size // 2) cy np.random.randint(patch_size // 2, h - patch_size // 2) x1, x2 cx - patch_size // 2, cx patch_size // 2 y1, y2 cy - patch_size // 2, cy patch_size // 2 patch_mask mask[y1:y2, x1:x2] coverage patch_mask.mean() if min_coverage coverage max_coverage: return image[y1:y2, x1:x2], patch_mask return Nonemin_coverage和max_coverage是这套策略的核心超参数。覆盖率太低训练出来的模型只会涂抹背景不会理解笔画太高则上下文不足判别器能够轻松找到伪造痕迹。我一般在粗训练阶段放宽到 0.05 到 0.5让模型先学会大范围补全到了精修阶段收紧到 0.15 到 0.35让模型专注处理文字细节。这个范围是实际跑试验时最省时间的区间缩小范围会明显增加训练轮数。2.3 为什么要用“对抗损失 感知损失”而不是纯逐像素损失如果只用 L1 或 MSE 作为生成器的损失训练出的模型倾向于输出模糊的“平均答案”。原因是 L1 对每个像素独立惩罚无法感知“笔画之间是否语义连通”。一张只有部分笔画是实心、其余是半透明的图在逐像素损失下可能和真实图差距不大但在人眼观察下就是典型的“雾化”结果。GAN 的对抗损失则要求生成样本和真实样本在整体分布上不可区分。判别器会被强制去学习“什么是完整文字”——不仅看像素值还看笔画边缘的锐度、文字骨架的连贯性。两个损失组合在一起会让模型在“保真”和“逼真”之间折中。损失函数权重上我通常取L1_loss * 1.0 adversarial_loss * 0.05如果生成图像出现明显色彩偏移把adversarial_loss权重下调到 0.02 再观察。l1_loss torch.abs(pred - target).mean() adversarial_loss -torch.mean(discriminator(pred)) # non-saturating GAN loss total_g_loss l1_loss * 1.0 adversarial_loss * 0.05torch.mean(discriminator(pred))取的是判别器对生成图的平均评分。非饱和 GAN 损失的意思是不直接最小化判别器输出而是最大化判别器对生成样本的“误判率”梯度更新更稳定。权重 0.05 是实践经验它不是物理推导出来的而是从“L1 控制结构对抗损失控制纹理”的平衡点试出来的。3. 网络结构选型U-Net 生成器与 PatchGAN 判别器的适配逻辑3.1 为什么生成器用 U-Net 结构优于纯编码器-解码器文字修复任务中输入和输出在空间维度上高度对应——输入有部分可见笔画输出需要补齐同一位置的完整笔画。这种任务天然适合带跳跃连接的结构。U-Net 每一层下采样后的特征图都会通过 skip connection 与上采样对应层拼接这意味着浅层的边缘信息和深层的语义信息可以并行参与最后的像素预测。复杂背景场景中这个特性更为关键。背景修复需要的是空间上近邻的纹理信息而文字修复需要的是结构语义信息。如果使用纯粹的编码器-解码器浅层信息被压缩到 bottleneck 再复原边缘和纹理细节大概率丢失。U-Net 的 skip connection 相当于给生成器开了一条“信息直达通道”import torch.nn as nn class UNetGenerator(nn.Module): def __init__(self, in_channels6, out_channels3, base_dim64): super().__init__() self.enc1 self._block(in_channels, base_dim) self.enc2 self._block(base_dim, base_dim * 2) self.enc3 self._block(base_dim * 2, base_dim * 4) self.enc4 self._block(base_dim * 4, base_dim * 8) self.bottleneck self._block(base_dim * 8, base_dim * 8) self.dec4 self._block(base_dim * 16, base_dim * 4) self.dec3 self._block(base_dim * 8, base_dim * 2) self.dec2 self._block(base_dim * 4, base_dim) self.dec1 nn.Sequential( self._block(base_dim * 2, base_dim), nn.Conv2d(base_dim, out_channels, kernel_size1), nn.Tanh() ) def _block(self, in_ch, out_ch): return nn.Sequential( nn.Conv2d(in_ch, out_ch, kernel_size3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) )in_channels6是原图三通道和掩码三通道拼接后的通道数。skip connection 的实现要点在于dec4接收的是enc4的输出和bottleneck的输出拼接通道数要相应翻倍。dec3接收enc3和前一层的输出。每一层都做了空间分辨率的恢复和通道数的减半以保持网络整体的参数量可控。base_dim64是我测试下来在 256×256 输入下较均衡的选择。如果图像分辨率提升到 512×512base_dim需要降到 48 或 32否则显存溢出是常有的事。Tanh作为最后一层激活函数把输出限制在 [-1, 1] 区间与输入图像的归一化方式保持一致。3.2 PatchGAN 判别器判别粒度决定文字修复的锐度传统的判别器输出是一个标量——整张图的真假概率。这在全局结构任务中没问题但文字修复需要细节级鉴别一个白底黑字的招牌局部笔画粗细不均需要被识别为“假”。PatchGAN 的解决思路是把判别器也设计成卷积结构输出的是一个N x N的矩阵每一个元素对应输入图上一个感受野 patch 的真假判定。class PatchGANDiscriminator(nn.Module): def __init__(self, in_channels3, base_dim64): super().__init__() self.model nn.Sequential( nn.Conv2d(in_channels, base_dim, kernel_size4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(base_dim, base_dim * 2, kernel_size4, stride2, padding1), nn.BatchNorm2d(base_dim * 2), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(base_dim * 2, base_dim * 4, kernel_size4, stride2, padding1), nn.BatchNorm2d(base_dim * 4), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(base_dim * 4, 1, kernel_size4, stride1, padding1) ) def forward(self, x): return self.model(x)stride2的卷积层每次把空间分辨率减半三层过后输出尺寸约为输入的 1/8。kernel_size4配合stride2会产生 patch 重叠感受野覆盖范围更大。输出尺寸取决于输入尺寸256×256 输入输出约为 30×30 的矩阵即有效检查了 900 个小 patch 的真假。LeakyReLU(0.2)比ReLU适合判别器因为负半轴梯度保留可以避免判别器过早饱和。注意到这里没有在最后一层加 Sigmoid原因是损失函数使用BCEWithLogitsLoss或者直接用 logits 计算数值稳定性会更好。3.3 生成器与判别器的输入通道差异为什么判别器不看掩码生成器输入包含掩码是可解释的因为掩码提供“哪里是空洞”的先验信息。但判别器如果也接收掩码会发生什么问题判别器会偷懒——它只需要检查掩码区域对应像素是否和背景有足够的连续性而不去判断文字结构和语义这样对抗训练就失去了对文字细节的约束力。所以在训练时生成器输入是[masked_image, mask]拼接的 6 通道判别器输入是[generated_image, real_image]或[generated_image, target_image]的三通道图像。判别器的任务是根据图像本身的语义完整性判断真假不提供任何“哪里被破坏”的先验。这里也有一个主流框架差异pix2pix 系列在判别器输入上直接拼接原图和条件图但文字修复场景中条件图就是掩码这会导致上述的偷懒问题。另一种方案是把掩码作为条件通过 SPADE空间自适应归一化层注入生成器而不是直接拼接。这种设计在复杂背景上效果更好但训练难度也更高容易崩。直接拼接是稳定的入门方案适合大多数工程师先跑通流程。4. 训练策略在复杂背景上让 GAN 稳定收敛的实操方案4.1 多阶段训练从纯 L1 到加入对抗损失复杂背景图像的文字修复最大的坑是模型一开始就陷入对抗训练的不稳定振荡。图像大面积是背景纹理优化器很容易把注意力全放在背景重建上文字区域的梯度被淹没。解决这个问题不需要改网络结构而是改训练曲线前一阶段只用 L1 损失模拟纯回归任务后一阶段打开判别器做真正的对抗优化。epochs_l1_only 20 epochs_gan 80 for epoch in range(epochs_l1_only epochs_gan): if epoch epochs_l1_only: gan_weight 0.0 else: gan_weight 0.05 total_loss l1_loss * 1.0 adversarial_loss * gan_weightepochs_l1_only的具体数值取决于训练集规模和图像复杂度。文字部分多、背景纹理细腻的场景需要更长的 L1-only 阶段否则对抗损失会过早地把生成器推向“模糊但纹理丰富”的局部最优。一般看 L1 loss 是否进入平台期连续 3 个 epoch 不再下降再切换 GAN 阶段。4.2 数据增强不只是翻转要模拟真实拍摄环境真实场景的文字图像复杂之处在于光照不均、视角畸变和反射。常规的 flip、rotation 在文字修复任务里不够文字是有旋转不变性的但背景的光照梯度不会旋转。我通常叠加三类增强亮度扰动模拟白天到黄昏的过渡、局部遮挡模拟树叶或人群阴影、透视变换模拟手机拍摄的倾斜视角。random_brightness_contrast用cv2.addWeighted实现alpha和beta的取值要小心文字笔画不能因为亮度过高而丢失。透视变换使用cv2.getPerspectiveTransform注意变换后掩码也要做同样的变换否则掩码与图像内容错位训练直接崩溃。这是新手最容易犯的错误只变换图像而忘记变换掩码loss 曲线会呈现锯齿状。def persp_transform(image, mask, max_shift0.05): h, w image.shape[:2] shift lambda: np.random.uniform(-max_shift, max_shift) * max(h, w) pts1 np.float32([[0, 0], [w, 0], [0, h], [w, h]]) pts2 np.float32([[shift(), shift()], [w - shift(), 0], [0, h - shift()], [w - shift(), h - shift()]]) matrix cv2.getPerspectiveTransform(pts1, pts2) warped_img cv2.warpPerspective(image, matrix, (w, h)) warped_mask cv2.warpPerspective(mask.astype(np.float32), matrix, (w, h)) return warped_img, warped_maskmax_shift控制透视变形的幅度。这个值超过 0.1 时文字边缘会产生明显锯齿生成器会误解这种锯齿是正常特征导致输出文字的笔画边缘带毛刺。0.05 是安全的经验值既能模拟拍摄角度又不会破坏文字结构。4.3 判别器更新频率与学习率的对称性GAN 训练的不稳定很多情况下源于生成器和判别器的学习率不平衡。如果判别器收敛太快生成器的梯度近乎消失loss 曲线表现为生成器 loss 停滞不前。如果判别器太弱生成器又无法获得足够的梯度信号来改进文字结构。我常用的配置是生成器学习率 2e-4判别器学习率 8e-5判别器每两个 step 更新一次生成器每个 step 更新一次。这样给生成器更多学习机会同时限制判别器不要过度自信。提示学习率用 Adam 默认的betas(0.5, 0.999)。如果发现生成图像出现棋盘伪影或颜色断层优先检查判别器学习率是否过高其次再把生成器学习率同步下调。5. 推理阶段的技巧如何用引导和形态学处理提升修复效果训练完成后推理阶段做的事情不是简单跑一次 forward。对于复杂背景一次前向得到的结果在背景区域可能已经有不错的纹理但文字区域依然有可能有轻微的模糊边缘。这时要做三件事岔开图像块防止拼接痕、用预测结果和原始掩码做掩码引导的融合、最后用形态学操作做笔画锐化。图像分块推理时相邻 patch 的拼接处会出现亮暗不一的边界线。我用带重叠的滑动窗口策略patch 大小为 256步长为 128重叠区域取前后两次预测的平均值。这个策略会增加约 30% 的推理耗时但能有效消除边界伪影。对最终文字区域的锐化适度手段是使用cv2.filter2D做一个卷积核锐化或者用UnsharpMasking。要控制强度过强的锐化会让笔画过渡显得生硬反而暴露出修复痕迹。blurred cv2.GaussianBlur(generated, (0, 0), 1.0) sharpened cv2.addWeighted(generated, 1.5, blurred, -0.5, 0) final np.where(expanded_mask 0, sharpened, original)addWeighted的参数中第一项系数 1.5 是锐化强度第二项 -0.5 是模糊图权重两者之和为 1。sigma1.0控制模糊半径值太大锐化范围扩散到背景值太小锐化只作用在像素级不起作用。最后用np.where把锐化结果只贴回掩码区域背景保持原图内容不动。一个更进一步的做法是利用两阶段修复第一阶段用一个弱生成器如边缘修复模型恢复文字骨架第二阶段用主 GAN 模型以第一阶段结果为条件补充纹理细节。这种做法能显著提升生僻字的修复准确率因为骨架信息给字的结构加了约束GAN 只需要填充笔画内部的质感而不需要自己“猜”这个字是什么。骨架约束的生成器在实际项目中常常比单模型少出现错误笔画代价是推理时间翻倍到 300 毫秒左右。对于批量历史文档修复这种离线任务值得尝试面对实时视频流的文字修复则不推荐用这个方案。本文还有配套的精品资源点击获取