深度学习图像修复实战：原理、数据、模型训练与部署

简介：这是一份面向图像修复任务的开源深度学习项目，主要解决老照片划痕、污渍、破损以及图像噪声污染等实际质量退化问题，也可用于替换图像中的小区域瑕疵。项目基于PyTorch生态，包含完整训练、测试与可视化流程，适合高校学生、算法工程师作为课程设计、毕业设计或科研入门的参考。压缩包内共64个文件，核心是42个Python脚本，覆盖网络结构定义、数据加载器、训练循环、评估指标等模块；另附带12张测试图片和2张JPG样例，少量C++/CUDA扩展源码、头文件以及项目说明文档，整体包体仅2.15MB，结构清晰且易于快速启动。目前已有593人浏览学习，资源经过多轮测试，功能稳定，可直接运行。学习者还可以在此基础上改造损失函数、替换生成器结构，或迁移到去噪、去马赛克等相近任务中，具备较高的扩展价值，适合作为深度学习图像处理方向的综合实践项目。

1. 深度学习图像修复：不只是“补个洞”，而是让模型学会“理解缺失”

图像修复（Image Inpainting）在计算机视觉里是个老问题：遮住照片的一部分，让算法把被遮住的区域补回来。十年前的主流做法是基于扩散或者PatchMatch的纹理合成，效果看上去了不得，但遇到大面积缺失、语义复杂的场景（比如人脸、街道、建筑结构），补出来的往往是模糊色块或者奇怪的重影。深度学习改变了这个局面——把修复任务从“复制周围像素”变成“先理解整张图的内容，再生成最合理的填补结果”。你输入一张带孔的图和对应区域的掩码，模型不是拼贴纹理，而是根据语义分布、结构走向甚至光照方向去“重画”那块内容。这正是现在影视修复、老照片复原、目标遮挡移除、自动驾驶标注数据增强背后通用的技术底座。这篇文章会顺着“数据怎么准备、模型怎么选、损失怎么配、坑在哪”这条线，把一套常见的基于深度学习的图像修复算法从零到能跑通讲清楚。

2. 从PatchMatch到Partial Convolution：旧方法为何没被淘汰，新方法强在哪

2.1 传统方法的瓶颈在哪里

图像修复不是深度学习发明之后才有的需求。在深度学习普及之前，最经典的有两类：一类是基于偏微分方程的扩散方法，比如Telea算法，它从破损区域边缘逐步向内扩散颜色和纹理，特点是实现简单、在小而平滑的破损区效果好，但一旦破损区域大或者背景纹理复杂，扩散出来的就是一片“水渍”状的模糊。另一类是基于PatchMatch的纹理合成方法，核心思想是在图像未破损区域里搜索与被修补区域周围最相似的图像块，然后按匹配度复制过来，这类方法对大纹理区域的填补非常自然，但致命弱点是搜索只基于低层特征，缺少语义理解——你要它补一只眼睛，它可能给你补块类似斑纹的皮肤或者一块眉毛。

这两类方法的共同本质问题是：它们都没有“理解”整张图像的上下文。修复动作完全依赖局部像素和局部统计信息，没有高层语义参与，所以只能处理“像素级”缺失，处理不了“语义级”缺失。深度学习模型的进步恰恰在这里——卷积层天然具有局部感知能力，叠加很多层之后能不断扩大感受野；而生成对抗网络（GAN）的引入，让模型不再只学习“怎么补”，而是学习“补出来要看起来真实”。

2.2 深度学习方法如何突破：从CNN到GAN再到Transformer

深度图像修复的主流框架经历了三代演进。最早的一代是使用普通卷积的自动编码器，输入带孔的图，输出完整图，用L2损失训练。这能补出个大概轮廓，但空洞区域有强烈的模糊伪影，而且普通卷积有个致命缺陷：它对有效像素和无效像素一视同仁，掩码区域的像素也会参与卷积计算，导致结果里残留“洞的痕迹”。针对这个问题，NVIDIA在2018年提出了Partial Convolution（部分卷积），思路是卷积计算时只对有效像素做加权，同时维护一个掩码更新机制，让有效区域在每一层逐渐扩张，最终修复区域也能参与后续计算。这个设计成了当时的主流方案。

第二代引入GAN和注意力机制。代表性思路是DeepFillv2提出的Gated Convolution（门控卷积），在卷积输出上加了动态特征门控，让模型自己决定每个位置哪些通道信息该保留、哪些该丢弃，相比Partial Convolution更加灵活。同时，在解码器里加入上下文注意力模块，从已知区域中寻找相似特征块去替换或增强生成的特征，以便处理大面积的、有纹理重复的区域——比如补天空里的云、地面上的草地，非常依赖这类机制。

第三代的主线回到了“大感受野”的竞争。以LaMa为代表的一类方法，用Fast Fourier Convolution（快速傅里叶卷积）来做主干网络，让每一层都具备全局感受野，大幅提升修复结构的准确性，解决“柱子补歪了、墙线对接不上”这类全局结构问题。另外一类是以MAT为代表的Transformer路线，用Transformer直接建模已知区域和未知区域之间的长程依赖。实际工程里，LaMa这类方案在大多数场景下收敛更快、实现更简单，是比Transformer更省心的默认选择。

2.3 架构选型参考：不是越新越好，要看你的场景

实际做项目时，如果目标是快速验证可行性，我一般直接从LaMa的配置开始，训练稳定、坑少，效果下限高；如果是要补人脸、补特定小目标，再考虑加强Transformer或GAN部分。

3. 数据集与掩码生成：模型百分之八十的效果由这里决定

3.1 用公开数据集还是自建数据集

图像修复训练需要成对的“原始图”和“输入图”。训练时把完整图作为监督目标，然后随机抠掉一块区域作为输入。所以数据准备的核心是两条：有没有足够高质量的真实图像，以及生成掩码的方式符不符合你的实际应用场景。

常见做法是先考虑公开数据集打底。ImageNet作为预训练基础数据足够丰富；Places2是图像修复论文里最常用的场景数据集，包含室内、街道、山脉等大量场景类别，类别覆盖广，适合做通用模型；人脸方向用CelebA-HQ，医学方向要自己找特定模态的数据。如果你的目标场景是街景、遥感或者工业检测，直接去搜对应领域的数据集通常会更快。MNIST和CIFAR这类小数据集只适合做调试和跑通流程，不适合做最终训练，因为修复是一个重结构重纹理的任务，分辨率太低会把分辨率相关的伪影全丢掉。

需要注意的边界：公开数据集和你的场景差异越大，效果越差。比如用Places2训练的模型去修工程图纸，几乎必定翻车。正确的做法是“公开集预训练+私有集微调”。私有数据不需要非常多，几千张高质量图复现场景就足够微调了。预处理也不复杂——统一尺寸、去噪、必要时做直方图均衡，避免极端光照。

3.2 掩码的三种策略对应三种真实需求

图像修复领域专门有一个名词叫“掩码生成策略”。掩码是一张和原图同尺寸的二值图，值为1表示该区域被遮挡需要修复，值为0表示已知区域。不同任务需要不同的掩码形态。

第一种是中心矩形掩码。最早期的论文用的都是这种，直接抠一个矩形放在中心或者随机位置。好处是简单、可控，坏处是太理想化，实际场景几乎没有正好矩形的破损。它现在更适合做算法调试而不是训练。

第二种是不规则掩码。这类掩码模拟真实划痕、污渍、遮挡物的轮廓，形状不规则，有细长条状、块状等。NVIDIA发布过一个不规则掩码数据集，里面是各种随机绘制的折线、多边形、圆环组合，是训练时最常用的掩码来源。如果你没有现成掩码数据，最常见的生成方式是随机画一堆不同粗细的折线和多边形，叠加在一起再二值化。

第三种是模拟真实物体遮挡的掩码——在图像上随机粘贴目标检测数据集中分割出来的物体轮廓掩码，比如COCO数据集里的分割标注。这类掩码最适合做“去物体”任务，比如把照片里的路人抹掉并补全背景。实际项目中，这类掩码往往是外包业务最需要的形态。

3.3 PyTorch数据管线的完整实现

下面是修复任务里一个典型的PyTorch数据管线。这个代码片段做了四件事：从文件系统加载图片和掩码、统一尺寸、归一化、构造模型的输入（带洞图）。

import glob import cv2 import random import numpy as np import torch from torch.utils.data import Dataset class InpaintingDataset(Dataset): def __init__(self, image_dir, mask_dir=None, size=512, random_mask=True, mask_prob=0.8): # 如果mask_dir为空，则在训练时动态生成不规则掩码 self.images = sorted(glob.glob(f"{image_dir}/*.jpg")) self.masks = sorted(glob.glob(f"{mask_dir}/*.png")) if mask_dir else None self.size = size self.random_mask = random_mask self.mask_prob = mask_prob def load_mask(self): # 策略1: 从外部掩码文件采样 if self.masks is not None: mask = cv2.imread(random.choice(self.masks), cv2.IMREAD_GRAYSCALE) mask = cv2.resize(mask, (self.size, self.size)) _, mask = cv2.threshold(mask, 127, 255, cv2.THRESH_BINARY) else: # 策略2: 动态生成不规则多边形掩码，模拟划痕/遮挡 mask = np.zeros((self.size, self.size), np.uint8) num_objects = random.randint(1, 5) for _ in range(num_objects): pts = [] for _ in range(random.randint(3, 8)): pts.append([random.randint(0, self.size), random.randint(0, self.size)]) pts = np.array(pts, dtype=np.int32) cv2.fillPoly(mask, [pts], 255) return mask.astype(np.float32) / 255.0 # 1代表修补区 def __getitem__(self, idx): img_path = self.images[idx] img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img = cv2.resize(img, (self.size, self.size)) if random.random() < self.mask_prob: mask = self.load_mask() else: mask = np.zeros((self.size, self.size), np.float32) # 全为已知区 img = img.astype(np.float32) / 127.5 - 1.0 # 归一化到 [-1, 1] img_tensor = torch.from_numpy(img).permute(2, 0, 1) mask_tensor = torch.from_numpy(mask).unsqueeze(0) masked_img = img_tensor * (1 - mask_tensor) # 洞内置为0 return {"masked": masked_img, "mask": mask_tensor, "gt": img_tensor} def __len__(self): return len(self.images)

关键逻辑说明：

• mask_prob=0.8的意思是训练时百分之八十的样本带掩码、百分之二十保持完整图，这样模型不会完全依赖掩码，对无掩码输入也能稳定输出原图。
• 输入构造那里用的是img * (1 - mask)，即掩码区清零。这里需要注意：掩码区清零后卷积层会把“0”当做有效数值参与计算，这就是为什么后续模型层里需要Partial Convolution或Gated Convolution来做掩码感知。如果主干是Transformer，则清零之后还要给模型一个可学习的掩码embedding。
• mask文件是uint8的PNG，读取后需要二值化，避免因为JPEG压缩产生的边缘灰度值影响后续计算。

4. 损失函数、训练循环与评估指标：把“像不像”变成可优化的数字

4.1 三个主角损失：像素、感知、对抗

训练一个修复模型，靠单一损失是不够的。像素级L2损失会让输出倾向于“平均多种补全结果”，导致边缘模糊；感知损失能让纹理更接近真实但会让颜色偏移；对抗损失会让细节更锐利又容易训练不稳。成熟方案里通常组合四类损失，其中三个是主角。

感知损失细节：一般取VGG16中relu1_2、relu2_2、relu3_2、relu4_2四个层的特征做加权，权重依次降低，强语义层权重小、细节层权重大。实现时掩码区域的损失权重再乘2~3，让模型更关注洞内的细节。

对抗损失要用判别器接在解码器后面，对整张修复图和原始真实图分别打分做对抗训练。这里最需要注意的坑是：判别器训练太强会导致生成器梯度爆炸或模式崩溃，所以对抗损失的权重普遍压得很低，并且判别器学习率通常是生成器的0.1倍。

4.2 训练循环核心实现

下面是修复模型训练循环的核心代码片段，重点展示损失是如何组合在一起的。

import torch import torch.nn.functional as F from torchvision import models # 使用VGG16前四层作为感知网络，固定权重 vgg = models.vgg16(pretrained=True).features[:23].eval().cuda() for p in vgg.parameters(): p.requires_grad = False def perceptual_loss(pred, gt, mask, weights=[1/32, 1/16, 1/8, 1/4]): # 计算VGG特征并加权求L1，只统计掩码区域 loss = 0.0 x, y = pred, gt for idx, layer in enumerate(vgg.children()): x, y = layer(x), layer(y) if idx in [3, 8, 15, 22]: # relu1_2, relu2_2, relu3_2, relu4_2 # 下采样掩码以匹配特征尺寸 m = F.interpolate(mask, size=x.shape[2:], mode="nearest") loss += weights[idx // 5] * F.l1_loss(x[m > 0], y[m > 0]) return loss # 训练循环核心片段 for batch in dataloader: masked = batch["masked"].cuda() mask = batch["mask"].cuda() gt = batch["gt"].cuda() pred = generator(masked, mask) # 模型输出完整图 # 掩码区域像素损失（权重改为10） hole = mask.expand_as(pred) > 0.5 loss_l1 = 10.0 * F.l1_loss(pred[hole], gt[hole]) # 全图感知损失（调用上面函数） loss_perc = perceptual_loss(pred, gt, mask) # 对抗损失：判别器输出越接近1越真实 fake_score = discriminator(pred) loss_adv = F.binary_cross_entropy_with_logits( fake_score, torch.ones_like(fake_score)) loss = loss_l1 + loss_perc + 0.01 * loss_adv optimizer.zero_grad() loss.backward() optimizer.step()

参数调整建议：

• L1损失的权重最大，因为它在训练前期能让模型快速从“乱涂”变成“大概对”，稳定整体训练方向。
• 如果发现修复边缘有明显的接缝痕迹，把感知损失权重提高到0.5以上，同时把L1权重降一点。
• 对抗损失的权重不要一次性加到0.01以上。常见做法是前1万步设为0，只训练像素和感知损失，等结构稳定了再逐步加上去。否则前期梯度方向混乱，很难收敛。

4.3 评估指标：不能只看PSNR

质量评估是图像修复项目里最容易自嗨的环节。PSNR和SSIM是传统指标，但都有明显局限。PSNR在整体亮度偏离时会剧烈下降，而修复任务里轻微的颜色偏移远比结构错误的影响小；SSIM对模糊不敏感，一个糊掉的补丁往往还能拿到较高的SSIM分数。客观反映修复质量的组合是PSNR、SSIM、LPIPS和FID。LPIPS用深度网络特征差异衡量感知相似度，与人眼判断相关度更高，是在线实验最值得看的指标；FID衡量修复图整体分布与真实图分布的距离，对大面积结构问题敏感。发布结果时这四个数字一起报，别人就能基本判断你的模型能力。

训练时每500步在验证集上计算一次PSNR和LPIPS，还要顺手保存几组对比图，肉眼观察比数字更重要。模型的val loss在平坦区域下降很快，边缘区域需要更多轮次；如果 val LPIPS开始反弹而PSNR还在小幅上涨，那基本就是过拟合了，早停即可。

4.4 训练中高频踩坑记录

• 崩溃表现是输出全黑或全灰。原因通常是判别器太强导致生成器梯度消失，把对抗损失权重降到0.001以下，或者前2万步干脆不开启判别器。
• 修复区域和周围色彩断层，这是因为L1权重太低或者特征层权重配比不对，把感知损失里relu3_2的权重提高即可。
• 结构总是“歪”的，比如直线补不直。这种现象说明模型感受野不够，要换用Fourier卷积类的全局感受野模块，而不是继续堆普通卷积层。
• 显存不足建议非同寻常大的掩码时，训练里把掩码区域限制在整图的30%以内，并通过torch.utils.checkpoint做激活值重计算，用20%的耗时换取近一半显存降低。

5. 推理部署与模型压缩：让修复算法跑进真实环境

5.1 从训练态到推理态：别忽略这几步变形

训练时输入是归一化到[-1, 1]的、掩码区域清零的图；推理时也必须严格复现同样处理步骤。最容易出的错误是外部调用的图片读取模块用了PIL.Image.open，然后直接转numpy送进模型，忘记除127.5减1这步，输出就会整体偏灰、对比度异常。推理时的标准流程是：读图、转RGB、resize、归一化、乘以(1-mask)、模型推理、反归一化、和后景图做alpha融合。这段流程建议封装成独立函数而不是写在业务代码里，否则模型升级时会牵连一堆调用方。

5.2 推理部署的三个优化技巧

第一步是明确输出尺寸策略。很多深度学习模型对输入分辨率有严格限制，而真实图片分辨率往往不是模型的训练尺寸。总的原则是不使用随机resize到固定尺寸，而是把短边resize到模型可接受的范围（比如512或1024），长边随之缩放；如果长边仍然超限，就分成若干重叠块推理，块之间重叠16~32个像素，拼合时用线性权重融合重叠区，避免出现“井字形”接缝。

第二是模型导出与推理加速。PyTorch模型导出ONNX时有一个专门针对掩码输入的坑——掩码是0/1浮点张量，很多高速推理引擎会因为Resize层对输入shape的要求严格而报错，所以导出时要固定输入shape或者单独处理动态维度。如果追求极速，建议TensorRT导出并打开FP16推理。LaMa的Fourier卷积在ONNX导出时需要把复数计算手工拆成实部和虚部的组合，否则会有兼容性问题。

第三有个高频好用的技巧：掩码外扩融合。模型修复后，修复区域边缘常常有一两像素宽的色差。常用做法是对掩码做cv2.dilate外扩3像素，在外扩带上用高斯权重把修复图和原图做alpha混合，就能自然过渡边界。实现如下：

import cv2 import numpy as np mask = (mask * 255).astype(np.uint8) mask_d = cv2.dilate(mask, np.ones((7, 7), np.uint8), iterations=1) alpha = cv2.GaussianBlur(mask_d.astype(np.float32), (0, 0), 3) / 255.0 alpha = alpha[..., None] result = (inpainted * alpha + original * (1 - alpha)).astype(np.uint8)

这段代码的思路是在掩码区域完全用修复图，在边界的过渡区域让修复图和原图按高斯权重线性融合。视觉上能大幅消除AI修补和原始像素之间的“贴片感”，属于投入产出比极高的收尾技巧。至于项目里需要跟随模型一起交出去的文档说明，一份合格的README至少要包含数据集目录组织、掩码格式规定、训练命令参数表和模型输入输出规范这四块内容，外加上文里的评估命令和环境依赖清单，这样别人拿到手才能完整复现你的结果。

本文还有配套的精品资源，点击获取