机器学习算法源码实战：从DCGAN到DDPG的工程解析

简介：一套基于Python的机器学习算法设计源码，面向机器学习开发者、学生及科研人员，覆盖数据预处理、特征工程、经典监督/无监督学习和深度学习模型，既可作为算法学习的配套代码，也能帮助快速搭建实验原型。压缩包共35个文件，包含33个Python源代码、1个说明文档与1个Git忽略规则文件，整体大小仅132KB，轻量且结构清晰，适合本地调试与二次开发。目前已有368人学习与下载。代码中涉及自动编码器、生成对抗网络、卷积/循环网络、目标检测、强化学习等方向，并结合MNIST手写数字、猫狗分类、动漫人脸等示例任务，readme文档则说明了各算法的使用场景与调用方式。对于希望系统掌握机器学习实践、缩短模型开发周期的开发者而言，这套源码提供了可直接运行的示例和可扩展的基础，能够节省大量编码时间，也可作为课程设计和项目参考。

1. 从 MNIST 到 DDPG：先摸清这套机器学习算法源码的边界

拿到一个机器学习源码包，第一反应不应该是“跑起来了没”，而是先确认它到底覆盖了哪几个算法家族。这个 Python 项目里塞着 34 个文件，单看文件名就知道它不是某个竞赛题的单一提交：mnist.py、mnist_multi.py、mnist_distortions.py 处理图像分类与数据增强，DCGAN.py、DiscoGAN.py 是生成对抗网络，DQN.py、DDPG.py 又是强化学习，再加上 FCN、FRCNN、RNN、AutoEncoder、STN_CNN 这些模型文件，基本把“判别式模型、生成式模型、序列决策模型”三类任务都占齐了。对想快速搭原型、横向比较不同算法行为的工程师来说，这套源码最大的价值在于：你可以在一套工程约定里同时改生成、分类、强化学习的代码，不用来回切项目。

但文件多也意味着入口杂。如果按着“先读 readme，再跑 mnist.py，然后挨个试 GAN”的顺序走，很容易在依赖环境上卡半天。我建议先按目录结构把文件分成三层：模型实现层（model/ 与根目录的算法文件）、工具层（utils/ 下的 tf_util、view_util、path_util）、实验脚本层（test/ 与 mnist_transform 这类处理脚本）。搞清楚这三层的关系，后面调参、换数据集、加新模型，才不会被“文件在哪”这种问题打断思路。下面直接挑三个最能体现这套源码设计意图的部分拆开讲。

2. 生成对抗网络训练笔记：DCGAN 与 DiscoGAN 的结构差异和调参

2.1 先理解判别器和生成器的对抗平衡

DCGAN 的模型结构本身并不复杂：生成器接收一个 100 维的随机高斯噪声，通过连续四次转置卷积把向量放大成图片，判别器则顺着卷积把图片压成一个真假置信度。真正难的是训练时的平衡——生成器希望判别器认不出假图，判别器希望自己永远分得清真假，两者共用同一个判别器损失，但更新方向相反。

源码里的 DCGAN.py 没依赖高层封装，生成器和判别器基本上是一层层 conv2d_transpose、conv2d 堆出来的。这在改代码时反而是好事：每一层的 feature map 尺寸、通道数、BN 的位置都是显式写出来的，比调用tf.keras.Sequential更容易定位“为什么生成图模糊”这一类问题。

2.2 生成器结构：从噪声到图像的放大路径

把生成器从 DCGAN.py 里单独抽出来看，核心逻辑是这样一段：

def generator(z, is_training=True): with tf.variable_scope("generator"): # z: [batch, 100] -> [batch, 4, 4, 256] net = tf.layers.dense(z, 4 * 4 * 256) net = tf.reshape(net, [-1, 4, 4, 256]) net = tf.nn.relu(tf.layers.batch_normalization(net, training=is_training)) # 上采样：4x4 -> 7x7 -> 14x14 net = tf.layers.conv2d_transpose(net, 128, 5, strides=2, padding="SAME") net = tf.nn.relu(tf.layers.batch_normalization(net, training=is_training)) net = tf.layers.conv2d_transpose(net, 64, 5, strides=2, padding="SAME") # 输出层：14x14 -> 28x28，单通道灰度图 net = tf.layers.conv2d_transpose(net, 1, 5, strides=2, padding="SAME") return tf.nn.tanh(net)

这段代码有几个关键点要展开说。第一次 dense 把 100 维噪声映射成 4096 维向量，reshape 成 4x4x256 的特征图，这是整个上采样路径的起点，通道数决定了生成器的“容量”，256 在 28x28 这种小分辨率下是够用的。每一轮 conv2d_transpose 的 strides=2 会把空间尺寸近似翻倍，卷积核 5 保证了上采样不是简单的像素复制，而是有重叠感受野的插值。最后 tanh 把输出压到 [-1, 1]，意味着输入图片在预处理阶段也必须归一化到这个区间，如果训练数据还是 [0, 1] 或 [0, 255]，生成图看起来就会整体发灰。

参数层面，DCGAN 在 MNIST 上的配置我一般直接用下面这组，这套配置几乎不用改就能把训练跑稳：

beta1 从 0.9 降到 0.5 是训练 GAN 最容易忽略的一步。0.9 会让 Adam 的历史梯度权重过大，导致判别器参数在训练后期震荡，生成器刚觉得“骗过了”判别器，下一轮判别器又忽然变强，损失曲线像锯齿一样上下蹿。调到 0.5 后，历史梯度影响变小，对抗过程会更平滑。

2.3 DiscoGAN 的域映射：不只是换一个生成器

DiscoGAN.py 和 DCGAN 的区别，不是把输入从噪声换成图片那么简单。DiscoGAN 要解决的是“把一个域的风格迁移到另一个域”，比如把普通照片转成动漫风格，或者把灰度图补成彩色图。它同时训练两个生成器：G_A2B 负责从 A 域映射到 B 域，G_B2A 负责反向映射。

训练损失里除了常规的对抗损失，还需要加入重构项，否则生成器会在“输出看起来真实”和“内容与输入对应”之间走捷径。源码中比较常见的组织方式是三个损失加权求和：

# 对抗损失：判别器区分真实图与生成图 g_loss_gan = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits( logits=d_fake, labels=tf.ones_like(d_fake))) # 重构损失：B2A(A2B(x)) 要尽量还原 x recon_loss = tf.reduce_mean(tf.abs(g_b2a(g_a2b(x)) - x)) # 最终生成器损失 g_loss = g_loss_gan + 10.0 * recon_loss

重构系数给到 10.0 是我这边的经验值：太小，风格迁移出来内容会乱变；太大，生成器会把精力全放在“复原输入”上，导致迁移后的图像几乎没有风格改变。调这个系数时盯住两类图——重构后的图像如果和原图几乎一样，说明 weight 太大；如果物体边缘对不上，说明 weight 太小。

2.4 GAN 训练失败的三个典型信号

训练 GAN 和训练分类模型在心态上完全不同。分类模型 loss 下降就是好现象，GAN 的 loss 降到底往往意味着判别器把真实图与生成图分得太开，生成器梯度已经消失。我拆这套源码时会在前几轮专门盯三个信号。

第一个信号是判别器 loss 快速逼近 0。这说明判别器太强了，生成器无论怎么改进都骗不过它，解决办法是把判别器学习率降一个量级，或者把 D 的更新频率改成每训练两次生成器才训练一次 D。第二个信号是生成的图片多样性差，所有类别的生成图都长得差不多，这是模式崩塌。把 noise_dim 从 100 提到 128，同时把学习率降到 1e-4，能缓解但不是根治，关键还是检查数据增强是否太弱，导致生成器记住了训练集少数样本。第三个信号是生成图像出现大面积黑色噪点，十有八九是输入数据没有正确归一化到 [-1, 1]，tanh 的输出范围与输入分布不匹配。

提示：每次训练把生成样本以网格图形式保存下来，比只看 loss 曲线可靠。loss 只能告诉你对抗是否还在进行，样本图才能告诉你模型到底学到了什么结构。

3. 离散与连续决策：DQN、DDPG 在迷宫环境中的落地姿势

3.1 为什么同一套源码里同时出现 DQN 和 DDPG

新手最容易犯的错是把强化学习算法当成模型来选：看 DQN 名气大就所有任务都用 DQN，跑连续控制任务发现动作空间是浮点数就卡住了。这套源码把两个算法放在一起，恰好说明了一个基本原则——先确认动作空间类型，再选算法。

DQN 输出的是每个离散动作的 Q 值，比如迷宫里的上、下、左、右四个方向，模型最后一层只有 4 个输出节点。DDPG 则直接输出一个连续动作向量，比如机器人关节的力矩，或者小车移动的加速度，它可以输出任意浮点值。源码里的 maze_env.py 是一个自定义迷宫环境，如果状态被设计成离散网格坐标，DQN 就能跑；如果希望动作代表“向左移动 0.3 米”这种连续量，就要换成 DDPG。

3.2 DQN 的两个核心组件：经验回放与目标网络

DQN 训练不稳定，多半出在样本相关性和自举偏差上。经验回放解决的是前者：把交互产生的 (state, action, reward, next_state, done) 存进一个固定容量的队列，每次从中随机采样一个小批量更新网络，打乱了样本的时间相关性。

from collections import deque import random class ReplayBuffer: def __init__(self, capacity=10000): self.buffer = deque(maxlen=capacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): batch = random.sample(self.buffer, batch_size) return map(np.stack, zip(*batch)) def __len__(self): return len(self.buffer)

deque(maxlen=capacity)在容量满时会自动丢弃最老的样本，这是最简单也最常用的在线回放策略。random.sample是均匀采样，在 DQN 网格迷宫这类简单环境完全够用，只有当任务奖励非常稀疏时才需要考虑优先经验回放。使用这个 buffer 时要留意：存入的 state 如果是图像，最好先做归一化再入队，否则 replay buffer 会占用几倍的内存，而且训练时状态分布漂移会加剧。

目标网络解决的是自举偏差。直接用一个网络同时计算当前 Q 值和目标 Q 值，会导致目标随参数更新不断移动，训练过程像追着尾巴跑。常见做法是每 N 步把主网络参数硬拷贝到目标网络：

# 每隔 500 步把主网络权重复制到目标网络 if step % 500 == 0: target_net.load_state_dict(q_net.state_dict())

间隔值要根据环境复杂度来调。迷宫太大会需要更频繁的更新来传播奖励，迷宫小则 500 步内完全能稳定。更新太频繁会让目标网络失去“冻结目标”的意义，更新太慢又会让 Q 值估计滞后于当前策略。

3.3 DDPG 的软更新与探索噪声

DDPG 是 actor-critic 架构，actor 输出动作，critic 评估动作的 Q 值。它也有目标网络，但更新方式从硬拷贝改成了软更新：每一步都用一个小系数把主网络参数向目标网络“推”过去。这样目标网络的参数缓慢变化，训练过程比 DQN 的硬拷贝更平滑。

# tau 一般取 0.001，每次训练迭代都执行 def soft_update(target_net, source_net, tau=0.001): for target_param, source_param in zip( target_net.parameters(), source_net.parameters() ): target_param.data.copy_( tau * source_param.data + (1.0 - tau) * target_param.data )

soft update 代码很短，但 tau 的取值影响非常大。0.001 意味着每一步目标网络只向主网络移动 0.1%，适合连续控制任务；如果调成 0.01，训练初期的目标网络会盯得太紧，critic 的 Q 值很容易发散。另外 DDPG 的确定性策略天然缺少探索，源码里一般会在动作上加 Ornstein-Uhlenbeck 噪声，让探索过程有时间相关性。调试时如果发现 agent 只在地图一角转圈，第一反应不应该是调网络结构，而是检查噪声幅度是不是太小了。

3.4 用 maze_env 跑通一个强化学习实验

maze_env.py 这颗文件的价值在于，它不需要外部仿真环境就能验证 DQN 和 DDPG 的代码逻辑是否正确。我自己跑这套源码时，会先在 maze_env 上做一次最小冒烟：把地图设成 5x5，终点固定右上角，用 DQN 跑 500 个 episode。如果 agent 能稳定找到路径，再往更大的地图或更复杂的 reward 上迁移。

reward 设计上有个很实用的技巧：到达终点给 +1.0，每走一步给 -0.01。负向惩罚看起来很小，但它能防止 agent 在原地绕圈，也不会压抑学习速度。如果完全没有步数惩罚，agent 在离散动作空间里学到的策略会很奇怪——它可能找到一条绕远路但奖励累计值相同的路径。

提示：maze_env 返回的 state 如果是坐标值，DQN 网络只需要两层全连接就够了；如果换成图像栅格，需要接卷积层。换环境时先确认 state shape 和网络输入层一致，这是强化学习项目最常见的运行时报错来源。

4. 复用优先的模型骨架：BaseModel 与工具层的工程化写法

4.1 BaseModel 到底在抽象什么

只看算法文件容易忽略 BaseModel.py 的存在，但整个项目能同时承载十几个模型，靠的就是这个公共基类把“建图、保存、加载、训练”的生命周期固定下来。没有这层抽象，每个模型文件都要自己写saver.save、saver.restore，改一个公共逻辑要十几个文件一起改。

BaseModel.py 的设计思路可以简化成这样：

class BaseModel: def __init__(self, sess, config): self.sess = sess self.config = config # 子类实现 build_graph，这里只做约束 self.build_graph() self._init_saver() def build_graph(self): raise NotImplementedError("子类必须实现 build_graph") def train_step(self, batch): raise NotImplementedError("子类必须实现 train_step") def _init_saver(self): # 最多保留最近 5 个 checkpoint，避免磁盘被撑爆 self.saver = tf.train.Saver(max_to_keep=5) def save(self, path, step): self.saver.save(self.sess, path, global_step=step) def restore(self, path): self.saver.restore(self.sess, path)

这段代码的核心是模板方法思想：基类把保存、恢复这些横切逻辑固定住，派生类只需要实现build_graph和train_step。max_to_keep=5是我特别想强调的一个细节，很多训练任务跑死在磁盘空间上，就是因为在循环里每 100 步就saver.save一次，而且从不清理旧 checkpoint。设置最多保留 5 个版本，既能回溯到几天前的模型，又不会把磁盘写满。

4.2 从 mnist_multi 看多任务学习的共享骨干

mnist_multi.py 文件名的 multi 指的不是多分类，而是“一个网络同时做多个任务”。常见的结构是共享一个卷积特征提取器，然后分出多个 head，每个 head 负责一个不同的输出。MNIST 场景里可以同时做数字分类和图像重建，两个任务共享前几层卷积，只是最后 split 到不同的全连接层。

# 多任务：共享卷积骨干，两个任务输出头 shared = conv_bn_relu(x) # 共享特征提取 cls_logits = tf.layers.dense(shared, 10) # head1: 分类 rec_output = deconv_bn_relu(shared) # head2: 重建 loss = (ce_loss(cls_logits, y_label) + 0.1 * mse_loss(rec_output, x))

多任务 loss 的配比不能盲目都取 1.0。分类任务的交叉熵损失和重建任务的 MSE 损失数值尺度完全不同，如果重建 loss 远大于分类 loss，共享骨干的梯度会被重建任务主导，分类精度反而下降。源码里给重建项乘 0.1 这种小系数是常见做法，调参思路是先让模型在单个任务上收敛，再逐步加大另一个任务的权重。

4.3 工具层先读哪个文件：tf_util、path_util、view_util

项目里 utils 目录下资源最多的不是模型代码，而是工具函数。tf_util.py、path_util.py、view_util.py、math_util.py 分别管网络构建、路径、可视化、数学运算。拿到这套源码后，我建议先读 path_util.py，因为它是所有模型 checkpoint 路径的“源头”。很多报错是FileNotFoundError: Checkpoint not found，追到根上往往是路径拼接用了硬编码字符串，不同机器目录分隔符不一样导致加载失败。

实际修改时，工具层往往是最值得复用而不是重写的部分。比如 tf_util.py 里如果封装了统一的weight_init，它能保证所有模型文件的变量分布一致，省去逐个模型调初始化方式。把这层看成一个内部小框架，往这个源码包里加新模型时，就不需要重新发明一遍模型骨架和工具函数。

5. 换数据不换手：catvsdog 与 anime_face 的数据接口微调细节

5.1 把数据接口抽象成输入函数

拿到 catvsdog.py 和 anime_face.py 这类数据集相关脚本，最容易踩的坑是“换数据集就要大改网络”。其实网络结构基本不用动，改动最多的是数据加载那一层。比较稳妥的做法是把“数据来源”封装成一个函数，返回 batch 数据即可：

def load_dataset(image_paths, labels, batch_size=32): dataset = tf.data.Dataset.from_tensor_slices((image_paths, labels)) dataset = dataset.map(_parse_and_preprocess, num_parallel_calls=4) dataset = dataset.shuffle(1000).batch(batch_size).repeat() dataset = dataset.prefetch(1) return dataset def _parse_and_preprocess(path, label): img = tf.read_file(path) img = tf.image.decode_jpeg(img, channels=3) img = tf.image.resize_images(img, [128, 128]) img = tf.cast(img, tf.float32) / 127.5 - 1.0 return img, label

这个接口里有三个关键假设。第一是图片统一 resize 到 128x128，catvsdog 原图可能有各种宽高比，裁剪或拉伸会影响细节，但作为基线实验影响不大。第二是像素归一化到 [-1, 1]，和 DCGAN 的 tanh 输出范围一致，如果模型换回普通分类网络，记得把这个区间改成 [0, 1]。第三是prefetch(1)能让数据读取与 GPU 训练并行，ANIME 数据集中小图片文件比较多，瓶颈往往在解码，prefetch 至少能消除一半的等待时间。

5.2 二分类任务里最值得调的三个参数

catvsdog 是二分类，网络结构用最简单的 CNN 就能达到可用的精度，真正影响结果的是下面三项。学习率建议从 1e-3 起步，用 Adam 优化器，每 10 个 epoch 观察验证集 loss，如果验证集 loss 连续 3 轮上升而训练集还在下降，就把学习率调成原来的 0.1。batch size 在单卡上取 32 到 64，太小的 batch 会让 BN 层的统计量不稳定。数据增强里最有性价比的是随机水平翻转和随机裁剪，anime_face 这类人脸数据可以再做一次随机亮度扰动，模拟光照变化。

5.3 用最少验证样本发现问题

模型训练完成后，做验证时有一个容易被忽视但很实用的做法：把验证集样本数量从 100 提到 500，并固定随机种子。100 张验证图在二分类里对应的置信区间太宽，一个类别的验证精度上下浮动 5 个百分点都很正常，继续调参只会被噪声带着跑。500 张样本配合固定随机种子，至少能保证每次评估用的数据分布一致，比“把网络加深两层”更能提前暴露数据标签错位或预处理不一致的问题。

换数据集也不建议从零开始训练。如果手头有 ImageNet 预训练模型就直接加载预训练权重，只随机初始化最后一层分类器，微调时把 base 层的学习率调成 head 层的 0.1 倍，通常 10 到 20 个 epoch 就能在 catvsdog 上看到明显收敛，anime_face 这种风格差异大的数据还可以多冻结几层卷积，让前几层的特征充分适应新数据域。

本文还有配套的精品资源，点击获取