深度强化学习算法源码实战：PyTorch实现PPO、DQN、SAC与DDPG

简介：基于PyTorch深度强化学习算法实现合集，面向需要入门强化学习并希望复现主流算法的开发者与学生。资源在Gym环境下编写，涵盖PPO、DQN、SAC、DDPG、TD3等算法，且针对论文复现了多种改进：PPO侧包括dual-PPO、clip-PPO、RNN与attention变体，DQN侧包含Rainbow DQN等，离散与连续动作空间均有对应示例，如CartPole和Pendulum。代码结构清晰，共34个文件，以23个Python脚本为主，配有运行生成的Pyc缓存、示意图以及说明文档，整体包体仅209KB，便于快速下载与阅读。核心代码中加入TensorBoard支持，可输出训练与评估指标，方便对比算法收敛效果。已有613人学习下载，适合希望结合Gym环境动手实践、理解深度强化学习算法原理与改进思路的读者。 很多朋友问我要过深度强化学习的源码，尤其是想复现PPO、DQN、SAC、DDPG这类经典算法。理论看了一大堆，真到动手的时候却发现卡在环境安装、代码理解、训练不收敛这些地方。最近整理了一套基于PyTorch实现的深度强化学习算法源码包，把四种常用算法按统一风格组织在一起，方便对照学习，也方便直接拿去做实验对比。

这套代码解决的核心问题是降低复现门槛。很多开源项目为了在论文里刷分，代码写得又长又绕，对新手极不友好。而我整理的这一套，刻意保持了结构的统一和简单：每个算法都有独立的目录，公共组件抽出来复用，超参数集中在配置文件里，跑通一个算法之后，切到另一个算法几乎不用改环境相关的内容。不管你是刚接触强化学习、想弄懂算法内部细节的初学者，还是已经在做实验、需要快速验证某个改进点的研究者，都可以用这套东西作为起点。

1. 源码整体结构与模块化设计思路

1.1 拿到压缩包先看什么

解压之后不要急着跑训练脚本，先把目录结构过一遍。通常这套源码包含四个部分：核心算法实现、公共工具模块、训练入口脚本、配置文件目录。

project_root/ ├── algorithms/ # 各算法实现 │ ├── ppo.py │ ├── dqn.py │ ├── sac.py │ └── ddpg.py ├── common/ # 公共组件 │ ├── replay_buffer.py │ ├── noise.py │ └── normalizer.py ├── scripts/ # 训练和评估入口 │ ├── train_ppo.py │ ├── train_dqn.py │ ├── train_sac.py │ └── train_ddpg.py ├── configs/ # 超参数配置 │ └── *.yaml └── requirements.txt

algorithms目录下每个文件对应一个算法，common目录存的是所有算法都会用到的经验回放缓冲、噪声生成器、状态标准化工具。scripts目录是真正要执行的脚本，里面读取配置文件里的超参数，构建环境，然后调用算法。configs文件夹里每一个yaml文件对应一个实验配置。

我见过太多强化学习项目，每个算法都单独写一套工具函数，结果replay buffer拷贝了四份，噪声生成逻辑也是各写各的。一旦要改某个公共逻辑，就得同时改好几个文件，极其痛苦。这套源码把公共部分抽出来，目的就是减少重复代码，让数据流动的方向更清晰。

1.2 为什么用统一的通用模板

深度强化学习代码最大的维护成本其实不在算法本身，而在数据流。无论是DQN、DDPG还是SAC，off-policy类算法都要依赖经验回放，区别只在采样方式和存储内容不同。把它们统一成一个接口，会省掉大量心智负担。

class ReplayBuffer: def __init__(self, capacity, state_dim, action_dim=None): self.capacity = capacity self.buffer = [] self.position = 0 def store_sample(self, state, action, reward, next_state, done): data = (state, action, reward, next_state, done) if len(self.buffer) < self.capacity: self.buffer.append(data) else: self.buffer[self.position] = data self.position = (self.position + 1) % self.capacity def sample_batch(self, batch_size): batch = random.sample(self.buffer, batch_size) state, action, reward, next_state, done = map(np.stack, zip(*batch)) return state, action, reward, next_state, done

这个通用接口好处很明显。DDPG和SAC这类连续控制算法共用一套实现完全没问题，DQN也只需要在调用时把action从数组改成整数索引。对于新手来说，从这一个类就能理清"经验从哪里来、到哪里去"的完整链路。

代码里其他组件也一样，优先保证逻辑可读而不是性能极致优化。比如噪声模块，实现了高斯噪声和Ornstein-Uhlenbeck噪声两种，在DDPG的配置文件里切换就行。状态标准化模块放在common里，PPO和SAC都能调用，因为这两个算法对输入状态的尺度非常敏感，后面会详细讲。

2. 四大经典算法的实现逻辑与踩坑点

2.1 PPO：稳定性和采样效率的权衡

PPO是这四种算法里落地最广的，也是我推荐新手最先去读的。它的核心思想是限制每次策略更新的幅度，避免像传统策略梯度那样一步更新太猛导致训练崩掉。具体手段就是clipped surrogate objective。

ratio = torch.exp(new_logprob - old_logprob) surr1 = ratio * advantage surr2 = torch.clamp(ratio, 1.0 - clip_epsilon, 1.0 + clip_epsilon) * advantage policy_loss = -torch.min(surr1, surr2).mean()

代码里实现得很直观。clip_epsilon通常设为0.2，意思是如果新旧策略的差异过大，就把优势函数的权重限制住。这样可以保证策略更新不会因为某个偶然的高回报样本就剧烈摆动。

我踩过的坑是：PPO对reward scaling极度敏感。同样的超参数，在HalfCheetah上跑得好好的，换到Walker2d上很可能就不收敛了。原因在于GAE计算优势函数时，如果reward量级差异太大，advantage的方差也会被放大，策略更新步长实际上被撑大，clipping起不到应有的作用。解决方式是在公共normalizer里对reward做标准化，或者根据环境动态调整reward scale参数。

2.2 DQN：从表格到泛化的关键跳跃

DQN在源码里的实现算是最清晰的，网络就一个Q网络加一个target网络，加上经验回放，去掉探索噪声策略更新逻辑也不复杂。但要跑出稳定的效果，有两个细节必须处理好。

第一是target network的更新方式。很多初版实现是硬拷贝，每隔K步直接把Q网络的权重复制过去。这套源码里默认采用了soft update，也叫Polyak averaging，target网络参数每次向Q网络移动一小步，更新系数tau通常在0.005到0.01之间。

for target_param, param in zip(target_net.parameters(), net.parameters()): target_param.data.copy_(tau * param.data + (1.0 - tau) * target_param.data)

为什么soft update更稳定？因为硬拷贝会让目标值周期性跳变，Q网络的回归目标本身不稳定，训练过程容易震荡。soft update让目标值平滑变化，类似给回归问题加了一个惯性项，在不牺牲太多收敛速度的前提下大幅提升稳定性。

第二是replay buffer与target network搭配的原因。如果没有经验回放，网络会"忘记"之前见过的状态，学到的Q值会偏向最新几条经验。经验回放打破了这个时间相关性，让每次梯度下降用的batch在统计上更接近独立同分布，这是DQN能稳定训练的重要前提。

2.3 SAC：最大熵到底解决了什么

SAC是目前off-policy连续控制算法里最推荐用的一个。它和DDPG最大的不同是在目标函数里加了一个熵正则项，让策略在多个近似最优的动作之间保持一定的随机性，而不是逼成一个确定的动作。

熵正则项的实际含义，用大白话说就是：假设有两条路都能到达目的地，SAC的策略不会只挑其中一条，而是在两条路之间分配概率，保留探索的余地。这在真实机器人控制中意义很大，因为模型对环境的估计一定有误差，而保留随机性可以避免因为过度自信导致控制失败。

实现熵正则的关键在温度系数自动调节。代码里不会把一个固定系数写死，而是设一个target_entropy，然后用梯度方法去自适应调整。多数连续控制环境的target_entropy设置为负的动作维度数，比如动作维度为6就设为-6。

alpha_loss = -(alpha * (log_prob + target_entropy).detach()).mean()

这段代码让alpha在策略熵高于目标熵时增大，在熵低于目标熵时减小，永远保持策略的探索程度在合适区间。新手容易忽略的是，alpha的学习率通常需要比policy和Q网络低一点点，因为温度系数调整太快会导致探索节奏过于激进。

2.4 DDPG：连续控制的老牌选手

DDPG是深度确定性策略梯度算法，和SAC不同，它输出的是一个确定性动作而不是动作分布的采样。为了让它在训练初期有探索能力，代码里在动作上叠加了OU噪声或高斯噪声。

DDPG真正难搞的地方在target network更新时的平滑正则。源码里实现了一种叫target policy smoothing的做法，给target动作加上一个clip过的高斯噪声，再把clip范围限制在动作边界内。这个做法防止Q函数对某个动作出现尖峰式的过估计，避免Q值越学越偏。

实际跑DDPG的实验结果经常给人感觉很玄学，同一个任务换一个随机种子，曲线可能差一大截。我在使用中明确感受到，DDPG的调參比SAC更敏感，batch size、噪声方差、tau值任何变化都可能带来完全不同的收敛结果。所以不建议在复杂环境上从DDPG开始调，先把SAC跑通再回来对比会更省力。

3. 环境配置与复现运行完整流程

3.1 PyTorch与硬件环境准备

这套源码基于PyTorch实现，所以先要把PyTorch环境装好。我看很多朋友卡在环境搭建这一步，其中绝大多数问题出在CUDA版本和PyTorch版本不匹配上。

推荐直接用conda创建一个独立环境，不要装在base环境里。创建命令很常规：

conda create -n rl python=3.10 conda activate rl

然后根据你的机器有没有NVIDIA显卡选择不同的安装方式。有GPU的话，先用nvidia-smi确认驱动支持的CUDA版本，再去PyTorch官网选对应的安装命令。比如驱动支持CUDA 12.1，就装对应的版本：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

没有GPU就直接装CPU版本，日常调试和跑小规模的实验完全够用。RNN和CNN在CPU上单进程跑会慢很多，但经典强化学习实验如果不追求速度，CPU版也能跑出结果。

注意：不要先装PyTorch再回头看CUDA版本，一定要先确认显卡驱动支持哪个CUDA版本，再选PyTorch版本。方向反了会陷入版本地狱。

3.2 依赖安装与仓库跑通

环境装好后进入项目根目录，安装依赖。requirements.txt里通常包括以下包：

gymnasium==0.29.1 numpy==1.24.3 tensorboard==2.14.0 pyyaml==6.0

这里我特别想提醒gym版本的问题。很多经典版本的gym接口和现在的gymnasium不太一样，主要区别在env.reset()的返回值。老版本reset返回一个observation，新版本返回(observation, info)元组。如果代码里直接写obs = env.reset()，在新版本下obs会被赋成一个tuple，后续接状态维度就直接报错。

我在这套源码里统一使用gymnasium接口，所以跑环境前确认装的是gymnasium而不是旧版gym，版本号锁定在0.29.1附近最稳。

依赖装好后，直接运行训练脚本：

python scripts/train_sac.py --config configs/sac_halfcheetah.yaml

配置文件里把环境名、最大训练步数、学习率、buffer大小这些参数都列好了。如果想试试其他算法，只需要换成对应的脚本和配置文件，环境尽量保持一致，这样对比出来的算法性能差异才有参考意义。

3.3 用TensorBoard看训练曲线的正确姿势

这套源码在训练脚本里接了TensorBoard，会自动记录reward、loss、alpha这些指标。训练过程中另开一个终端：

tensorboard --logdir runs

然后浏览器打开http://localhost:6006就能实时看到曲线。

怎么看曲线才知道训练正常不正常？我的经验是三件事：第一看reward曲线是否有整体上升趋势，不只是噪声抖动；第二看critic loss是否收敛到一个相对稳定的区间，如果loss一直乱跳甚至越来越大，大概率是学习率太大或replay buffer里数据分布有问题；第三看explained variance之类的辅助指标，这个能反映优势估计的准确性。

很多朋友只看reward曲线，其他指标一概不看，训练崩了也不知道原因在哪里。其实强化学习调试的核心就是看这些辅助指标，它们比reward更能定位问题。

4. 常见问题与排查技巧实录

4.1 问题速查表

实操过程中遇到的高频问题我整理成了一张表，基本都是群里和朋友反复问过的：

4.2 训练不收敛时从哪里下手排查

训练不收敛是强化学习新手最崩溃的时刻，通常你会觉得代码逻辑没问题，但曲线就是不动弹。我的排查顺序是固定的。

第一步看reward量级。打印几条原始reward，如果大到几千、小到零点零零几，第一步先做reward scaling，通常乘0.1或0.01就能解决很多问题。第二步看动作范围，SAC和DDPG里动作要经过tanh压缩到[-1,1]，如果环境本身动作范围不一样但没做映射，策略会一直在边界饱和，也学不出东西。第三步再看advantage估计，PPO的话用debug模式把GAE计算中间步骤打出来，确认done mask是否正确传递。

还有一种极其隐蔽的坑是done信号的布尔类型。代码里如果错误地把done当成整数用，该终止的地方没有及时截断，优势估计就会把所有经验串成一个超长轨迹，策略会被误导。排查时在buffer里多做一步断言，看看terminal state后面是否接着出现了新episode的第一帧。

4.3 超参调节的几个实测心得

超参这块我直接给结论。学习率是个万能旋钮，无论哪个算法，只要不收敛，先把所有网络的学习率降到3e-4以下试试，八成能稳定下来。batch size在256到512之间是大多数环境的甜点区，太小的batch会让策略更新噪音大，太大的batch又可能导致更新太平滑、学得慢。

buffer size和训练步数的关系也要留意。replay buffer如果太小，DQN和SAC的经验多样性不足，网络反复看几条旧数据很容易过拟合。但如果buffer过大且训练步数不够，buffer里大部分都是早期随机探索的数据，学到后面那些低质量经验会稀释新经验的信号。我习惯把buffer size设为总训练步数的五分之一到十分之一之间。

随机种子问题值得多说一句。算法上了seed与不上seed，效果可能天差地别，这不算bug。但复现实验时必须固定环境种子、模型初始化种子、噪声生成种子，不然两次结果没有任何可比性。这套源码里种子控制放在了配置里，跑实验前检查一下。

我个人在实际使用中的一个体会是：这套代码最大的价值不是哪个算法跑出的分数有多高，而是它提供了一个可以随意替换和扩展的骨架。你可以在common里加一个normalizer变体，也可以在SAC里把Q网络换成dueling结构，改动一处其他地方完全不需要动。建议先拿一个简单环境比如HalfCheetah把所有命令跑通，再慢慢往里面加自己的想法。每次改完之后做一次小规模消融实验，把改动前和改动后的曲线贴在一起，训练效果好不好一眼就能看出来，不需要等到整个实验跑完才发现改坏了。

本文还有配套的精品资源，点击获取