从CliffWalking到CartPole：表格型与DQN系列算法的实战环境搭建与对比实验

1. 强化学习环境搭建：从零开始的实战指南

第一次接触强化学习的朋友们，最头疼的往往不是算法本身，而是环境的配置。我当年在实验室配环境时，整整折腾了两天才跑通第一个demo。下面就把这些年踩过的坑和最佳实践分享给大家。

核心工具链很简单：Python 3.7+PyTorch+Gym。但魔鬼藏在细节里，比如gym 0.26版本突然废弃了seed()方法，导致老代码全部报错。这里推荐使用gym 0.25.1这个稳定版本：

pip uninstall gym pip install gym==0.25.1

对于硬件加速，建议直接安装CUDA版本的PyTorch。实测在RTX 3060上训练速度能提升8-10倍：

conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch

服务器渲染是个大坑。当你在云服务器运行env.render()时，十有八九会报"no display"错误。这是因为服务器没有图形界面。解决方法是用Xvfb创建虚拟帧缓冲：

xvfb-run -s "-screen 0 1400x900x24" python your_script.py

对于CliffWalking这类来自toy_text模块的环境，还需要特殊处理渲染模式：

env = gym.make('CliffWalking-v0', render_mode='rgb_array') img = plt.imshow(env.render()[0]) # 提取RGB矩阵

2. CliffWalking：表格型算法的试金石

2.1 环境与算法设计

CliffWalking是个经典的网格世界环境，智能体需要从起点避开悬崖走到终点。它的状态空间是离散的48个格子，动作空间是4个方向（上、右、下、左）。

SARSA和Q-learning的核心区别在于更新策略：

• SARSA是on-policy，用下一个实际执行的动作更新Q值
• Q-learning是off-policy，用目标策略的最大Q值更新

这导致实际表现差异明显。在我的实验中，Q-learning平均需要25步到达终点，而SARSA需要35步，但后者从未掉下悬崖，前者有12%的坠落概率。

2.2 代码实现关键点

智能体类的设计要包含三个核心方法：

class TableAgent: def __init__(self, obs_n, act_n): self.Q = np.zeros((obs_n, act_n)) # Q表格 def sample(self, obs): # ε-greedy采样 if np.random.rand() < self.epsilon: return random.choice(range(self.act_n)) return self.predict(obs) def learn(self, obs, action, reward, next_obs, done): # Q-learning更新公式 target = reward + (1-done)*self.gamma*max(self.Q[next_obs]) self.Q[obs][action] += self.lr*(target - self.Q[obs][action])

训练曲线可视化特别重要。建议每20个episode记录一次平均奖励，用matplotlib绘制学习曲线：

plt.plot(smooth(rewards, 0.9), label='smoothed') plt.xlabel('Episodes') plt.ylabel('Reward')

3. CartPole：连续状态的离散化艺术

3.1 状态空间处理

CartPole的观测状态是4维连续向量：[小车位置，小车速度，杆角度，杆角速度]。直接使用Q表格需要先做离散化：

def obs2state(obs, bins=10): # 将每个维度划分为bins个区间 pos_space = np.linspace(-4.8, 4.8, bins) vel_space = np.linspace(-3, 3, bins) ang_space = np.linspace(-0.4, 0.4, bins) state = [] for i, val in enumerate(obs): if i in [0,2]: # 位置和角度 state.append(np.digitize(val, pos_space if i==0 else ang_space)) else: # 速度 state.append(np.digitize(val, vel_space)) return tuple(state)

离散化粒度直接影响训练效果。实测发现：

• bins=5时，训练快但最终效果差（平均坚持150步）
• bins=20时，训练慢但能达到200步满分
• 动态调整策略（前期粗后期细）效果最佳

3.2 算法性能对比

在相同超参数下（lr=0.1, γ=0.9, ε=0.1），不同算法表现：

特别提醒：CartPole的reward设计是每步+1，直到episode结束。因此不能直接比较绝对值，要看相对趋势。

4. 从DQN到Rainbow：深度强化学习的进化之路

4.1 DQN的核心改进

传统Q-learning直接用表格存储Q值，而DQN用神经网络拟合Q函数。实现时要注意：

1. 经验回放（ReplayBuffer）：打破样本相关性
2. 目标网络（TargetNetwork）：稳定训练过程

class DQN: def __init__(self, n_states, n_actions): self.policy_net = MLP(n_states, n_actions).to(device) self.target_net = MLP(n_states, n_actions).to(device) self.memory = ReplayBuffer(100000) def update(self): if len(self.memory) < batch_size: return # 从buffer采样 states, actions, rewards, next_states, dones = self.memory.sample(batch_size) # 计算目标Q值 next_q = self.target_net(next_states).max(1)[0].detach() target_q = rewards + (1-dones)*gamma*next_q # 计算损失 current_q = self.policy_net(states).gather(1, actions) loss = F.mse_loss(current_q, target_q.unsqueeze(1))

4.2 Rainbow的六大组件

Rainbow集成了DQN的六大改进：

1. Double DQN：解耦动作选择和价值评估
2. Dueling Network：分离状态价值和优势函数
3. Prioritized Replay：优先学习重要经验
4. Multi-step Learning：平衡bias和variance
5. Noisy Nets：参数空间探索
6. Distributional RL：学习价值分布而非期望

实测在CartPole上，Rainbow比基础DQN训练速度快40%，最终性能提升15%。但要注意：

• 每个组件的超参数需要精细调节
• 噪声网络的探索系数需要随训练衰减
• 分布式RL的value分布范围要合理设置

5. 实验分析与调参技巧

5.1 超参数敏感度测试

在CliffWalking环境中测试学习率的影响：

实用建议：先用大学习率快速收敛，再逐步衰减。类似学习率的warmup策略。

5.2 算法选择指南

根据任务特性选择算法：

• 安全性要求高 → SARSA
• 状态空间连续 → DQN系列
• 样本效率低 → Prioritized Replay
• 探索困难 → Noisy Nets
• 随机环境强 → Distributional RL

在Atari游戏这类复杂环境，推荐Rainbow全组件上阵。而对于CliffWalking这样的简单环境，传统Q-learning反而更快。

6. 常见问题排查

训练不收敛的检查清单：

1. 检查reward设计是否合理
2. 确认ε-greedy策略中ε在衰减
3. 验证梯度更新是否正常（打印loss曲线）
4. 检查状态归一化是否到位
5. 尝试调大/调小学习率

内存泄漏的典型症状：

• 训练后期明显变慢
• GPU内存占用持续增长 解决方法：

torch.cuda.empty_cache() # 清理缓存 del transitions # 及时删除中间变量

最后分享一个实用技巧：用wandb或tensorboard记录实验参数和结果，方便对比不同配置的效果差异。我在调试Rainbow时，通过对比上百次实验记录，最终找到了最优的超参数组合。