从零实践强化学习：奖励设计与Q-Learning入门指南

1. 从“世界冠军”这个前缀说起：为什么强化学习需要“陪练思维”

第一次看到“世界冠军带你从零实践强化学习”这个标题，我脑子里蹦出来的不是算法公式，而是一个很具体的画面：一个职业棋手坐在棋盘前，旁边站着一个完全不懂棋的普通人，棋手说“你随便下，下完我告诉你哪一步臭”。这个画面其实就是强化学习最朴素的形态——智能体在环境里乱动，环境给它反馈，它慢慢学会怎么动才能拿到更多奖励。

很多人学强化学习卡在第一步，不是数学太难，而是没有建立起“陪练思维”。他们习惯性地把强化学习当成监督学习来学：找数据集、标标签、训模型、看准确率。但强化学习里根本没有现成的标签，标签是智能体自己“试”出来的。这就好比你想学游泳，看再多教学视频都没用，必须下水呛几口，身体才会告诉你“这个姿势要沉”。

“世界冠军”这个前缀之所以有价值，是因为它暗示了一种高水平的示范与反馈机制。在强化学习里，这个“冠军”可以是人类专家，也可以是一个已经训练好的强策略，还可以是环境本身设计的精妙奖励函数。从零实践强化学习，核心不是背下PPO、DQN的公式，而是理解一个智能体如何从完全无知到逐渐开窍的完整链路。

这篇文章适合谁看？如果你已经学过机器学习基础，知道什么是损失函数、梯度下降，但一打开强化学习教材就被MDP、贝尔曼方程、策略梯度绕晕，那这篇就是写给你的。如果你是完全零基础，也没关系，我会用大量生活化的类比把概念拆开。整篇内容会围绕“从零搭建一个能跑通的强化学习实践流程”展开，不堆公式，重点讲为什么这么设计、实际跑起来会遇到什么、怎么判断自己的智能体是不是在学。

提示：强化学习的“从零”不是指从零写代码，而是指从零理解一个智能体如何通过试错获得策略。代码可以抄，但试错过程中的判断逻辑必须自己建立。

2. 强化学习的第一道门槛：把“奖励”翻译成智能体能懂的语言

2.1 奖励不是打分，而是智能体唯一的生存信号

很多人第一次接触强化学习，会下意识地把奖励理解成“考试分数”——越高越好，但具体高多少、什么时候给，并不在意。这是一个致命的误解。在强化学习里，奖励是智能体唯一的信息来源，它决定了智能体学什么、怎么学、学多快。

举个例子。假设你要训练一个智能体玩一个简单的网格游戏：从左上角走到右下角，每走一步扣1分，走到终点加100分。如果你把“每走一步扣1分”改成“每走一步扣0.1分”，智能体的行为会完全不同。扣1分时，它会拼命找最短路径，甚至冒险穿墙；扣0.1分时，它可能慢悠悠地绕路，因为“磨蹭”的代价变小了。这就是奖励设计的威力——你给什么奖励，智能体就变成什么样子。

在实际操作中，我习惯把奖励设计分成三层来思考：

• 稀疏奖励：只有达到目标才给奖励。比如迷宫走到出口才加1分。这种设计最接近真实世界，但智能体学得极慢，因为它大部分时间都在“盲走”，得不到任何反馈。
• 稠密奖励：每走一步都给反馈。比如离目标越近奖励越高。这种设计学得快，但容易让智能体“钻空子”——它可能发现原地转圈也能刷分，因为转圈时离目标的距离在微小波动。
• 分层奖励：把大目标拆成小目标，每个小目标给一次奖励。比如先走到中间点给10分，再走到终点给100分。这是实践中用得最多的折中方案。

注意：奖励设计没有标准答案，但有一个铁律——奖励必须能区分“好行为”和“坏行为”。如果你自己都说不清什么样的行为该拿高奖励，智能体更不可能学会。

2.2 从零写一个奖励函数的实操步骤

假设我们要做一个最简单的实践项目：让一个智能体学会在一条直线上走到目标点。环境是一条长度为10的线段，智能体初始位置在0，目标位置在10。动作空间是离散的：向左走一步、向右走一步、原地不动。

第一步，定义状态。状态就是智能体当前的位置，用一个整数表示，范围是0到10。

第二步，定义动作。动作空间是{0, 1, 2}，分别代表左、右、停。

第三步，定义奖励。这里我试过三种方案，实测效果差异很大：

最后我选了方案C的变体：奖励 = -abs(位置-10) + 到达目标额外加50。这样智能体既有稠密的距离反馈，又有稀疏的到达奖励，学得又快又稳。

第四步，定义终止条件。到达目标位置或者步数超过200步，回合结束。

这个例子虽然简单，但它包含了强化学习奖励设计的全部核心逻辑：稠密反馈引导方向，稀疏奖励确认目标，终止条件控制节奏。你把这个逻辑套到任何任务上，都不会出大错。

2.3 奖励缩放：一个容易被忽略但影响巨大的细节

在实际跑代码时，我发现一个很隐蔽的坑：奖励的绝对数值会影响学习速度。如果你把到达奖励设成10000，每步惩罚设成0.01，智能体会变得极度保守，因为它害怕任何一步的惩罚，哪怕这个惩罚小到可以忽略。反过来，如果到达奖励只有1，每步惩罚是-1，智能体又会变得极度冒险，因为它觉得“反正走错一步就扣光了，不如赌一把”。

我的经验是：把单步奖励控制在[-1, 1]之间，把目标奖励控制在[10, 100]之间。这个比例下，智能体既能感受到每一步的轻重，又不会因为目标奖励太大而忽略过程。如果你用的框架有奖励裁剪功能，可以开启，但要注意裁剪阈值不能太小，否则会丢失奖励的区分度。

3. 环境搭建：为什么我劝你先用现成环境，再自己造轮子

3.1 从零手写环境的代价与收益

很多教程一上来就教你用gym.make("CartPole-v1")，然后直接开始训模型。这没错，但如果你真的想“从零实践”，我建议你至少手写一次环境。原因很简单：只有自己写过环境，你才会真正理解状态、动作、奖励、终止这四个要素是怎么耦合在一起的。

我最早学强化学习时，直接拿现成环境跑DQN，代码跑通了，曲线也上升了，但我完全不知道智能体到底在学什么。后来我自己写了一个“猜数字”环境：智能体每次猜一个0到100的数，环境告诉它“大了”或“小了”，猜中给奖励。写完之后我才恍然大悟——原来状态可以是一个区间，动作可以是区间内的一个数，奖励可以是“距离真实值多远”的负数。

手写环境的代价是耗时。一个最简单的环境，从设计到调试，至少需要半天。但收益是长期的：之后你看任何强化学习论文，都能在脑子里把它的环境还原出来，理解作者为什么这么设计状态和奖励。

3.2 一个最小可运行环境的代码骨架

下面是我常用的环境骨架，基于Python，不依赖任何强化学习框架，只用numpy。你可以直接复制过去改：

import numpy as np class LineEnv: def __init__(self, length=10): self.length = length self.position = 0 self.steps = 0 self.max_steps = 200 def reset(self): self.position = 0 self.steps = 0 return self.position def step(self, action): # action: 0=左, 1=右, 2=停 if action == 0: self.position = max(0, self.position - 1) elif action == 1: self.position = min(self.length, self.position + 1) # action == 2 时位置不变 self.steps += 1 # 奖励设计 reward = -abs(self.position - self.length) done = False if self.position == self.length: reward += 50 done = True if self.steps >= self.max_steps: done = True return self.position, reward, done, {}

这个骨架只有30行，但它包含了强化学习环境的全部要素。你可以把LineEnv换成任何任务：把位置换成股票价格，把动作换成买/卖/持，把奖励换成收益，就是一个交易环境。环境是强化学习的试验场，试验场越简单，你越容易看清智能体的行为。

3.3 环境验证：怎么判断你的环境没写错

写完环境后，不要急着上算法。先做三件事：

第一，手动跑几个回合。用随机策略跑10个回合，看看奖励范围是否合理。如果随机策略的奖励是-1000到-900，而最优策略的奖励是100，那说明奖励尺度有问题，智能体很难从-1000爬到100。

第二，检查状态边界。把智能体放在边界位置，执行所有动作，看看状态是否越界。我踩过的坑是：位置在0时向左走，代码里写了max(0, position-1)，但忘了在奖励里体现“撞墙惩罚”，结果智能体学会了疯狂撞墙，因为撞墙不扣分还能刷步数。

第三，验证终止条件。确保达到目标或超过步数时，done一定为True。如果done永远为False，智能体会陷入无限循环，训练永远不结束。

提示：环境写完后，用随机策略跑100个回合，记录平均奖励和平均步数。这两个数字是你后续判断智能体是否在学的基准线。如果训练后的智能体还不如随机策略，那一定是哪里出了问题。

4. 算法选型：从表格法到策略梯度，什么时候该换武器

4.1 为什么你的第一个算法应该是Q-Learning而不是PPO

现在网上很多教程一上来就讲PPO，因为PPO在连续控制任务上表现好。但如果你是从零实践，我强烈建议你先用Q-Learning。原因有三个：

第一，Q-Learning是表格法，状态和动作都是离散的，你可以把Q表打印出来看。你能亲眼看到每个状态-动作对的数值在训练过程中怎么变化。这种“看得见”的反馈，对建立直觉至关重要。PPO是神经网络，你只能看到损失曲线，看不到策略内部在发生什么。

第二，Q-Learning的更新公式只有一行：Q(s,a) = Q(s,a) + α * (r + γ * max(Q(s',a')) - Q(s,a))。这一行包含了强化学习的全部核心思想：当前估计、即时奖励、未来折扣、学习率。你把这行公式手写十遍，比看十篇PPO论文都有用。

第三，Q-Learning的失败模式很直观。如果学习率太大，Q值会震荡；如果折扣因子太小，智能体会短视；如果探索率太高，智能体会一直乱走。这些失败模式在PPO里会被神经网络的非线性掩盖，你很难定位问题。

我的建议是：用Q-Learning跑通一个离散任务，再用PPO跑通一个连续任务。两个都跑通之后，你自然就知道什么时候该用哪个了。

4.2 Q-Learning在直线环境上的完整实现

继续用上面的LineEnv，状态是0到10的整数，动作是0到2的整数。Q表就是一个11x3的矩阵。

import numpy as np env = LineEnv() q_table = np.zeros((11, 3)) alpha = 0.1 gamma = 0.9 epsilon = 0.1 episodes = 500 for episode in range(episodes): state = env.reset() done = False while not done: if np.random.random() < epsilon: action = np.random.randint(3) else: action = np.argmax(q_table[state]) next_state, reward, done, _ = env.step(action) # Q-Learning更新 best_next = np.max(q_table[next_state]) q_table[state, action] += alpha * (reward + gamma * best_next - q_table[state, action]) state = next_state

跑完500个回合后，把q_table打印出来，你会看到在位置0到9时，动作1（向右）的Q值最高；在位置10时，动作2（停）的Q值最高。这就是智能体学到的策略。

这里有几个参数需要解释：

• alpha=0.1：学习率。太大（如0.9）会导致Q值震荡，太小（如0.01）会导致学习过慢。0.1是一个经验值，适合大多数离散任务。
• gamma=0.9：折扣因子。它决定了智能体有多看重未来奖励。0.9意味着10步之后的奖励打0.35折。如果任务需要长期规划，可以调到0.99。
• epsilon=0.1：探索率。10%的时间随机行动，90%的时间按Q表行动。这个比例在训练初期可以设高一点（如0.5），后期逐渐降低。

4.3 从Q-Learning切换到策略梯度的信号

Q-Learning很好，但它有两个硬伤：状态空间不能太大，动作空间不能连续。如果你的状态是图像，或者动作是关节角度，Q表就无能为力了。这时候你需要策略梯度方法，比如REINFORCE或PPO。

什么时候该切换？我的判断标准是：当你发现Q表的维度超过1000x1000时，就该考虑神经网络了。1000x1000的Q表有100万个条目，每个条目需要至少几十次访问才能估计准确，这意味着你需要上亿步的训练。而神经网络可以通过泛化，用更少的样本学到相似的状态。

从Q-Learning切换到策略梯度，最大的思维转变是：你不再估计每个动作的价值，而是直接学习一个策略函数，输入状态，输出动作的概率分布。这个转变类似于从“查字典”变成“学语法”——字典只能查你见过的词，语法能生成你没见过的句子。

5. 训练过程中的“灵异事件”：智能体为什么不学、学歪、学废

5.1 智能体完全不学：奖励曲线一条直线

这是最常见的问题。你跑了1000个回合，奖励曲线纹丝不动，和随机策略一模一样。可能的原因有五个：

第一，奖励太稀疏。如果只有到达目标才给奖励，智能体在随机探索阶段几乎不可能碰到目标。解决办法是加入稠密奖励，或者用课程学习——先让目标离得近，再逐渐拉远。

第二，探索率太低。如果epsilon=0.01，智能体99%的时间都在按当前Q表行动，而Q表初始全是0，argmax返回的动作永远是第一个动作。解决办法是把epsilon初始值设高，比如0.5，然后慢慢降到0.05。

第三，学习率太大。Q值更新时，如果alpha=1，新估计完全覆盖旧估计，Q值会剧烈震荡，永远收敛不了。解决办法是把alpha降到0.01到0.1之间。

第四，折扣因子太小。如果gamma=0.1，智能体只关心下一步的奖励，而下一步的奖励通常是0（因为还没到目标），所以它学不到任何长期策略。解决办法是把gamma调到0.9以上。

第五，状态表示有问题。如果状态是连续的，但你直接把它当离散的用，智能体可能永远无法区分相似状态。解决办法是做状态离散化，或者改用神经网络。

我踩过最坑的一次是：奖励函数里写了reward = -abs(position - target)，但忘了在到达目标时给正奖励。结果智能体学会了“原地不动”，因为原地不动时距离目标的距离不变，奖励是稳定的负数，而乱走会让奖励波动。智能体是极度风险厌恶的，它宁愿要稳定的-5，也不要波动的-3到-10。

5.2 智能体学歪了：奖励很高但行为很蠢

这种情况比完全不学更隐蔽。奖励曲线在上升，但你一看智能体的行为，发现它在“刷分”。比如在直线环境里，智能体发现“向右走一步再向左走一步”可以无限循环，而每步的奖励是-abs(position-10)，如果它在位置9和10之间来回走，奖励是-1和0交替，平均-0.5，比一直向右走（奖励从-10到0）的初期奖励高得多。

这就是奖励黑客现象。智能体没有学会完成任务，而是学会了利用奖励函数的漏洞。解决办法有两个：一是重新设计奖励，让刷分行为的奖励低于正常行为；二是加入动作惩罚，每走一步额外扣一个小分，让刷分变得不划算。

我的经验是：奖励函数写完后，自己先模拟几种“作弊策略”，看看它们的奖励是不是比正常策略高。如果是，赶紧改奖励。这个步骤花10分钟，能省你10小时的训练时间。

5.3 智能体学废了：训练后期突然崩溃

有时候奖励曲线先上升，然后突然断崖式下跌，再也回不去了。这在策略梯度方法里尤其常见，原因是策略更新步长太大，导致策略崩溃。神经网络输出的动作概率分布突然变得极端，比如某个动作的概率从0.3变成0.99，智能体失去了探索能力，陷入局部最优。

解决办法是使用PPO的裁剪机制，限制每次策略更新的幅度。PPO的裁剪参数通常设0.1到0.2，意思是新策略和旧策略的概率比不能超过1.2或低于0.8。这个约束看起来很小，但它能防止策略“一步走太大扯到蛋”。

另一个原因是学习率没有衰减。训练初期需要大学习率快速探索，训练后期需要小学习率精细调整。如果学习率一直不变，后期就会在最优解附近震荡，甚至震荡出去。解决办法是加一个学习率衰减策略，比如每1000步乘以0.99。

注意：训练崩溃后，不要直接重启训练。先保存崩溃前的模型，然后降低学习率，从崩溃前的检查点继续训练。很多时候，稍微调小学习率就能救回来。

6. 从“能跑”到“跑得好”：我常用的调参顺序与评估方法

6.1 调参不是玄学，而是有优先级的排查

强化学习的超参数很多，但它们的优先级差别巨大。我通常按以下顺序调：

这个顺序的逻辑是：奖励函数错了，后面全错；探索率错了，学不到东西；学习率错了，学不稳定；折扣因子错了，学不到长期策略；网络结构错了，最多是拟合能力不足。所以每次调参，从优先级高的开始，不要一上来就调网络层数。

6.2 评估智能体是否真的学会了

训练奖励高不代表智能体学会了。我见过太多案例，训练奖励曲线很漂亮，但一测试就原形毕露。评估智能体需要看三个指标：

第一，测试奖励的均值和方差。用训练好的策略跑100个回合，计算平均奖励和标准差。如果均值高但方差也高，说明智能体不稳定，可能在某些初始状态下表现很差。

第二，行为可视化。把智能体的动作序列打印出来，或者画成图。在直线环境里，如果智能体从位置0出发，一路向右走到10，然后停下，那就是学会了。如果它走到8又退回6，再走到9又退回7，那就是没学扎实。

第三，泛化测试。改变初始状态或环境参数，看看智能体还能不能完成任务。比如把直线长度从10改成15，如果智能体还能走到终点，说明它学到了“向右走”的通用策略，而不是死记硬背了“从0走到10”的固定路径。

我习惯在训练过程中每100个回合做一次评估，把评估奖励和训练奖励画在同一张图上。如果评估奖励远低于训练奖励，说明智能体过拟合了训练环境，需要增加探索或正则化。

6.3 一个容易被忽略的细节：随机种子的影响

强化学习对随机种子极其敏感。同一个算法，同一个环境，换个随机种子，结果可能天差地别。我试过用5个不同的随机种子跑同一个配置，最终奖励的波动范围能达到30%。

所以，永远不要用单次实验的结果下结论。至少跑3到5个随机种子，看平均表现。如果某个配置在5个种子上都稳定，那才是真的好配置。如果只有1个种子好，其他4个都崩，那说明这个配置是运气好，不是真的好。

在代码里，我通常这样设置：

import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed)

然后在实验循环里，用不同的seed跑多次，记录每次的最终奖励，最后取平均和标准差。这个习惯能帮你避免很多“假阳性”的结论。

7. 从零实践之后：下一步该往哪里走

跑通一个最简单的强化学习项目后，你可能会觉得“就这？”——确实，直线环境太简单了，智能体几分钟就学会了。但这几分钟里，你经历的是强化学习的完整闭环：设计环境、定义奖励、选择算法、调参、评估、排错。这个闭环跑通了，后面换任何任务，都是在这个闭环上做替换。

下一步我建议你尝试把直线环境改成二维网格。状态从一维变成二维，动作从三个变成四个（上下左右），奖励还是距离目标越近越高。你会发现，Q表的维度从11x3变成100x4，训练时间变长，但智能体依然能学会。这个过程中，你会直观感受到状态空间增长对训练效率的影响。

再下一步，你可以尝试把Q-Learning换成DQN。DQN用神经网络代替Q表，能处理连续状态。你会遇到新的问题：经验回放、目标网络、梯度爆炸。每一个问题都会逼你去理解新的概念。但因为你已经跑通过表格法，你知道“理想情况下应该发生什么”，所以当DQN出问题时，你能更快定位。

最后，如果你对策略梯度感兴趣，可以试试REINFORCE算法。它比Q-Learning更简单，只有一行更新公式：theta += alpha * reward * grad_log_prob(action)。但它的方差极大，训练极不稳定。你会亲身体会到“为什么需要基线”和“为什么需要优势函数”。这些体会，比看任何教材都深刻。

我个人在实际操作中的体会是：强化学习最难的不是算法，而是判断“智能体到底在干什么”。算法是死的，环境是活的，奖励是你写的，但智能体的行为往往出乎你的意料。每次训练前，先问自己三个问题：我的奖励能区分好坏行为吗？我的探索率够高吗？我的评估方法能反映真实能力吗？这三个问题答清楚了，训练就成功了一半。