从失败中学习：HER算法破解稀疏奖励难题的实践指南

见过不少挂着高大上名字的项目，但 "hindsight" 这个项目名第一次出现在我面前时，我脑子里立刻蹦出来的不是"事后诸葛"，而是强化学习里那个非常经典的算法——Hindsight Experience Replay（HER）。如果你正被"智能体训练了上百万步，奖励却一直是 0"折磨得死去活来，或者对"AI 到底怎么从失败里学习"这件事感兴趣，那这篇文章就是冲着你来的。我会把这个项目背后涉及的核心问题、算法原理、代码实现、调参心得和踩坑记录全部拆开，确保你看完能直接照着做，而不是停留在概念层面。

1. 项目概述与核心思路拆解

1.1 从"事后诸葛"到"事后经验回放"

hindsight 的字面意思是"后见之明"，人类在事情结束后总爱说"我早就知道会这样"。讽刺的是，强化学习智能体恰恰缺这个能力。标准的经验回放机制里，一次失败的尝试就是失败，transition 存入 replay buffer 后，如果 reward 为 0，它对价值网络的更新贡献几乎为零。智能体只能在无数次"撞墙"中盲目探索，直到偶然撞出一个正样本，才开始学到点东西。

HER 的核心做法非常反直觉：当智能体没能完成期望目标 g 时，不去惩罚这次失败，而是换一个角度——"既然你最终到达了状态 s'，那就把这次轨迹假设成以 s' 为目标的一次成功尝试"。然后把这个重标注过的轨迹当作正样本去训练。这样原本毫无学习信号的数据，瞬间变成了有价值的学习材料。

我第一次读到这个思路时，觉得有点"自欺欺人"的味道。但仔细想想，这其实非常符合人类的学习方式。一个机械臂抓杯子，第一次没抓到，但手臂移动到了一个有意义的位置，这个位置本身就是一个学习信号。它告诉智能体：从这个状态出发，你是可以靠近一个目标的。总比把所有失败数据都丢进垃圾桶要聪明太多。

1.2 稀疏奖励问题到底难在哪

要真正理解 HER 的价值，得先亲自体会稀疏奖励带来的绝望。拿机械臂抓取举例，环境给的反馈只有两个：抓到了，+1；没抓到，0。在训练初期，随机策略几乎不可能抓到物体，于是智能体收到的所有反馈都是 0。Q 网络在全是 0 的样本上训练，学到的就是"不管我怎么动，价值都是 0"，梯度趋近于零，策略基本纹丝不动。

有人会说，那不就是 reward shaping 的活吗？手动加一个距离奖励，离目标近给点正反馈，远了扣分。听起来简单，但问题非常明显：手工设计奖励函数会引入人的直觉偏见，而且很容易被智能体钻空子。比如你给"靠近目标"给奖励，机器人可能学会把头贴近目标，但手根本没动，这种 hack 行为在复杂环境里层出不穷。

HER 提供了一条完全不同的路径：不动 reward，而是动目标。它不需要你绞尽脑汁设计中间奖励，只需要一个简单的二值奖励函数——达到就给，没达到就不给。然后把"没达到"的轨迹通过重标注变成"已达到"某个其他目标的轨迹。这种做法的优雅之处在于，它把稀疏问题从根源上化解了，而不是头痛医头地补奖励。

1.3 HER 真正适用的问题边界

HER 并不是万能药，它有明确的适用前提：任务必须是 goal-conditioned，也就是说，状态空间里必须有一个可以定义的目标描述。这个目标可以是末端执行器的三维坐标，可以是一个物体的位姿，甚至可以是自然语言描述，但前提是你能定义一个"目标之间的距离"或者等价关系。

我试过的各类场景里，最典型的是机械臂末端的点位到达（比如 FetchReach）、物体推动（FetchPush）、物体抓取（FetchPickAndPlace），以及二维导航里的目标点到达。这些任务的共同点是：目标和状态在同一个空间里，或者至少存在一个从状态提取 achieved_goal 的函数。

如果你是做推荐系统、调度优化这类目标难以向量化的任务，HER 就不太能帮上忙。这一点非常重要，很多初学者拿到一个算法就往上套，结果浪费了大量时间。先判断任务类型是否符合 goal-conditioned 框架，再决定是否值得引入 HER，这是最基础但最关键的一步。

2. 算法原理与关键细节解析

2.1 目标条件强化学习的基础

在讲 HER 之前，必须先搞清楚 goal-conditioned RL 是什么。传统 RL 里，策略 π(a|s) 只依赖当前状态，目标是环境隐含设定的。而在目标条件框架下，策略变成了 π(a|s, g)，价值函数变成 Q(s, a, g)。智能体要学会的是：给我一个目标，不管是什么目标，我都能努力朝它靠近。

这种设定对人类来说非常自然。你让一个孩子"把红色积木放到蓝色盒子里"，他能理解并执行；如果你不告诉他目标，他就只能漫无目的地乱玩。目标条件 RL 的本质，就是把大量不同目标的子任务共享到一套策略参数里，大幅提升样本的利用率。HER 之所以有效，正是因为它建立在这样的框架之上。

实现层面，目标通常用连续向量或者离散表示。比如位置坐标 [x, y, z]，或者物体名称的 one-hot 编码。这里有个容易混淆的地方：目标空间和状态空间并不总是一回事。有些任务里，目标直接就是状态的一部分（比如终点坐标）；有些任务里，目标可能是独立语义（比如"开门"），需要专门的编码器。这一步没想清楚，后面做重标注时很容易出问题。

2.2 事后经验回放的完整逻辑

HER 的完整流程听起来非常简单，但实现细节决定了它靠不靠谱。智能体在环境中以某个目标 g 为指令跑完一段 episode，把每个 transition 存下来。正常回放时，这些 transition 以原始目标 g 去算 reward 并更新网络。HER 额外多做了一步操作：从已经发生过的 episode 里，随机挑一个（或多个）状态 s'，把原始目标 g 替换成这个状态对应的目标 g'，然后用 g' 重新计算 reward，再存一条新 transition 进 buffer。

关键点在于重标注的目标 g' 必须来自"实际到达过的状态"。因为实际到达过的状态就是一次"事实上的成功"。哪怕智能体没有抓到杯子，但杯子被碰倒了，这个状态变化本身就可以定义为某个子目标的成功。用这个子目标重标注后，原来的 (s, a, r=0, s', g) 就变成了 (s, a, r=1, s', g')，一个标准的正样本。同一批 transition 同时提供了两份信息，buffer 里的正样本密度大幅提升。

我在实际项目里通常是每个 transition 保留原始目标版本，再额外生成一条重标注版本。原论文里每个 transition 额外存储的条目数取 4 或 8，但我自己用下来，1:1 的比例已经能取得很稳定的效果。如果你追求极致性能，可以加大重标注比例，但要注意内存和训练开销会同步增长。

2.3 四种重标注策略对比

HER 原论文里比较了四种从 episode 中选择"实际到达状态"作为新目标的策略，我直接做了一个对比表格，方便你看清楚它们之间的差异：

我实测下来，future 策略是四种里最稳的，也基本是社区公认的默认选择。它的核心优势在于：从当前状态往后看，未来状态的可行性更强，新旧目标的差异对应的是小段运动规划，Q 网络更容易学到平滑的泛化。而 random 策略虽然多样性最高，但新目标与当前轨迹的时间关联太弱，网络很难理解"我怎么从这一步走到那么远的一个目标去"，训起来容易震荡。

2.4 为什么 HER 能做到从失败中学习

有句话说得很到位：HER 的哲学，是把失败的轨迹重新解释成"通往另一个目标的成功轨迹"。这样一来，即便智能体在某个目标上从来没有成功过，它依然能获得正反馈信号，价值函数不再是一片空白。因为对未完成目标 g 来说的失败轨迹，对另一个目标 g' 来说就是成功路径，它们以正样本形式被回放，Q 网络逐渐建立起从状态到目标的完整价值映射。

从数学层面看，HER 做的是提升目标条件 Q 函数中正样本的覆盖率。你可以想象一个二维网格地图：如果你只盯着一个终点训练，路径上大部分格子的 Q 值都是 0；HER 把各种实际到达点临时当作终点，相当于每个被访问过的格子都可能成为一次学习的锚点，价值梯度从所有访问过的点向外扩散，学习的信号密度呈指数级增加。

这也是为什么 HER 对稀疏奖励任务效果特别显著：它没有改变奖励本身，而是改变了样本的组织形式，让稀疏奖励中的"正事件"在旁观者视角下不再稀疏。很多初看原理的人会觉得这像作弊，但强化学习本来就是一个从经验中统计规律的过程，人为扩充有效经验并不是作弊，而是在提高样本的信息利用率。

3. 实操过程：在代码里把 HER 落地

3.1 环境与工具选型

如果是我现在从头写一个 HER 项目，最顺手的组合是 Gymnasium 加 PyTorch。OpenAI Gym 里有一整套专门为 goal-conditioned RL 设计的机器人环境，比如 FetchReach、FetchPush、FetchPickAndPlace。这些环境的 observation 里都自带 desired_goal 和 achieved_goal 两个字段，简直是给 HER 量身定做的实验场地。

算法后端，我会直接选 off-policy 类的方法。原论文用的是 DDPG，这是历史原因，但我在实际测试里发现 TD3 配合 HER 更稳定。TD3 的 clipped double-Q 能有效缓解价值过估计问题，target policy smoothing 又对 HER 重标注产生的高方差目标分布有天然的平滑作用。如果你是刚入门，建议第一步先在 FetchReach-v1 上把它跑通，这个环境目标是让机械臂末端顶到一个三维坐标点，维度适中，成功率可视化非常直观。

如果还要给一个快速入门建议，那就别一上来就搞仿真到真机迁移。先在仿真环境里把曲线跑出来，确认训练逻辑没问题，再谈部署。

3.2 核心训练循环伪代码

HER 的核心逻辑完全体现在训练循环里。下面这段是我基于原论文思想整理的伪代码，加了注释，你可以直接对照着理解：

# 假设已初始化 actor、critic 网络、目标网络和经验池 # env 的观察空间包含 obs['desired_goal'] 和 obs['achieved_goal'] for epoch in range(n_epochs): # 采样阶段 for episode in range(n_episodes_per_epoch): obs = env.reset() g = obs['desired_goal'] episode_transitions = [] for t in range(max_steps): action = actor.select_action(obs, noise=True) next_obs, rew, done, info = env.step(action) episode_transitions.append((obs, action, rew, next_obs, g)) obs = next_obs if done: break # HER 重标注阶段 for idx, transition in enumerate(episode_transitions): replay_buffer.store(transition) # 原始目标版本 g_her = select_future_goal(episode_transitions, idx, k=4) new_rew = compute_reward(transition.obs_next['achieved_goal'], g_her) replay_buffer.store((transition.obs, transition.action, new_rew, transition.obs_next, g_her)) # 训练阶段 for _ in range(train_steps): batch = replay_buffer.sample(batch_size) update_actor_critic(batch)

这里的 compute_reward 我强烈建议用稀疏二值奖励：如果 achieved_goal 与目标的距离小于阈值返回 0，否则返回 -1。很多人一看到稀疏就慌，总想加点距离信息当稠密奖励。但 HER 配合二值奖励效果已经足够好，甚至更好，因为稠密距离奖励会引入新的偏好偏差，反而可能破坏重标注样本的有效性。

3.3 future 策略的工程实现细节

future 策略的工程实现有一个容易踩坑的地方：取到的"未来状态"必须在时间上晚于当前 transition 的时间步。千万别在重标注时把整条 episode 未来混着过去一起随机抽，那会破坏时间因果。

下面是一段简单的实现方式：

import random def select_future_goal(episode_transitions, idx, future_k=4): # 只考虑当前时间步之后的时刻 future_time_indices = list(range(idx + 1, len(episode_transitions))) if len(future_time_indices) == 0: return None # 从未来候选中随机取一个时间步 future_time = random.choice(future_time_indices) achieved_goal = episode_transitions[future_time].next_obs['achieved_goal'] return achieved_goal

这里有一个小参数 future_k，它表示从多少个未来时间步里面选一个。原论文设的是 k=4，我自己在 Fetch 系列环境上用下来，1 到 8 都能工作，但 k 太大会让新目标离当前状态太远，Q 网络外推压力变大。我一般固定 4，如果发现成功率上不去，再考虑调到 8，同时配合适当降低学习率。

另外，重标注后的新目标并不是随便选的。如果环境里存在障碍物或者不可通行区域，新目标可能会落在不可达区域，这种目标会让智能体反复尝试穿墙，纯粹浪费算力。实际工程里我加了一条规则：新目标必须位于可通行区域内，否则丢弃这条重标注样本。效果立竿见影，训练稳定性提升了一个台阶。

3.4 训练参数建议与调优

我把自己在 Fetch 系列环境上反复调过的参数做成了一张表，你可以直接用它作为起点：

这里最关键的一点是重标注比例的敏感性。如果你把每条 transition 重标注成多个目标，buffer 里"人为虚拟轨迹"占比过高，策略会过度偏向理想化的目标达成分布，反而损害真实目标上的表现。我个人的经验是先保持 1:1，如果真实目标成功率一直上不去，再逐步加大重标注比例。训练过程中多观察验证集目标上的表现，泛化比训练成功率更重要。

4. 常见问题与排查技巧实录

4.1 训练不收敛，成功率一直趴在低位

这是我被问得最多的一类问题，也是我最早踩过的坑。出现这种情况，先别急着调网络结构，第一件事是检查 reward 是不是算错了。HER 环境里，reward 必须基于 achieved_goal 和新目标 g' 重新计算，不能用原始 reward 直接替换。很多人重标注后忘了重算 reward，导致 buffer 里存的全是"旧目标配新状态"的脏数据，Q 函数直接学疯。

我记得自己有一次整整浪费了两天，最后把 buffer 里的 transition 一条条打印出来，才发现重标注后的 reward 还是原来的 -1，根本原因就是没有重新调用 compute_reward。所以排查 HER 问题有一个万能习惯：把 buffer 里的样本打印出来，亲手算一遍 reward，看重标注后的数据是否符合预期。数据是干净的，算法九成能跑通。

4.2 目标空间设计不合理导致 Q 函数崩溃

HER 要求你能定义目标之间的距离。如果你的目标是一段自然语言描述或者一张图像，先想想 critic 怎么编码这个距离。直接拿高维图像当目标会让 Q 函数外推压力巨大，训练慢到怀疑人生。我见过很多项目卡死在这。

解决方案是先降维再当目标。图像先通过 encoder 变成低维向量，或者直接用环境的真值位姿。我在仿真里习惯用真值位姿，在真机项目里用视觉模型输出的 6D 姿态，都能正常跑。关键是把目标向量控制在 10 维以内，越简单的目标空间越稳定。

4.3 与不同类型 RL 算法的搭配选择

on-policy 算法比如 PPO 是不适合 HER 的，因为 on-policy 不依赖大规模的 replay buffer，重标注逻辑根本没有载体。HER 天生是为 off-policy 设计的，所以至少得用 DQN 一类的离散算法或者 DDPG、TD3、SAC 一类的连续控制算法。

在连续控制里，我强烈推荐 TD3。除了前面提到的稳定性和平滑性，TD3 的延迟 actor 更新对 HER 的虚拟目标分布特别友好。如果你非要死磕 DDPG，记得把 actor 学习率调低，并且降低 actor 更新频率，否则很容易反复横跳。

4.4 一个容易被忽略的分布漂移问题

HER 重标注出的目标 g' 并不一定都"可行"。比如机械臂最终停在障碍物后面，你把障碍物后面的位置当目标，智能体就会反复试图穿墙，这个目标根本不可达。我在实际项目里加了一重保险：新目标必须满足环境可行性检查，否则直接丢弃这条重标注样本。

这个问题在我做导航项目时特别明显，因为地图上有大量的墙壁和死胡同。在运动学可解性或者环境碰撞检测可以覆盖的场景里，一定不要跳过这一步。原论文没有写这个细节，但工程上不加的话，训练后期很容易爆出一个奇怪的发散曲线，怎么调都调不回来。

4.5 常见问题速查表

5. 应用场景与影响范围分析

5.1 机器人操纵：从仿真到真机的桥梁

HER 最经典的应用场景就是机械臂操纵。Fetch 系列环境里的推、抓、放任务，是 HER 最舒适的区域。在仿真环境里，它能在几十万步内学会基本的抓取策略；在真实世界，配合 sim-to-real 迁移和域随机化，HER 也能帮机器人掌握稳定的基础抓取动作。

我接触过的一个移动操作项目里，机器人要把工作台上的零件推到目标槽位。用传统的手工 shaping reward，策略经常学到"绕着目标转圈但推不准"的 hack 行为；换 HER 之后，单纯靠 achieved_goal 到目标距离做二值奖励，反而推得又稳又准。那次实验让我彻底打消了对稀疏奖励的恐惧，也让我对复杂的中间奖励设计产生了持续怀疑。

5.2 游戏 AI、导航与路径规划

除了机器臂，任何能定义"目标向量"的强化学习任务都可以尝试 HER。比如 2D 迷宫导航、游戏里的走到某个房间、足球 AI 里的传球到某个位置、城市配送里的到达某个地点。只要是 goal-conditioned 的设定，HER 都能把"未达目标的探索轨迹"变成有效的学习数据。

导航任务是另外一个特别明显的受益场景。因为导航的 goal 通常就是坐标点，和状态天然同空间，HER 几乎零成本适配。我做过一个四足机器人野外导航的仿真实验，目标点是随机生成的坐标，HER 训练出来的策略在不同目标位置之间的泛化能力，明显优于只盯着固定终点训练的策略。

5.3 影响范围与后续演进

HER 是 2018 年 OpenAI 的工作，但直到今天，它依然是稀疏奖励任务的标准 baseline，几乎所有做 goal-conditioned RL 的人都会在对比实验里跑一个 HER。后续不少工作都在它之上演进，比如把 HER 与 model-based RL 结合、与逆强化学习结合，甚至将重标注思想扩展到多智能体场景。

理解 HER 不只是一种算法，更是一种看待数据的思路：不要只盯着成功样本，失败样本里同样蕴含着大量结构信息。这种"从坏数据里挖掘价值"的思想，在大模型微调时代同样有影子——通过从"什么是不想要的回答"中学习，同样是在用失败扩展模型的边界认知。

我在实际项目里最深的体会就是，HER 是一个反直觉但极其有效的算法。每次向团队介绍它的原理时，大家的第一反应都是"这样也能行？" 但当你看到机械臂在没有任何中间奖励的情况下，从完全随机到稳稳抓取物体的那一路曲线，你一定会被这种"从失败中复盘"的思路折服。

调试 HER 的关键永远在数据。打印出重标注后的样本，亲手算一遍 reward 是否合理，确认新目标是否落在可行区域，这三个检查做完，训练大概率就稳定了。真正让 HER 发挥威力的地方，在于它让智能体具备了把每一次不完美的尝试都转化成学习信号的眼光。这种眼光，其实也是我们在日常做项目复盘时最需要的东西。