SPIRAL：自对弈与多智能体强化学习让大模型自己练出推理能力

第一次看到SPIRAL这个缩写，我第一反应是又一个把旧概念拼一起的漂亮名字。Self-Play、Zero-Sum Games、Multi-Agent Multi-Turn Reinforcement，拆开看每个我都听过，但组合在一起，想清楚之后才发现它确实切中了一个关键问题：怎么让模型在没有标准答案、没有人工标注的情况下，通过自对弈把推理能力自己练出来。这篇文章我想从项目设计、训练机制、落地参数、评测方法和踩坑经验几个方面，去聊一聊这套多智能体多轮强化学习思路到底怎么用，适合正在做推理增强、RL训练或大模型对齐方向的同学参考。

1. 项目想解决什么问题，以及为什么从零和博弈切入

1.1 推理能力训练的传统困境

过去我做推理能力增强，最常用的手段是拿思维链数据做监督微调。模型学得确实快，指令一微调，输出格式立刻变得很像样，但换个没见过的题型，它就开始一本正经地胡说八道。原因在于模仿不会真正建立因果推理，只是学会了“因为所以”的句式，内部并没有形成稳定的逻辑链路。后来换成单智能体强化学习，给最终答案打分，问题又变成奖励太稀疏。数学题对了给1分，错了给0分，中间推导过程完全没信号，梯度像在沙漠里找绿洲，模型绝大多数时候不知道自己做对了哪一步、做错了哪一步。

还有个更隐蔽的问题：推理任务很难定义“中间状态”。下棋还能数棋子的得失，写代码还能看编译结果，但开放式推理题的中间步骤往往有多种合法写法，人工很难给每一步打分。这种情况下，监督信号一旦稀疏，策略更新就会停在原地。我见过不少团队的推理RL项目，跑了一两周，曲线纹丝不动，最后只能回到监督微调的老路上去。

1.2 零和博弈为什么是天然的训练场

零和博弈恰好绕过了“中间过程难打分”的坑。它天然提供清晰、客观、可判定的奖励：一方赢，另一方必然输，不需要人工设计复杂的奖励函数，胜负本身就是最好的标签。这比在开放题上让模型自己评自己的合理性要可靠得多。

更关键的是，博弈自带“多轮”属性。玩家每一步都要根据对手最近的行动做决策，这要求模型同时做三件事：读懂当前状态、推断对手意图、推演后续若干步。下棋时只看眼前一步，对手连续两步就将死你；谈判时只盯自己目标，对方一换筹码你就崩盘。这种多轮对抗压力，正好把“推理”变成生存需要，而不是可做可不做的思考装饰。SPIRAL的底层逻辑，就是把这种压力通过强化学习转化为训练信号，让模型在一次次对抗中被迫学会长程规划。

2. 核心机制拆解：多智能体多轮强化学习怎么跑起来

2.1 自对弈框架：两个脑子，一张棋盘

SPIRAL的框架并不复杂。准备一个可交互的零和博弈环境，部署两个智能体，通常就是同一个模型的当前副本和另一个历史副本。当前玩家走一步，对手回一步，交替进行直到终局。每一步都会进入各自的观察空间，形成一个多轮的轨迹。

自对弈最核心的点在于：对手不是一成不变的，而是跟着当前模型一起变强。如果你让模型一直打一个固定菜鸟，它学到的是最优打菜鸟策略，而不是通用推理策略。等到换一个强一点的对手，之前的经验基本作废。这就像练拳，陪练水平一成不变，练出来的肌肉记忆就有明显的套路上限。只有陪练也在进步，你才不得不持续调整打法。对手池机制就是为此设计的，后面会详细说。

2.2 多轮交互中的状态、动作与奖励设计

多轮强化学习把一条完整对局当作一个episode。每一步的“动作”可以是离散的，比如选择哪张牌、哪个格子；也可以是生成式的，比如用一句话应答、提一个条件。状态信息来自环境和对手上一步动作，有时还要带上完整的历史记录，否则模型无法理解“现在为什么会是这样一个局面”。

奖励设计以最终胜负为主，辅以过程约束。下面这个表是我常用的四种信号组合：

注意，过程信号不能太密，否则模型会钻空子。我有一次给“吃掉对方棋子”加了小奖励，结果模型开始为了吃子而吃子，主动把阵型打散，最终对局胜率反而下降。过程奖励只能用来约束行为边界，不能替代胜负信号去引导高阶策略。

2.3 对抗稳定策略：对手池与熵正则

多智能体对练时最常见的问题是两个策略互相追逐，今天A克B，明天B克A，胜率像过山车。这种情况下模型学到的东西非常不稳定，可能上一轮还会的战术，下一轮参数更新后突然全忘了。

解法之一是引入对手池。保存过去N个checkpoint，每次训练随机挑一个当对手。池子越大，策略梯度越平滑，模型面对的分布更稳定，不会在某个特定对手身上过拟合。这个思路和围棋AI训练里的做法类似，本质上是把“单一对抗”变成“群体对抗”，降低策略震荡。

熵正则也是一个有效的稳定器。在生成式动作里，熵系数太大会让模型瞎探索，太小又容易坍缩到少数几个高频动作。我通常把熵系数设在0.01到0.1之间，具体要看动作空间的大小。动作空间越小，熵系数越要保守，因为模型本来就容易把所有概率集中到一条捷径上。

2.4 一个可参考的自对弈训练伪代码

下面这段伪代码是简化版流程，剥离了并行采样、梯度累积、对手池更新等工程细节，专注展示主干：

# 简化版自对弈训练循环 def train_spiral(env, policy, checkpoint_pool, episodes=10000): for ep in range(episodes): # 从对手池里采样一个对手 opponent = sample_from_pool(checkpoint_pool) state = env.reset() trajectory = [] while not env.done: # 当前玩家根据策略选动作 action = policy.act(state) next_state, reward, done = env.step(action) trajectory.append((state, action, reward)) state = next_state if not env.done: # 对手回一步，使用相同状态 opp_action = opponent.act(state, role='opponent') state, _, done = env.step(opp_action) # 用整局收益更新当前策略 policy.update(trajectory, env.reward_fn) # 定期把当前模型保存进对手池 if ep % 100 == 0: checkpoint_pool.append(policy.clone())

实际落地的关键是奖励的回传。代码里只写了“用整局收益更新”，但强化学习里需要做时域信用分配，常见做法是GAE，把终局奖励按时间衰减回传给每一步。生成式策略还特别容易概率坍缩，所以要配合KL约束，防止模型在单次更新里偏离太多。

3. 从设计到落地：关键参数与训练配置

3.1 怎么挑一个适合的零和博弈环境

不是所有零和博弈都适合训练推理，选环境比调参重要得多。我总结下来至少要满足四个条件：丰富的状态空间、多步依赖、可判定的胜负、可控的复杂度。

石头剪刀布虽然是零和博弈，状态空间只有三种，没有历史信息，没有任何推理空间。相反，简化版棋类、谈判游戏、攻防对抗，每一步的状态都依赖之前所有步，模型就必须维护一个内部世界模型去推断局面。初学者建议先找一个状态空间受限的棋盘游戏，例如5x5的棋盘，动作空间有限，但已经能逼出好几步的规划。等流程跑通了，再升级到更大的环境。

3.2 奖励塑形与课程学习的配合

最终胜负的奖励本质上是稀疏信号。在自对弈早期，两个随机策略撞来撞去，可能几十局都摸不到胜率提升的方向。我的做法是先做课程学习：先让当前模型对抗一个完全随机策略，等胜率达到85%以上，再换成一个中等级别对手，最后进入完全自对弈。这相当于先让学生打简单陪练，建立基础动作模式，再放到真实对抗里去磨推理。

课程推进的判定条件不能只看胜率，还要看平均对局长度。如果胜率高但对局长度很长，说明模型还在靠拖时间等对方犯错，不是主动规划。正确的信号是：胜率上升的同时，平均步数也在下降，说明模型开始用更高效的手段逼近胜利。

3.3 可参考的超参配置

下面这组参数来自我自己的简化版本实验，不能照搬到所有环境，但可以作为起点：

生成模型的自对弈比传统RL更吃内存，因为每一步动作生成都需要完整跑一次前向。如果你用的是7B级别的模型，最好先在一张卡上用small batch跑通，再考虑扩展。扩展时优先扩采样并行度，而不是单batch大小，这样能更高效收集对局数据。

4. 实验效果与评测：推理能力提升怎么看出来

4.1 选择评测任务

推理能力这个概念太宽泛，评测必须多角度，不能只拿一个排行榜说了算。我建议分三类：逻辑推理、数学推理、策略规划。逻辑推理可以选解谜、条件推理，数学推理选多步应用题，策略规划选带明确目标的最优路径或最优决策问题。

在SPIRAL训练后，模型在直接答案类任务上的提升可能不明显，因为这类任务本身不需要多步推演，但在需要多步思考的任务上，优势会体现出来。更重要的是，评测数据分布必须和训练环境有差异。比如训练里用的是棋盘博弈，评测却全用同款棋盘，那只是在测过拟合。

4.2 对比基线与消融实验

为了说明多智能体多轮强化学习的价值，至少要做四组对比：SFT基线、单智能体RL、固定对手RL、完整SPIRAL。固定对手RL的意思是让模型对抗一个不更新的程序，这样可以单独验证“对手也在进化”这件事到底贡献了多少。

消融实验也很关键：去掉零和博弈，只保留self-play，模型可能只会追求短期收益的重复动作；去掉多轮，只做一步决策，推理能力基本退化。这类对比能帮你确认你提升的到底是不是通用推理能力，还是单纯某个游戏技巧。我见过有人做完自对弈，把自己训练的棋类胜率刷得很高，但换到另一个策略游戏直接跌回原点，原因就是评测任务和训练环境太像了。

4.3 评测时的几个坑

第一个坑：模型可能靠长度来掩盖逻辑错误。生成式推理里，模型说了一堆废话最终碰巧出现正确结论，这种情况下不能算推理成功。评测时一定要限制输出token，或者把过长输出单独标记出来检查逻辑密度。

第二个坑：模型可能记住特定对手的惯用套路。自对弈训练出来的模型有时对同池里的对手胜率极高，换一个完全不同风格的对手就露馅。所以测试对手要从不同历史版本里抽，最好再引入一个人工设计的强策略。

第三个坑：只盯着胜率。胜率会掩盖行为退化。训练日志里建议同时记录动作多样性、平均对局步数、失败局里模型有没有尝试改变策略。如果模型的失败局全是一个固定套路走到黑，说明它没有在推理，只是在机械执行某条概率最高的路径。

5. 常见问题与排查技巧实录

5.1 训练不收敛，胜率像过山车

表现是：两个智能体轮流碾压对方，胜率在20%到80%之间来回横跳，整体没有上升趋势。定位思路很直接：策略更新太快，两个模型在玩石头剪刀布式的循环。

先做三件事。第一，把学习率降一半，很多时候参数更新步长过大，策略一晚上就跳出一个新风格，对手还没来得及适应。第二，增大熵系数，让动作概率平滑一些，减少极端分布。第三，把对手池从一个扩展到8个以上，训练数据分布立刻稳定下来。如果调整之后还是没有起色，那大概率是环境本身策略空间太小，需要增加状态复杂度，比如棋盘扩大、动作种类增多。

5.2 奖励稀疏导致训练停滞

表现是：几百局之后策略没有明显变化，rollout里几乎没有正奖励，模型动作越来越随机。原因是终局胜负信号太远，模型很难把某个具体动作和最终输赢关联起来。

我常用的排查顺序是：先用课程学习打随机对手，给模型一个“尝到甜头”的机会；再用GAE或整局蒙特卡洛回报把终局奖励分配给中间步骤；最后再考虑加入轻量级过程奖励。过程奖励一定要小，比如完成一个子目标给0.1分，不能让过程奖励盖过胜负奖励。否则模型会去刷过程分，最后产出一个看似勤快但赢不了棋的傻子。

5.3 计算资源失控

自对弈比普通RL至少多出一倍的采样开销，因为每一步都要跑两个智能体，而且多轮对话越长，每局采样成本越高。如果不加控制，很快会发现GPU让位给采样进程，整个训练节奏被拖垮。

我的建议是先用小棋盘或短回合跑通实验，验证信号存在之后再做大规模训练。采样可以用异步rollout，并行开多个环境进程，主进程只负责梯度更新。对手池里的历史版本不需要每个epoch都存，每隔几十个epoch存一个就够。如果资源还是不够，试试蒸馏路线：先用小模型探索并产生高质量对局数据，再用大模型模仿学习这些数据，把对抗信号抽出来之后，可以省掉大模型的大量在线采样。

6. 个人实操心得与扩展方向

6.1 我的实操体会

几次跑SPIRAL式的流程下来，我最深的体会是：不要把所有注意力放在奖励函数上，而要放在环境设计上。零和博弈的环境就像一块磨刀石，石头纹路不对，刀怎么磨都钝。很多失败不是强化学习算法的问题，而是游戏规则没有真正逼出推理需求。如果任务设计得足够简单，模型会用模式匹配绕过去，表现得像在推理，实际只是记住了局部规律。

另外，训练日志里不能只看胜率，建议把平均对局步数、动作多样性、失败局类型分布都记录下来。有个阶段我看胜率很高，翻出对局才发现模型只会一个固定开局，对手一旦躲开这个陷阱它就乱了。胜率骗人，行为分布才骗不了人。这个习惯后来帮我省下很多调参时间。

6.2 后续扩展方向

SPIRAL这套组合给了我不少扩展启发。多轮对抗可以迁移到辩论、代码攻防、安全压力测试、谈判等场景，本质上都是“基于对手行为做推理”的任务。还可以让多个不同尺寸、不同初始化模型的智能体互相对抗，形成非对称竞争，小模型当陪练，大模型做主力，成本可能更低。

另一个有意思的方向是把过程监督和裁判模型接进来，在终局胜负之外给出局部指导意见，帮助模型更快定位自己的推理漏洞。它本质上是一种动态红队训练，用来发现回复里的逻辑短板，再用强化学习去修补。如果你也想试，建议先选一个特别小的零和博弈环境，只要能先把自对弈训练循环跑起来，后面替换成大环境就是水到渠成的事。