弱驱动学习：能力更弱的智能体如何让AIME成绩接近翻倍

AIME近翻倍，我第一次看到这个结论时，第一反应是不太信。以AIME这种15道竞赛级数学题组成的基准，常规微调能把成绩往上拉两三分已经值得单独发一篇报告，更别说让成绩逼近翻倍。更让我意外的是，这次的主角不是更强的大模型堆料，而是一套名叫“弱驱动学习”的协作范式——由能力明显更弱的智能体先跑一轮，反过来带着强模型答题。在大家默认“越大越强、强模型教弱模型”的当下，这个方向几乎是反着走的。

这篇文章我想把这件事拆透：弱驱动学习到底改了什么？为什么能力更弱的智能体反而能帮到强模型？AIME这个基准为什么能检验这套方法的成色？以及如果你也想在自己项目里用类似思路，有哪些细节必须先想清楚。内容会兼顾原理分析和可落地的操作建议，适合正在折腾大模型推理、Agent协作，或者对模型能力上限提升方式好奇的人。

1. 弱驱动学习到底在打破什么惯性：从“强教弱”到“弱带强”

1.1 先看看大家都习以为常的“强教弱”路径

过去几年，大模型能力传递的主流范式是知识蒸馏和模型SFT，本质上都是“强教弱”。教师模型生成高质量数据，学生模型在数据上做监督微调，把能力从大模型压缩进小模型。多智能体协作里也是一样，通常是大模型当规划器，小模型当执行器，能力高的一方负责主导任务。这种设计背后有个默认前提：能力更强的人更有资格把控方向。

这个前提本身没错，但它掩盖了一个关键事实——能力强的模型在单次推理时，会陷入自己的先验偏差。模型参数越大，学到的模式越固定，贪心解码时越容易沿着最熟悉的那条路径一路走到黑。你让它答10遍数学题，它可能10遍都用同一种错误思路，而且每一步看起来都很有道理。这时再强的算力也救不回来，因为它根本没想过还有别的方向可走。

1.2 “弱带强”的反转设定，代价更低但信号更丰富

弱驱动学习把角色完全反过来：弱智能体先跑一轮，强模型后手接棒。这个“弱”不是指绝对能力残缺，而是指在单次推理能力上不如强模型，但它天然带着两个强模型缺的东西——低成本试错，以及不同先验带来的路径多样性。

我举个例子你就明白了。一个资深专家自己写报告，通常会沿着自己最熟悉的框架一路写下去，很难察觉框架本身有问题。但如果让一个实习生先写一版，哪怕错误百出，专家看到那一版时会下意识地对照、质疑、修正，反而更容易跳出原本的思维定式。弱驱动学习本质上就是这个思路：弱智能体不追求一次答对，它负责把可能性摊开，制造一个让强模型“不得不重新判断”的起点。

1.3 反转不是无条件成立的

必须强调，这个范式不是随便找个弱模型接上去就能涨点。它成立有两个前提：强模型在目标任务上确实具备足够的知识和推理能力，只是缺一个外部脚手架；弱智能体也必须“弱而懂行”，它的错误要有结构、有方向性，而不是完全的随机噪声。数学竞赛题恰好满足这两个条件——强模型缺的不是知识点，而是更广的路径覆盖，弱模型做不了完整推导，但能提供靠谱的切入点。换句话说，这个范式更适合“能力已有、搜索不足”的场景，对真正知识匮乏的模型用处有限。

2. AIME难在哪：为什么数学推理是检验协作范式的好靶子

2.1 AIME考的不是记忆，而是结构化推导

AIME是美国数学邀请赛，15道题限时3小时，每题答案都是0到999之间的整数。它不背课本知识点，考的是组合、数论、代数、几何里的构造性思维和复杂推导。这几年它成了大模型数学推理能力的常见测试基准，原因在于它对“糊弄”极度不友好：一道题往往需要连续六七步精确推导，中间任何一个符号错了，最后答案就是错的，而且整张卷没有任何选择题可以蒙。

这一点对评估协作范式特别重要。开放式问答里，模型答个大概方向也能给一半分，但AIME只看最终整数答案，行就是行，不行就是不行。弱驱动学习如果真有效，最直观的验证方式就是看这种硬指标能不能被拉起来。

2.2 大模型在数学推理上的三种典型失效模式

我观察下来，大模型面对长链条数学题时，失效方式很集中，基本是三类。

第一类是误差累积。一步算错，后面所有推导都建立在错误基础上，链条越长崩得越彻底。第二类是自我验证缺失。模型很少回头去检查自己的中间步骤，它在解码时是“写完就算”，默认自己写的每一步都对。第三类是思维惯性。只要选中了一个方法，哪怕已经走进死胡同，它依然会顺着这个方法继续编，因为继续生成比承认方向错了更容易。

这三类问题有一个共同根源：单次贪心解码只走一条路径，模型没有机会在两个选择之间做比较判断。你给模型更多参数也没用，它依然只用一条链，剩余能力全部闲置。

2.3 为什么这套范式适合放在数学题上验证

对比一下其他任务就知道了。代码生成虽然也讲逻辑，但运行结果和报错信息能提供外部反馈，模型更容易自己发现问题。日常问答更不用提，答案本身就有很大容错空间。唯独AIME这类数学推理题，题目难、路径分支多、评价标准绝对——它逼着模型在每一步做出“换方向”或“继续走”的决策。

还有一个原因：数学题的路径分支虽然是隐性的，但有限。弱模型虽然经常算错，强模型验证起来却很容易，因为答案可量化，错误可暴露。这比其他开放式任务更方便做自动校验，也是我能相信“近翻倍”这个结论的原因之一——AIME这个基准很难靠运气刷分。

3. 弱智能体怎么“带飞”强模型：探路、深耕与校验三步链路

3.1 探路：弱智能体为啥是更好的“路径生成器”

把弱驱动学习的方法拆开看，第一环是弱模型生成多个候选解题路线。这里有个容易被忽略的优势：弱模型和强模型的先验偏差不同，它们容易犯的错误不完全重叠。强模型会按频率最高的模式走，弱模型因为训练不充分，反而更可能出现“非常规”但有时恰好正确的思路。

用强模型自己做多路生成当然也可以，但效果差很多。强模型生成的路线重复率极高，十次里有七八次是同一思路的换皮版本，多样性不够。更关键的是成本，强模型每一步生成都贵，让它铺十条路线再自己筛选，总开销会高到不可接受。弱模型生成同样数量的候选路线，成本和速度都优越得多。

我理解下来，弱模型在这一环输出的东西不是最终答案，而是三部分：切入策略、中间推导草稿、候选答案。切入策略可能是一个数论题的模数选择，或者一道几何题该不该建坐标系。这一部分要的是方向感，不要求过程严谨。

3.2 深耕：强模型拿到草稿后要做什么

第二环是整个方法的核心，也是最容易被做砸的一步。

很多第一次尝试这个思路的人，会把弱模型的输出拼到强模型的上下文里，然后让强模型“沿着草稿继续算”。这么做基本没用，因为强模型会直接把草稿当成可信事实来用——弱模型算错了，强模型就顺着错的结果往下编，最后只是把一条错误路径写得更有条理。

正确的做法是让强模型做“批判性深耕”。它拿到候选路线后，要做三件事：独立重算每一步推导，标记草稿中存疑的步骤，对候选答案给出采纳或推翻的理由。我在推演这个设计时，心里想到的提示词大概是这样的：

下面是一些候选解题路线，它们来自一个能力较弱的模型，可能包含错误。 你的任务是选择其中最有希望的路线，独立重做每一步推导。 不得直接采纳候选答案。若发现路线有问题，请指出具体哪一步出错，并给出替代路径。 最后，列出你的完整推导过程与最终答案。

关键在于“独立重做”四个字。强模型的推理能力本来就不差，它缺的不是思路，而是有人给它一个和自己默认路径不同的起点。一旦它不是在“续写”，而是在“重算”，它就会动用自己的验证能力，把草稿中的错误抓出来。这条路线的逻辑是：弱模型做不了精算，但它的模糊方向感能帮强模型绕过思维惯性。

3.3 校验：多轮反馈怎么把闭环转起来

有了多条候选路线和强模型的多份推导结果后，第三环是把它们汇拢起来做校验和筛选。

最简单的做法是答案投票。多条路线指向同一个最终答案，置信度就高；如果答案分散，就让强模型逐条解释自己为什么保留或拒绝某条路线。这一步可以被理解成把搜索过程从“深度优先”改成了“广度优先+深度验证”，本质上是用路径多样性换取单次推理精度的稳定性。

更进阶的版本是形成多轮迭代。第一轮里弱模型生成的路线被强模型否决后，否决理由可以反馈给弱模型，让它下一轮不再生成同类路线。这样做有一个好处，就是把强模型的判断力转化为弱模型的搜索信号——强模型负责挑错，弱模型负责换路，形成一个持续的“试错—判断—再试错”闭环。

多轮迭代也有代价，那就是上下文变长、调用次数变多。所以在实操中，每轮必须限制候选路线数量，通常先让弱模型给出5到10条，再让强模型只对其中得分最高的3条做深度推导。首轮过滤做得越狠，后续开销越可控。

4. 翻倍效果的两面：增益从哪来，天花板又在哪

4.1 翻倍的量级到底意味着什么

AIME满分15分，每题1分。在这个赛制里，答对数量翻倍是一个很显眼的跳变。更准确的比较是：它超过了很多人对“微调”“思考链长度”“多轮自纠正”这些常规手段的预期。因为AIME每提高1分都很难，通常意味着模型真的跨过了一类之前完全不会做的题。

从方法类型来看，这个提升大概率不是“知识增量”型，而是“路径覆盖”型。强模型的数学知识本身已经够用，差的不是知识，是它每次只会沿着一条路径探索，容易把问题做死。弱驱动学习相当于付费买了一个“路径切换器”，让强模型在更多可能的解法里重新找路。这种提升方式的好处是，它不依赖重新训练，可以直接作用于任意已有模型，迁移成本低。

4.2 增益从哪里来：三条相互咬合的因果链

第一条因果链是绕开错误路径。强模型原生推理时，一旦钻进错误方法就会一路错到底，而弱模型提供的候选路线给了它一个“重新选路”的机会。哪怕候选路线本身是错的，它至少让强模型意识到了“存在其他可能性”，而不至于在死胡同里自我感觉良好。

第二条因果链是多样性杠杆。弱模型探索代价低，可以一次性把多种切入方式都试一遍；强模型判读代价高，但判断精度高。把“探索”和“深耕”分开给不同能力的模型负责，总开销比让强模型自己做树搜索低不少。这也是这套范式在经济性上最打动我的地方——它是用便宜模型换贵模型的使用效率。

第三条因果链是外部校验。强模型的推理结果不再只由自己判断，而是会被多条路线交叉对比。这种外部信号能打破模型“自己写的推导自己永远信”的毛病，逼着它在关键处回头检查。换句话说，弱驱动学习本质上是在给强模型装一面后视镜。

4.3 天花板和适用边界

效果好不代表没有局限，这几点我建议提前有数。

第一，弱模型不是越弱越好。它至少要具备两个能力：看得懂题目、写得出有结构性的推导草稿。如果弱到只会随机生成一堆数字，那它提供的不是路径多样性，而是噪声污染。反过来，如果弱模型的能力接近强模型，多样性优势又会消失，退化成一股脑的重复计算。这里存在一个“弱而懂行”的甜蜜区间。

第二，强模型不能真的“跟着草稿走”。一旦提示词设计得不好，强模型很容易把弱模型的错误答案当成正确答案来续写，结果就是两头都错。这个问题我后面会专门展开。

第三，路径数量受上下文长度限制。弱模型生成10条路线，每条路线带草稿和自评，塞进强模型的上下文里可能就有几千个token。如果问题本身很复杂，强模型的深度推导空间反而被压缩。所以路线数量要受控，不能贪多。

5. 想复现这个思路，先把这三个实操细节抓牢

5.1 弱模型与强模型的配对逻辑

如果你准备在自己的项目里搭一套弱驱动学习，第一件事是选模型。

我的建议是，弱模型用7B到14B级别的通用小模型，数学能力过得去、指令遵循稳定即可。不要为了追求“更弱”去选一个连题目都读不懂的玩具模型，也不要选能力太接近强模型的同级别模型，那样会失去探索多样性的意义。强模型就选你手头最容易调用的综合推理强档模型，最好是长文本、长推导都比较稳的那种。

对比一下具体的收益曲线：弱模型成本每降一个量级，能承担的探索路径数量就提升十倍；强模型成本每升一个量级，它的单条推导可信度和质量也在涨。两者配对的目标是让“总成本=弱模型路径数×弱单价+强模型精修数×强单价”最小化，而最优解通常出现在弱模型大规模探索、强模型只精修一两条路线的位置上。

5.2 交互协议：怎么让弱模型的输出“被利用”而不是“被污染”

这条最容易翻车。我当时在纸上推演时发现，如果弱模型的输出没有固定结构，强模型根本不知道该怎么用，结果只会把它当成普通文本吸收进去，该错还是错。

比较顺手的消息结构是这样的：弱模型每次输出四条信息——切入策略、推导草稿、自我评估、候选答案。切入策略用来帮强模型理解“这道题从哪个角度进”；推导草稿是弱模型自己的不严谨版本；自我评估是它对草稿的置信度打分；候选答案是它猜的最终结果。四者缺一不可，缺了切入策略，强模型不知道走哪条路；缺了推导草稿，强模型没法判断弱模型错在哪一步；缺了自评和候选答案，最后做不了交叉校验。

强模型侧的提示词也要固定下来，并且一定要包含“独立重做、不得直接采纳、指出错误步骤”这三个指令。我见过很多类似方案翻车，原因只有一个：强模型被允许偷懒。大模型非常倾向于接受上下文里已有的结论，你不强制它重算，它就绝不会重算。

5.3 最容易翻车的两个环节与应对

我结合对这个方向的理解，总结实操时最常碰到的两个坑。

第一个坑是弱模型幻觉污染。弱模型面对不会做的题时，很容易自信地给出一个“看起来很像推导过程、实际上是胡说八道”的草稿。强模型如果被幻觉带偏，最后答案一定会错。应对方法是给弱模型加一条“不确定就明确说不确定”的指令，同时让强模型对草稿的每一行都做一次显式验算，而不仅仅是“看一遍觉得顺眼”。

第二个坑是多轮迭代后的成本失控。弱模型每轮生成十条路线，强模型每轮精修三条，来三轮之后，总调用量就已经不可忽视了。应对方法是把首轮过滤做狠一点，弱模型生成十条后，先不管强模型，直接用规则或另一个便宜验证器筛掉明显跑偏的路线，只留少量进入强模型精修。多轮迭代也要设置上限，一般两到三轮没收敛就换题，不要死磕。

这套“弱探索、强精修”的协作逻辑，稍微换个壳就能用在很多地方。我做代码生成实验时，试过让弱模型列出几种API调用方案，强模型再逐个验证编译结果，效果同样比单模型硬扛稳定。它的本质和数学推理没有关系，而是把“产生想法”和“验证想法”拆给两个能力不同、成本不同的模型，各干各最擅长的事。

整套逻辑看下来，我最大的感受是：我们过去太习惯把模型按能力高低排序，默认强的就应该全程主导。但弱驱动学习提醒我，能力的合理分工往往比能力的简单堆叠更重要。一个弱模型的价值不在于它能不能独立解出难题，而在于它能不能用低成本给强模型制造一个有价值的分叉点。给弱智能体找对位置，它反向带飞强模型这件事，真不是天方夜谭。