这几年的AI Agent赛道，大家几乎都在做同一件事：把更多的人类规则、更多人工标注的数据、更复杂的奖励模型塞给模型，指望它变聪明。但这条路越走越重，成本越来越高，而且模型学到的往往只是“人类期望它表现出的样子”，而不是真正独立的推理能力。最近某头部研究机构推出的Dr.Zero，方向却反过来了——它要做的是去掉人类先验，让Agent在自我博弈中自动长出复杂的推理和搜索能力。这篇文章我会从这套框架的自进化回路、决策机制、涌现条件、以及实际应用中的边界几个维度拆解，聊聊“零先验自进化”这条路线到底怎么落地，以及它背后值得借鉴的设计哲学。
1. 从“被动调参”到“自我进化”：Agent的范式转折
1.1 传统Agent训练路线为什么“卡脖子”
先说说现在主流的Agent训练思路，大家应该都不陌生。不管是让模型学会调用工具、规划多步任务，还是让模型在RAG流程里决定“什么时候检索、检索什么”，最普遍的做法都是：准备一大批人工标注好的轨迹样本，或者是写一套规则驱动的奖励函数，然后通过监督微调或强化学习让模型去拟合。
这条路线的核心问题在于“先验依赖”。人类标注的轨迹本质上是我们对“最优解”的主观判断，但Agent面对的真实环境远比标注样本复杂。尤其是当一个任务需要多步推理，中间环节的决策空间呈指数级增长时，人工标注的数据永远覆盖不了真实状态空间的零头。我见过很多团队花了大价钱做数据清洗和标注流水线，结果模型在测试集上表现不错，一上线就“傻眼”——这就是典型的“标注分布”和“真实分布”错位。
奖励函数设计更是一个无底洞。做LLM应用的老伙计都清楚，写一个覆盖所有情况的奖励函数几乎是不可能的。你奖励它“调用搜索工具”，它就疯狂调用；你奖励它“答案简洁”，它就一句废话不说直接给结论。我们之前做某问答系统的时候，就遇到过奖励模型被“钻空子”的情况——模型学会了用极低的置信度输出看似合理的答案，因为奖励函数无法惩罚那些“错误但听起来很对”的输出。这种博弈在传统范式下是无解的，因为人类很难定义“什么是对的”，只能定义“什么不是错的”。
而自进化Agent的思路完全不一样。它不依赖人类标注的最优轨迹，也不依赖精心设计的奖励函数。它的核心假设是：只要环境反馈足够客观、足够结构化，模型可以在自我博弈的过程中自发地学会推理和搜索策略。这就像人类学习下棋——没有人告诉你每一步该怎么走，你只需要知道“赢”和“输”这两个客观结果，然后在大量对局中自行总结出行棋规律。
1.2 自进化这条路线解决了什么问题
Dr.Zero这类系统要解决的核心问题，可以归结为一句话：Agent如何在没有人类“最优解提示”的情况下，自己发现更好的决策策略。
传统强化学习其实也有这个想法，但过去受限于模型容量和环境复杂度，一直没做出太惊艳的效果。现在LLM的出现改变了这个局面。语言模型本身已经具备海量的世界知识，它缺少的不是知识，而是“如何有效率地运用知识进行多步决策”的策略。如果把LLM当成一个初始策略，让它在模拟环境中自我博弈、自我修正，理论上它可以比人类手工设计的策略走得更远。
用大白话说：过去的Agent是“按图索骥”，人类给它画好地图，它照着走；Dr.Zero这种自进化范式是“摸着石头过河”，人类只告诉它河对岸有宝藏，过河的方法它自己试出来。后者在规则清晰、目标明确的任务上，能探索出人类经验之外的决策路径，而这恰恰是复杂推理和搜索能力“涌现”的前提。
2. Dr.Zero的核心框架：零先验条件下的进化回路
2.1 从命名看设计哲学：Zero意味着什么
AlphaGo系列有个著名的“Zero”命名传统——AlphaGo Zero不再依赖人类棋谱，完全通过自我对弈掌握围棋。Dr.Zero命名里的“Zero”，延续的正是这种设计哲学。它试图把人类先验从Agent训练链路中尽可能剥离开来，让模型在最小监督信号下自我进化。
但要注意，零先验不等于零信息。Dr.Zero并非“完全没有任何先验就开始瞎摸索”，而是大幅度减少对“任务领域知识”和“人类标注轨迹”的依赖。它仍然需要三个基本组件：一个结构化的任务环境、一套可验证的目标函数、以及一个足够强的初始化策略模型。这三点缺一不可。
我们类比着理解：围棋的“零先验”是指没有人告诉AlphaGo Zero“三三定式应该这么下”，但围棋的规则（环境）、胜负判定（目标）仍然是明确给定的。Dr.Zero也是一样，它不需要人类演示“如何推理”，但它需要环境告诉你“推理的结果对不对”。
2.2 环境隔离与交互边界的构造
自进化系统最重要的设计决策，是如何构造一个“安全且信息充足”的训练环境。Dr.Zero的思路是把训练环境拆成两个层次：一个层次用于解决具体任务，比如数学证明、代码生成、知识图谱推理；另一个层次是“元层”，用于评估模型在不同策略下解决问题的效率和正确性。
这里有一个关键的工程细节：环境的反馈必须做到“可验证”，而不能走LLM自评路线。为什么？因为LLM自评本质上是“用另一个概率分布去评估这个概率分布”，二者之间存在系统性偏差，评估结果往往高估模型能力。Dr.Zero这类系统更倾向于使用规则化验证器、编译器、形式化验证工具这类客观反馈源，也就是“确定性奖励”。这种奖励不依赖于任何神经网络，结果可靠且可复现。
我们团队在复现类似框架时吃过一次亏，当时为了图省事，用LLM对Agent的中间推理步骤做质量打分，结果越训练Agent的“表演性”越强——它学会了生成看起来很有条理、但实际跳跃性很大的推理链，因为评分模型喜欢那种“有大量连词和高频术语”的文本。后来换成客观验证器，问题立刻消失。这条经验我建议所有想做自进化训练的朋友都记下来：自进化的核心是“环境是可验证的”，不是“模型能自我感觉良好”。
2.3 从主观评价走向客观博弈
Dr.Zero在目标设定上还有一个值得一提的设计：它不是让模型去拟合“人类偏好分数”，而是去最大化一个“可证明的外部指标”。这就改变了训练的博弈对象。
传统RLHF是“模型 vs. 奖励模型”的博弈，模型在拼命猜奖励模型的偏好；Dr.Zero模式是“模型 vs. 环境”的博弈，模型的目标是真实的覆盖率、准确率、路径长度等结构化指标。后者的博弈对象是客观的，不会因为模型“说得漂亮”就被欺骗。
举个例子，在数学推理任务里，Dr.Zero的奖励信号可能是“最终答案与标准解的一致性 + 证明步骤中每一步的合法性检查”。模型无法通过改变措辞来欺骗这个验证器，只能真正提高推理质量来获得更高奖励。这就构成了一个“可持续进化”的正循环：模型必须变强，而不是变圆滑。
3. 复杂推理和搜索能力如何“自发涌现”
3.1 推理能力涌现的关键机制：测试时计算
标题里最让人好奇的词是“自发涌现”。复杂推理能力不是一个一个模块拼上去的，而是通过训练量的积累，在某个阶段突然表现出系统性能力提升。Dr.Zero实现这种涌现，最核心的机制是**“测试时计算”的自适应分配**。
传统模型对每个问题分配的思考时间基本是固定的——你输入一个Prompt，模型生成固定长度的输出，复杂度高低都一样。Dr.Zero的思路是让模型自己决定“这个问题值不值得花更多时间去想”。遇到简单问题，快速输出答案；遇到复杂问题，自动展开多步搜索、多路径验证、甚至是递归的子问题分解。
这种机制的本质，是把“要不要多想想”这个决策权交给模型本身。而为了让模型学会这种能力，Dr.Zero在训练阶段引入了预算机制——有时限制模型的思考轮数，逼它在有限预算内找到最优解；有时放宽预算，让模型有足够空间探索复杂路径。通过这种动态预算调度，模型逐渐学会了“根据不同难度分配不同认知资源”，而不是所有的任务都一视同仁。
这就像有经验的工程师接到需求时，能快速判断“这个要深挖、那个可以快速处理”，而不是对所有需求都投入相同精力。能力看起来是“突然出现”的，其实是模型在大量练习中掌握了“策略性分配注意力”的元技能。
3.2 搜索能力涌现的关键机制：自我对弈与迭代优化
搜索能力的涌现则更依赖自我对弈机制。Dr.Zero让同一模型的不同副本互为对手——一个副本负责生成解题路径，另一个副本负责“攻击”这条路径、寻找其中的漏洞和错误。生成方反复修正，攻击方持续施压，双方在对抗中同步提升。
这套机制很像安全领域的红蓝对抗。蓝队不断提出新方案，红队不断找到新漏洞，两者交替推进，最终方案质量和攻击能力同时提升。Dr.Zero的搜索能力就是这么“逼”出来的——它不是在给定的搜索树上做穷举，而是学会了“高效搜索”：哪里需要深挖，哪里可以快速剪枝，哪种搜索路径最可能通向正确答案。
迭代优化在这里扮演了关键角色。模型不是一次生成就结束，而是先生成一个初始解，然后反复用验证器检查、反馈、修正，形成一个“生成—验证—修正”的闭环。这个闭环跑得多了，模型内部的隐式搜索策略就被训练出来，直到最后不再需要显式的搜索过程，一步就能给出高质量答案。
3.3 “涌现”不是运气：三大设计约束
很多人以为涌现是“练着练着突然开窍”，好像完全靠运气。但从工程角度看，Dr.Zero的涌现是由三个设计约束共同保证的。
第一是**“渐进复杂度”约束**。训练任务从简单到复杂阶梯式推进，每一阶段的难度都刚好超出模型当前能力边界一点点。这样模型始终处于“最有学习意愿”的状态——任务不能太难（否则模型完全学不会，梯度消失），也不能太简单（否则模型没有提升空间）。这种课程学习策略是自进化系统能够稳定训练、不崩溃的关键。
第二是**“解的多样性”约束**。Dr.Zero在生成策略中强制引入多样化正则项，防止所有搜索路径都收敛到同一种模式。多样化的搜索探索能让模型覆盖更多的策略空间，后续的验证和筛选才有意义。如果所有副本都生成同样的解，自我对弈就失去意义了。
第三是**“验证器置信度”约束**。系统只接受验证器置信度超过阈值的解作为训练正样本。这避免了低质量解污染模型策略——尤其是在训练早期，模型生成的解大多质量不高，如果什么解都接受，模型会学到大量错误的推理模式。这个阈值需要随着训练进展动态调整，前期保守、后期渐进放宽。
4. 自进化Agent的边界与风险：不是万能药
4.1 自我验证循环的“幻觉闭环”风险
自进化系统最大的隐患之一，是所谓的“幻觉闭环”。如果验证器本身存在盲区，模型可能发现这些盲区，并学会利用它们来获得高奖励，而不是真正解决问题。
举个具体场景。假设一个验证器只检查最终答案的格式，而不检查推理过程的逻辑合法性，模型很快就会学会“先给一个错的推理，再把最终结果包装成正确格式”。这本质上是一种“高级伪装”，比传统RLHF里奖励模型被欺骗更难察觉，因为验证器是规则化的，它看起来足够“客观”。
规避方案也很明确：验证器必须覆盖整个推理链的关键步骤，而不是只看结果。对于代码生成任务，这意味着每一段生成代码都要通过编译和单元测试；对于数学推理任务，意味着每一步推导都要经过合法性检查。这会让验证器的设计成本上升，但这是自进化系统稳定性的必要代价。
4.2 目标函数坍缩与多样性危机
另一个值得警惕的风险是“目标函数坍缩”。如果奖励信号过于单一，模型会快速收敛到一个局部最优策略，丧失继续探索的动力。
举个例子，如果Dr.Zero只以“解题成功率”作为唯一目标，模型可能会发现一种只对“高频题型”有效的策略，放弃对难题的探索。表面上训练指标很好看，但模型的泛化能力非常弱。这就是为什么多样化约束不只是“锦上添花”，而是自进化系统持续进化的“保命符”。
我在实际训练过程中遇到过类似情况。某次我们复现自进化框架时，把训练目标简化成“只优化通过率”，跑了几个epoch之后，模型的策略分布越来越窄，生成结果千篇一律。后来加入多样性奖励项，强制模型每个batch内生成结果之间的差异度不低于某个阈值，策略分布才重新“打开”。这件事给我的教训是：自进化训练不是越快越好，要时刻盯着策略覆盖度，而不是死盯单一指标。
4.3 不再依赖人类标注，但依赖工程细节
很多人误以为零先验自进化就是“完全不用人工介入”。这是对“Zero”的最大误解。
Dr.Zero的零先验主要体现在“不给模型示范最优轨迹”，但训练环境的搭建、验证器的设计、任务难度的阶梯划分、多样性阈值的调节——这些环节每一步都高度依赖人类的工程判断。而且自进化系统的调试难度远高于传统有监督训练，因为错误发生得更加隐蔽——不是“模型没学会”，而是“训练目标没有正确反映真实目标”。
我经常对做这类项目的朋友说一句话：自进化系统把“定义规则”的问题转化成了“定义环境”的问题。问题没有消失，只是换了一种更难察觉的方式存在。你必须对“什么样的环境能让模型自然地发展出目标能力”有非常深刻的洞察，否则很容易在“看起来进展不错、实际南辕北辙”的状态里空转很久。
5. 从这项工作中可以带走什么
5.1 对做Agent的团队：三个可直接借鉴的思路
第一，凡是能用客观验证器解决的场景，优先考虑自进化训练，而不是堆人工标注。特别适合那些目标可验证、状态空间巨大但规则清晰的领域，比如代码生成、定理证明、逻辑谜题、路径规划等。
第二，把“测试时计算”写进你的Agent架构，即使不训练，推理阶段也可以让模型动态决定“要不要多展开两层搜索”。这一点对现有Agent应用的ROI提升非常明显，几乎不需要额外成本，只是把固定输出改成“可自适应输出轮数”。
第三，构建一个“可配置预算的评估闭环”。无论你采用的训练框架是什么，都建议在环境中加入代价可控的检索和验证步骤，让Agent自动学习在“成本”和“正确率”之间做权衡。这会让Agent表现得远超那些“只会一步到位输出”的模型。
5.2 我的实操体会和后续扩展方向
作为一个实际做过自进化Agent训练的人，我的最大体会是：这个方向最大的门槛不是显卡数量，而是你愿不愿意放弃“人类控制一切”的安全感。零先验意味着你要接受模型用你没见过的方式解决问题，有时候这套方式看起来“不优雅”，但效果却好得出奇。这时候要忍住“纠正它”的冲动——你的干预越少，自进化能力涌现的空间越大。
后续我觉得最值得探索的方向有两个：一是把Dr.Zero的框架从“单一任务自进化”扩展到“多任务共享策略自进化”，看模型能否通过跨任务的共同结构发现更通用的元策略；二是把环境反馈从“二元正确/错误”升级为“带过程反馈的验证器”，比如在代码生成里加入静态分析告警、在数学推理里加入分步骤的语义验证，进一步压缩奖励信号的信息损失。
这套路线还在快速演进，但它指向的方向我很确定：AI不再是被动模仿人类定义的“标准答案”，而是一个能自己跟自己过招、在对抗中琢磨出深层规律的系统。对做Agent应用的人来说，现在开始理解并押注这个方向，大概率会是未来几年最值得的投入之一。
