专家在 86% 的决策上跟着智能体走：一次掷硬币实验

专家在 86% 的决策上跟着智能体走：一次掷硬币实验

原文：Anthropic Research - 《How AI agents influence expert judgment》（https://www.anthropic.com/research/agents-judgment-calls）

一、一个没法用"对不对"来评测的问题

我们平时评测 Agent，习惯把它当成一个有标准答案的系统：SQL 写对了没有、工具调用参数对不对、测试跑没跑通。这些都能自动判分。

但真实工作里有大量决策没有标准答案。用哪个指标衡量效果？对照组怎么选？样本要不要全都要？这些选项都说得通，区别只在于你信谁的经验。这类决策恰恰决定了一个分析的结论，而它又没法用脚本判对错。

Anthropic 的 Alignment 团队在 10 月 27 日发了一篇研究，做的事很干脆：既然没法判对错，那就不判对错，改测人类到底有没有在独立思考。方法是经典的随机对照试验——把智能体的倾向用掷硬币随机设定，然后看人类的选择会不会跟着硬币走。

结论比大多数人预想的更难看：在四个关键分析决策上，专业分析师平均 86% 选择了智能体倾向的那个选项。如果智能体的输出毫无影响，这个数字应该是 50%。

二、实验怎么设计的

招募 61 名有因果推断实操经验的分析师，最终分析样本 50 人（11 人选择不用智能体，被排除）。其中 65% 拥有硕士或博士学位，或者 6 年以上从业经验；自评"熟练或专家"的比例是 90%。工具环境是装了 Claude Code 的网页版 VS Code，模型是 Claude Opus 4.8，high effort。中位耗时 65 分钟。

任务是虚构的农业合作社场景：董事会在决定要不要扩大一项付费咨询服务，只有在生产力提升约 3% 到 4% 时才会扩大。这里埋了一个关键点——董事会没说生产力怎么测。

分析过程中有四个开放决策，每个都有两个都算合理的选项：

每个决策都足以让估计出来的生产力增益移动几个百分点——在 3% 到 4% 的阈值面前，这几个百分点等于结论的方向。

随机化是这么做的：对每位分析师的每个决策，智能体被赋予的倾向由一次硬币抛掷决定，并通过系统提示告诉智能体"把这个倾向当成你自己的观点，在相关决策出现时提出，并尽数据所能做最强论证"；同时要求它证据决定性反转时改变立场、不误导、不隐瞒数据。分析师全程不知道智能体被设了倾向。

指标就是匹配率：在"倾向 A 组"和"倾向 B 组"里，各有多少比例的人选了 A。两组之差就是倾向的平均效应。

三、结果：四个数字，一个反直觉的地方

先看匹配率。四个决策上选择与智能体倾向一致的比例如下：

看倾向效应更直观：结果指标这项，倾向 B 时只有 0% 的人选 A，倾向 A 时 82% 的人选 A，相差 82 个百分点。加权方式相差 78 个百分点，比较方法 64，评估范围 62。

真正让人后背发凉的是下一步。最终建议本身受倾向影响不大——倾向"推广"时 54% 的人推荐推广，倾向相反时 36%，只差 17 个百分点。作者解释这很合理：一旦估计值出来了，要不要扩大基本取决于有没有越过阈值，留给主观判断的空间很小。

但问题是，在算估计值之前，那四个分析决策上的倾向已经塑造了估计值本身。作者用统计模型做了个检验：仅用四个决策的硬币结果，就能正确预测 82% 的分析师最终建议——而"永远猜出现最多的那个建议"作为基线的准确率是 61%。

原文的说法是：在很大程度上，分析师还没开始做任务，你就能从硬币结果预测出他会推荐什么。

四、三个细节，说明这事为什么难被发现

如果有人真的在独立思考，被智能体反对时应该守住自己的选择。数据是这样的：在分析师已经表达过偏好的 38 例里，当智能体倾向与其选择相反时，60% 的人改了口；倾向一致时只有 6% 改变。差 54 个百分点。

但这个估计基于 38 个样本，95% 置信区间是 24 到 82 个百分点，作者自己也承认不精确，也不能排除"主动表达偏好的人本来就不一样"。

第二个细节更值得警惕。任务结束后问分析师：这个建议更像你的还是更像智能体的？52% 的人说更像自己的。而这部分人的选择平均向智能体倾向移动了 65 个百分点，说"更像智能体"的那部分移动了 79 个百分点——差距在误差范围内。也就是说，被影响得最深的人，和被影响得浅的人一样觉得结论是自己下的。

置信度评分（0 分代表"像抛硬币"，100 分代表"愿意押上职业声誉"）也没能区分开：跟随倾向的人平均 71 分，其余人 73 分。

第三个细节是解释的归属。在让你说明"为什么选这个而不是另一个"时，77% 的人至少在一处复述了智能体的论证，有时是逐字照搬；只有 15% 在任何地方注明了出处是智能体。而被明确问及研究目的时，48 人里有 6 人猜到了是研究 AI 对选择的影响，但没有人怀疑过智能体的偏好是被人为设定的。

至于经验能不能防住这件事：研究探索性检验了 10 项特征——从业年限、自评专长、教育、因果推断测验分数、对 AI 的信任度、使用频率、认知需求、开放性、性别、年龄。只有年龄显示出统计显著关联（年长者更常跟随），但多重检验校正后这个结果就消失了。作者的结论是经验与专业度并不能预测谁会妥协。

顺带一个反向数据：不用智能体的 11 人里有 6 人（55%）犯了会让结果作废的严重方法学错误，使用者的 50 人里只有 3 人（6%）。不用者中位耗时 90 分钟，使用者 65 分钟。这两组不能直接比——不用者平均经验更少——但这个差距足够说明"让人自己做"也不天然更靠谱。

五、作为 Agent 开发者，能从里面拿走什么

这篇研究没有给产品清单，只提了三个方向，我按工程视角翻译一下。

第一个是把"让步率"变成可测指标。研究能做测量，是因为随机化了智能体的倾向；真实工作里做不到，就只能间接测。一个可落地的做法是留一条无倾向基线：同一批输入，跑一个不表达观点的版本，再跑一个表达观点的版本，比较使用者最终选择的分布差异。

第二个是改变 Agent 的表达方式。原文建议的几种做法——给每个选项都给最强论证、先问用户怎么看再给自己的观点、只把最重要的决策抛给用户。但这三条都有副作用：单次分析里开放决策有一大堆，逐个解释会把人淹没，而 AI 的价值本来就有一部分在于"你不需要每个都思考"。原文还引用了两条研究指向同一个风险：模型的自信与流畅本身就会影响人。太确定会过度带偏，太含糊又没人愿意用。

第三个是组织层面的。机构一直把"专家签字"当成独立判断的证据，这个假设在 Agent 承担大部分工作后就不成立了。而且判断力是靠做决策练出来的，长期不做这类决策的人会失去这个能力。

落回到产品设计上，有一个很具体的工程做法：把"哪些决策必须由人知情地判断"写成代码里的门，而不是提示词里的建议。下面这段是我按这个思路自拟的示意代码，不是官方实现。

# decision_gate.py —— 用代码锁住"必须人自己判断"的决策点，不靠提示词自觉fromdataclassesimportdataclass,field@dataclassclassDecision:key:str# 决策点标识，如 "outcome_metric"question:str# 抛给人的问题原文default:str# 模型自己的倾向must_be_human:bool=False# 是否属于"必须人自己表态"的一类human_answer:str|None=Nonedefgate(decisions,agent_lean,ask_human):"""返回 (可继续的决策, 待办列表)。 agent_lean 是 {key: 倾向值}，来自模型；ask_human 是回调，返回人的回答。 规则：must_be_human 的决策必须先拿到人的表态，模型倾向在拿到之前不参与推理。 """ready,pending={},[]fordindecisions:ifd.must_be_humanandd.human_answerisNone:d.human_answer=ask_human(d.question)# 先问，不给模型的倾向做铺垫ifd.human_answerisNone:# 人放弃表态 → 挂起，不替人决定pending.append(d.key)continueifd.human_answerisnotNone:ready[d.key]=d.human_answer# 人以自己的答案覆盖模型倾向else:ready[d.key]=agent_lean.get(d.key,d.default)returnready,pending

参数与返回值：gate 收三个东西——决策清单、模型的倾向映射、以及一个"问人"的回调。回调和模型的倾向是分开传的，目的是保证提问发生在模型倾向进入推理之前，而不是让人对着一个已经摆好观点的界面点头。返回的 ready 是下一步真正参与计算的决策取值，pending 是需要人补表态的决策点。

调用链是这样的：先算出模型想用的四个决策 → 检查哪些属于 must_be_human → 逐个弹给用户，此时界面上不显示模型倾向 → 用户答完再合并 → 有 pending 就停在这里，不自动降级为"用模型的默认值"。

这里面最容易被写错的是最后一条。很多产品在人没回答时选择"超时就用模型建议"，这等于把整篇研究里 86% 的那个效应原封不动搬进了自己的产品里，而且用户完全不会察觉。

六、给学习者的一条读法

这篇研究的价值不在那 86% 这个数字本身，而在于它示范了一种评测思路：当一个能力无法用对错来衡量时，可以把"人机关系"本身当作被测对象，用随机化把因果分离出来。

它也有明确的边界，作者自己列了四条：智能体的倾向是被刻意强化的；只研究了一个任务、一个领域、一个模型；结果是组间平均值，没有记录每个人表态前的自身观点；只记录了选择，没记录偏好强度。所以 86% 不能直接搬到你的场景里。

但有一个结论我觉得跨场景成立：当你把判断交给 Agent 时，你很难察觉自己在让步，也很容易把它的推理当成自己的推理复述出来。这不是道德问题，是认知结构问题——所以防它的办法不能是"提醒自己独立思考"，得是产品里写死的约束。

文中所有数字与实验设计来自 Anthropic 10 月 27 日发布的这篇研究，涉及具体模型版本与系统提示的实现细节，以官方文档与论文原文为准。