一、评测军备竞赛：一张越来越大的试卷
2026年4月，BenchLM追踪188个大语言模型，横跨150个benchmark。LMMarketcap追踪351个AI模型，覆盖55个提供商。模型评测已经膨胀成一个自成体系的产业。
这个产业长什么样？
1.1 两种信号源
所有评测，无论形式多花哨，归根结底只有两种信号源：
有标准答案的——模型答，答案对，得分。MMLU的16000道选择题、MATH的数学证明、SWE-bench的代码补丁，全是这个逻辑。反馈信号明确、可自动化、可大规模运行。这是评测体系的主体。
有人类偏好的——模型答，人投票，统计谁赢。Chatbot Arena是典型：两个模型同时回答，用户盲投，Elo排名随之浮动。没有客观对错，但有群体偏好分布。这条线测的不是"对不对"，而是"你喜不喜欢"。
两种信号源各有局限，但它们有一个共同特征：反馈来自外部。要么是预设答案，要么是投票者的即时判断。这个特征决定了整个体系能测什么、不能测什么——后面会回到这个问题。
1.2 主流大类
如果把150个benchmark按能力维度分类，大致形成十几个大类。不追求穷举，只画主干：
通用知识与推理。MMLU（57个学科的16000+选择题）是引用最多的通用benchmark，但前沿模型已经饱和到88%以上，区分力丧失。MMLU-Pro是加难版，目前仍有区分力。BIG-Bench Hard测多步推理，23个任务。
数学。MATH-500是基础线。AIME（美国数学邀请赛）和USAMO（美国数学奥林匹克）测竞赛级数学能力。OlympiadBench覆盖更广的数学竞赛题。这条线分层清晰——日常数学、竞赛数学、证明级数学，不同模型在不同层被卡住。
科学推理。GPQA Diamond是博士级科学问题，非专业PhD正确率约34%。前沿模型现在超过94%，开始逼近饱和。
编程。HumanEval（164道Python题）已被饱和且存在数据污染。SWE-bench Verified测真实GitHub issue修复能力，是目前编程领域区分力最强的benchmark。LiveCodeBench用持续更新的新题对抗数据污染。
代理能力。AgentBench测多环境交互（操作系统、数据库、浏览器）。OSWorld测自主计算机操作。BrowseComp测网页浏览与信息检索。这条线是2025年以来增长最快的评测维度——从"会回答"到"会动手"。
安全与网络安全。CyberGym测真实开源软件漏洞发现。Cybench测CTF挑战。这个维度因为Mythos的发布而突然成为焦点。
长上下文。GraphWalks BFS测256K到1M token范围内的图遍历推理。RULER测长上下文的各种子能力。这个维度的关键不是"能塞多少字进去"，而是"塞进去之后还能不能用"。
多模态。SWE-bench Multimodal测代码+视觉理解。CharXiv测图表推理。这个维度在迅速扩张。
其他维度。还有多语言（Alder Polyglot）、工具使用（BFCL）、指令遵循、对话质量、安全对齐等等。每个维度下面还有若干具体benchmark及其变体。
总量：十几个大类，上百个活跃使用的具体benchmark，如果算上历史存在过的，几百个。
1.3 军备竞赛的动力学
benchmark的增殖不是随机的，它遵循一个固定循环：
新benchmark发布 → 模型刷分 → 分数饱和 → 区分力丧失 → 更难的新benchmark发布 → ...MMLU → MMLU-Pro → GPQA Diamond → Humanity’s Last Exam，每一代都是上一代饱和后的应激产物。这个循环的速度在加快——MMLU撑了两年多才饱和，HLE发布一年多，前沿模型已经突破60%。
军备竞赛的本质是：评测系统在追赶模型能力，但永远追不上。它只能事后确认"这个层级的能力已经被填满了"，然后造一个更高层级的测试。
二、三重失效
评测体系庞大、精密、持续进化——但它有三个结构性问题，而且这三个问题不是"还需要改进"，而是"在当前范式下无法解决"。
2.1 第一重：80%以上的区分力崩塌
GPQA Diamond上，Mythos 94.5%，GPT-5.4 92.8%，Gemini 3.1 Pro 94.3%。差距1-2个百分点。
在评测系统的精度内，这个差距是真实的、可测量的。但在用户的实际使用中，它意味着什么？你用20次，一个错1次，一个错1.5次。你根本分不出来哪次是模型不行，哪次是你prompt没写好，哪次是任务本身有歧义。
这是一个信息论层面的事实：分数越高，每一个百分点携带的可区分信息越少。在60%到80%的区间里，5个百分点的差距对应着明显不同的使用体验——你能感觉到一个模型"经常出错"而另一个"大多数时候靠谱"。但在85%到95%的区间里，同样5个百分点的差距被淹没在使用噪声中。
人的感知分辨率在80%左右饱和。评测系统能区分88%和93%，使用者区分不了。评测在服务模型开发者的竞争叙事，不在服务使用者的选型决策。
这就是为什么"各家差不多"在体验层面是事实——不是模型真的一样，是人的感知带宽不够了。
2.2 第二重：100%的信号污染
100%意味着什么？有两种完全不同的可能：
真懂了。模型掌握了任务背后的能力结构，在任何同类问题上都能答对。分数反映真实能力。
背完了。训练数据覆盖了测试集，模型记住了答案模式。分数反映记忆力，不反映泛化能力。
从外部观察，这两者的分数完全一样。
这个问题在整个评测体系中弥漫。HumanEval的数据污染已经被广泛记录。MMLU的训练集泄露是公开秘密。即使是较新的benchmark，从发布到被模型训练数据覆盖的窗口期也在缩短——LiveCodeBench用持续更新的新题来对抗，但这本身说明了问题的严重性。
Mythos在Cybench上达到100%，benchmark被认定为"饱和"。但"饱和"的两种含义——“能力超越了测试上限"和"测试集被覆盖”——在分数上不可区分。
这形成了一个悖论：越接近满分，分数作为信号的可信度反而下降。在70%的时候你可以确信模型还有短板；在100%的时候你无法确信模型真的没有短板。
2.3 第三重：维度盲区
前两个问题是程度问题——信号变弱了、信号可能失真了。第三个问题是存在性问题——有一个决定性的变量，在整个评测体系中完全不存在。
所有benchmark测的都是模型的能力：给定一个问题，模型能不能答对。有标准答案的测执行能力，有人类偏好的测沟通能力。但在真实使用场景中，杠杆最大的变量不是模型能不能答对，而是用户能不能提出正确层级的问题。
一个人用AI查一个函数的用法，省了5分钟。另一个人用同一个AI，重新定义了整个技术方案的架构，省了三天。工具完全相同，差距来自使用者在什么层级上理解问题、在什么层级上委托AI。
这个"委托层级"或者说"问题抽象度"——在150个benchmark中，没有任何一个在测量它。
原因很简单：它没有ground truth。没有标准答案能告诉你"你应该在更高的层级上提问"。没有投票能衡量"这个人的委托层级是否匹配了他的真实需求"。评测系统只能测量它有外部反馈信号的东西，而委托层级的反馈信号在使用者自己的认知结构内部——对外不可见、不可量化、不可自动化。
三、三重失效叠加：每个人摸到的不是同一头象
把三个问题放在一起看：
- 80%以上区分不出差距——用户层面"各家差不多"是体感事实
- 100%附近信号失真——最高分可能是最不可信的信号
- 委托层级完全不被测量——真正决定杠杆大小的变量在评测体系中不存在
这就解释了一个广泛存在的现象：同一个AI工具，在不同人手里，产出的差距大到离谱。而且这个差距不会被任何现有评测捕捉到。
一个用户觉得"AI不过如此，各家都差不多"——在他的使用层级上，这完全正确。日常代码、普通问答、信息查询，前沿模型之间的差距确实已经被感知噪声淹没了。
另一个用户觉得"AI改变了我工作的方式"——在他的使用层级上，这也完全正确。他在架构设计、方案规划、问题重定义的层级上委托AI，杠杆率是前者的10倍到100倍。
他们不是在争论谁对谁错。他们在摸同一头象的不同部位，各自描述的都是真实触感。
而评测体系——150个benchmark、188个模型、军备竞赛一般的分数增长——只能看见模型之间的差距，看不见用户之间的差距。它在优化一个对大多数用户已经失效的信号（模型在标准测试上的分数），而真正决定使用体验的那个变量（用户的委托层级），不在它的测量范围内。
四、那该怎么看评测？
评测不是无用的。它的价值在于三件事：
划定最低门槛。如果一个模型在SWE-bench上低于50%，你在复杂编码任务上大概率会频繁碰壁。评测在60%-80%区间内的区分力是真实的，能帮你淘汰不够格的模型。
追踪能力边界的移动。MMLU饱和了，说明"本科水平知识问答"这个层级被填满了。GraphWalks BFS分数飙升，说明长上下文推理能力出现了跃迁。你不需要关心具体分数，但分数的突变模式（哪些维度在快速提升、哪些维度仍然分散）告诉你能力边界在往哪移动。
检测异常信号——但要分辨信号来源。评测作为异常检测器比排名工具更有价值，但前提是你得区分两种榜单。
第一种是独立第三方的新benchmark——比如GraphWalks BFS，题目新、还没被训练数据覆盖，模型在上面的分数有一个"窗口期"是可信的。Mythos在GraphWalks BFS上80% vs GPT-5.4的21.4%，这种异常尖峰出现在新benchmark上，信号含金量高——它标记了"这里发生了非常规的事情"，值得认真对待。
第二种是模型厂商自己出的榜单——既当运动员又当裁判。出题的是自己，考试的也是自己，分数高了到底说明能力强还是说明题目是按自己的强项定制的？这类"野鸡榜单"在行业里不少见。判断标准很简单：出题方和参赛方是不是同一家？题目是否公开、可复现、有第三方跑过？如果一个模型只在自家榜单上遥遥领先，在所有第三方评测上表现平平——那个分数大概率是噪声，不是信号。
但评测做不到一件事：告诉你，你和AI之间的真实距离在哪里。
这个距离不在模型的能力曲线上，而在你的认知地图上。你的认知地图里有多少层级、你能看见多高的抽象层、你是否知道可以在那个层级上委托——这些决定了你能从AI那里获得多大杠杆。而这些东西，150个benchmark一个都测不了。
五、结语
评测军备竞赛会继续。模型分数会继续涨。新benchmark会继续出现然后继续被饱和。这个循环本身就是"填满"的一种表现——已知评测空间正在被穷举式地填充。
但真正值得关注的变量不在这条赛道上。
工具在趋同，分数在饱和，评测在增殖。当这些东西越来越"差不多"的时候，唯一不会趋同的，是使用工具的人在什么层级上理解问题。
评测体系测的是模型的天花板。但AI的天花板不是模型本身——是使用者的认知。而这个天花板，不在任何一张试卷上。
