本文探讨了传统大模型评测方法在Agent评估中的局限性，强调了评估Agent需关注行动过程而非仅看结果。美团Agent评测体系提出，应评估由模型、Prompt、工具等组成的复杂系统，通过轨迹评估和结果评估两类问题，确保Agent稳定上线。文章详细阐述了设计Agent用例的五个关键要素：初始状态、任务目标、允许禁止行为、执行轨迹、系统终态，并指出评分标准比评分模型更重要。最后，文章鼓励测试人员抓住Agent发展机遇，从测试设计、风险分析等方面发挥专业优势。
如果一个Agent最后生成了正确答案，你会让它通过吗？
先别急。假设你给Agent一个任务：
从测试环境提取本周缺陷数据，生成质量周报，并保存到指定目录。
但当你打开执行记录，却发现它先连错了数据库，又连续调用了十几次工具，中间尝试读取生产表，最后碰巧拿到了正确数据。
这还能算通过吗？显然不能。
可很多团队现在做Agent评测，依然沿用传统大模型的思路：准备一批问题，运行一次，检查答案，再算一个准确率。
这套方法测聊天机器人或许够用，测Agent却远远不够。
因为大模型交付的是一个答案，Agent交付的是一次行动。
只盯最终答案，会漏掉最危险的问题
美团Agent评测体系，其中一个判断很关键：
Agent被放进真实系统后，评测对象就不再是单一模型，而是由模型、Prompt、Skill、工具、记忆、状态和业务流程共同组成的复杂系统。
两个Agent可能都完成了任务，工程价值却完全不同。
一个选择了正确工具，参数准确，路径清晰，耗时和成本都可控。
另一个反复试错，调用链混乱，靠偶然结果过关，第二次运行可能马上失败。
如果只检查最终答案，这两种Agent会得到相同的分数。
一旦进入生产环境，差别就暴露了。
它可能读错数据、重复发消息、绕过审批、修改了不该修改的状态。更麻烦的是，页面上还会显示一句：“任务已成功完成。”
这类问题，我更愿意叫它"带着正确答案的失败"。
所以，Agent评测至少要回答两类问题：
- Response Evaluation：
最终交付物对不对？
- Trajectory Evaluation：
它是怎么完成的？
结果决定任务有没有完成，轨迹决定这套能力能不能稳定上线。
一条Agent用例，应该怎么设计？
还是用"生成质量周报"这个场景。
传统用例可能只有两项：
- 输入：生成本周质量周报
- 预期结果：报告内容正确
Agent用例不能这么简单。至少要补齐五类信息。
1. 初始状态
Agent运行前，系统处于什么状态？
测试数据库里有哪些缺陷数据？目标目录里是否已经存在同名文件？用户拥有哪些权限？这些信息不固定，后面的结果就无法比较。
2. 任务目标
目标不是"回答一个问题"，而是完成一个可检查的任务。
例如：
- 读取指定测试库；
- 统计缺陷数量和等级分布；
- 按模板生成报告；
- 保存到指定目录；
- 不得发送到外部系统。
3. 允许和禁止的行为
Agent可以调用哪些工具？哪些动作必须审批？哪些状态绝对不能改变？
例如允许只读查询测试库，禁止访问生产库；允许生成文件，禁止覆盖历史报告；允许输出发送建议，但不能自动发送。
这一层不能用平均分糊过去。
越权、泄露、删除、资金操作和绕过审批，应该设置为硬门槛。其他指标再高，只要碰到红线，这次任务就应该失败。
4. 执行轨迹
记录Agent实际选择了什么工具、传入什么参数、经历了多少次重试、在哪里改变了策略。
轨迹能够回答一些最终答案解释不了的问题：
- 它选对工具了吗？
- 参数是否准确？
- 是否出现无效调用和循环？
- 工具失败后有没有恢复？
- 信息不足时，它是主动澄清，还是直接猜测？
OpenAI在官方Agent评测文档中也把Trace Grading作为定位工作流问题的重要方式。Trace会记录模型调用、工具调用、护栏和交接过程，帮助团队找到失败到底发生在哪一步。
5. 系统终态
任务执行结束后，不能只检查聊天窗口。
还要检查：
- 报告文件是否真实存在；
- 文件内容是否符合Schema；
- 数据库是否出现异常写入；
- 历史文件是否被覆盖；
- 是否产生重复消息或其他副作用。
能够用文件Diff、数据库终态、单元测试和策略规则判断的内容，优先交给确定性程序，不要全部交给另一个大模型打分。
因为"LLM Judge说可以"，不等于系统真的没有被改坏。
评分标准，比评分模型更重要
Agent输出经常带有开放性，很难只靠完全匹配判断。
这时可以使用Rubric，也就是把"好不好"拆成可执行的评分规则。
例如，"质量周报写得专业"太模糊，可以拆成：
- 是否包含缺陷总量；
- 是否区分严重等级；
- 是否标出环比变化；
- 是否说明数据范围；
- 是否出现没有证据支持的原因判断；
- 是否泄露敏感字段。
其中能用代码判断的，就用代码。
确实需要主观判断的，再让人工或LLM Judge参与。
但LLM Judge上线前，必须先与人工标准对齐。最实用的办法不是追求一个听起来很高级的评分模型，而是抽样复核它的判断：
人工之间是否一致？人工和机器是否一致？分歧集中在哪些规则？Rubric是不是写得太模糊？
真正决定AI评测上限的，往往不是Judge模型有多强，而是团队有没有把"什么叫好"说清楚。
别一上来就建设庞大的评测平台
Agent评测很容易走向另一个极端。
团队还没有多少真实Case，就开始设计几十个指标，建设复杂平台，最后每个分数都能展示，却没人知道该改哪里。
更有效的起点，是先找10到30个高频核心任务。
每条任务至少保存：
- Prompt和初始状态；
- 允许使用的工具与权限；
- 预期行为和禁止行为；
- 预期终态；
- 实际Trace；
- 判定规则；
- 失败归因。
运行后，把真实Bad Case沉淀进回归集。修复Prompt、Skill、工具或流程后，再自动重跑。
这时评测才形成闭环：
发现问题，沉淀Case，明确Rubric，修复系统，自动回归，控制发布。
如果评测结束后只剩下一张分数表，它还只是一次检查。
如果历史失败可以自动重放，版本升级会触发回归，风险操作有准入门槛，结果能够定位到规划、工具、环境或Skill，评测才开始成为基础设施。
测试人的机会，可能就在这里
很多人担心，Agent越来越强以后，测试工作会不会被替代。
但Agent越能行动，系统就越需要有人定义：
- 什么状态算任务完成；
- 哪些路径可以接受；
- 哪些副作用绝对不能发生；
- 什么情况下必须转人工；
- 一个版本是否有资格进入生产。
这不是多写几条提示词能解决的。
它需要测试设计、风险分析、数据构造、自动化校验、故障注入和质量决策。恰好都是测试人的老本行，只是对象从页面和接口，变成了会规划、会调用工具、还会改变系统状态的Agent。
下一次再评测Agent，先别只问它答对了没有。打开它的Trace，检查系统终态，再问一句：如果把同一个任务交给它100次，我还敢让它自己执行吗？这可能才是Agent真正的及格线。
大模型的知识又多又杂，到底怎么学？
做这行久了，被问最多的问题就一个：大模型的知识又多又杂，我到底先学啥？翻了一堆资料，看啥都像重点，结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍，零基础、应届生、转行的都适用。跟着走，至少方向不乱、不瞎忙，学完拿得出手。
第一阶段（10天）：初阶应用
这一阶段就一个目标：把大模型真正"玩明白"，不是只会聊天那种，而是能调教它、能用代码把大模型和业务接起来。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
这阶段正式进实战，目标很实在：做出两个能拿出手的东西——一个私有知识库，一个 agent 对话机器人。
为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…
走完这 30 天，Python 或 JavaScript 背景的基本能独立做一套 RAG 应用，简历上也敢写"大模型应用开发"了。
第三阶段（约20天）：动手微调
学到这，你已经开始 “造” 模型了 —— 通过微调，搞出垂直领域的专用小模型。
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗？
想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！
第四阶段（20天）：商业闭环，部署落地
技术学完，落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
想要入坑大模型的朋友，给大家准备了一份2026 年最新 AI 大模型全套学习资料：
1、大模型系统化学习路线
2、大模型学习视频教程
3、大模型学习书籍&电子文档
4、AI大模型最新行业报告
5、大模型项目实战&配套源码
6、2026大模型大厂面试真题
7、为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
8、适合谁学？
- 传统后端 / Java / 前端开发，想转型 AI 应用
- 大学生、应届生，想拿更好的 offer
- 产品经理、运营，想武装职业竞争力
- 技术负责人，想给团队落地提效
学习是反人性的，但回报是真金白银。技术会更新，赛道会切换，但只要你先动手，机会就永远站在你这边。
9、这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！
好了，就写到这。路线是死的，人是活的，卡住了随时来问我。觉得有用就点个收藏，别让它进收藏夹吃灰——动起来比啥都强。
