agentic-ai进阶 | 错误分析3步法：如何精准定位AI工作流性能瓶颈并排定优先级

在构建 Agentic AI 工作流时，你是否遇到过这样的困惑：Agent 输出质量忽高忽低，却不知道该改哪个组件？本文基于 agentic-ai 课程（吴恩达 DeepLearning.AI Agentic AI 系列中文教程），详解错误分析（Error Analysis）的 3 步法——检查追踪、聚焦错误案例、量化统计频率——帮助新手精准定位 AI 工作流性能瓶颈，并科学排定优化优先级，避免"凭直觉瞎改"的常见陷阱。

为什么错误分析比继续加功能更重要

很多初学者搭完 Demo 后，遇到效果不好就凭感觉改提示词。但当 Agent 系统走向生产环境，组件越来越多，"凭直觉"就不可靠了：

• 到底是搜索词生成有问题，还是搜索引擎返回质量差？
• 该不该把某个组件拆出来单独调试？
• 换底层 LLM 之后，哪个环节最先崩？

错误分析的核心就是观察 + 量化，用数据找出工作流中表现最差的组件。正如 4.2 错误分析与制定下一步优先级 中强调的：核心是"以找出工作流程中表现最差的组件"为目标。

错误分析第 1 步：检查追踪（Traces）与中间输出

Agent 运行时，每一步产生的中间输出集合称为追踪（trace），单个步骤的输出称为span。方法是：逐步检查每个中间输出的质量，先笼统判断"哪个组件出了问题"。

以科研资料查询 Agent 为例（图源 4.4 组件级评估）：

这一步的关键是不要直接看最终结果，而是沿着工作流从头走一遍，让问题在中间环节现形。

错误分析第 2 步：聚焦错误案例

⚠️ 精力应该集中在最终输出不令人满意的少数案例上，而不是运行良好的案例。

以发票处理工作流（PDF → 转文本 → LLM 提取 → 写库）为例，"到期日经常出错"是最终症状。正确做法是：

1. 收集错误样本：忽略提取正确的发票，专门收集 10~100 张到期日提取错误的发票；
2. 逐一归因：判断每张错误发票的根源——
   • 若是 PDF 转文本太差（连人类都认不出日期）→ 上游组件问题；
   • 若文本质量足够好，但 LLM 把"发票日期"当成了"到期日"→ LLM 提取组件问题。

错误分析第 3 步：建立电子表格量化错误频率

定性判断还不够，需要用表格把每个组件的"错误率"统计出来。

"错误"的定义：某一步的输出，明显差于人类专家在相同输入下会给出的结果。

再来看一个回复客户邮件的工作流（邮箱 → LLM 写 SQL 查询 → 数据库 → LLM 起草回复 → 人工审核）：

统计假设结果如下：

结论一目了然：先改 SQL 查询的生成方式（比如优化提示词、加 few-shot 示例），而不是花几周去折腾数据层。类似的完整案例拆解，可以参考 4.3 更多错误分析示例。

定位瓶颈后：如何排定优先级并落地改进

错误分析给出的量化结论，直接决定你的下一步动作顺序：

1. 优先修错误率最高的组件，小改动先试（调参数、换搜索引擎、改结果数量）；
2. 针对该组件建立组件级评估（Component-level Evals），快速验证每次微调的增量效果，避免昂贵的端到端重跑——具体方法见 4.4 组件级评估 与配套的 组件级评估实验笔记；
3. 改进手段由轻到重排序（来自 4.6 解决识别到的问题）：
   • 非 LLM 组件：调参数 → 换服务商；
   • LLM 组件：改提示词 → 换模型 → 任务分解 → 微调（最后的手段）；
4. 最后再跑端到端评估，确认组件改进确实提升了整体性能。

一句话总结

构建系统 → 查看输出 → 聚焦错误样本 → 量化各组件错误频率 → 优先改进错误率最高的组件 → 用组件级评估持续迭代。

这套"检查追踪、聚焦错误、量化排序"的 3 步法，是从 Demo 走向生产级 Agentic AI 系统最实用的一课。更多评估体系与 2×2 评估矩阵内容，可继续阅读 4.1 评估（Evals）].md)。