YodaQA评测体系完整指南：用curated事实型数据集测量问答系统准确率与Top-N召回

YodaQA评测体系完整指南：用curated事实型数据集测量问答系统准确率与Top-N召回

【免费下载链接】yodaqaA Question Answering system built on top of the Apache UIMA framework.项目地址: https://gitcode.com/gh_mirrors/yo/yodaqa

YodaQA 是基于 Apache UIMA 框架构建的开源问答系统，而它的data/eval/目录就藏着一套完整、可复现的评测体系：用 curated 事实型（factoid）数据集批量提问，自动测量系统准确率与 Top-N 召回，并把每次提交（commit）的成绩存档对比。本文带你从零看懂这套问答系统评测体系怎么运转。

为什么问答系统需要一套评测体系？

🎯 问答系统的改进往往发生在很细的环节：特征向量、打分权重、证据扩散……如果没有固定的基准测试集，你根本无法回答"这次改动到底让系统变强还是变弱了"。

YodaQA 的解法是把评测数据、评测脚本、历史记录全部放进仓库：

整套说明文档就在 data/eval/README.md 一类的目录 README 中（本仓库各子目录均配有详细注释）。

curated 事实型数据集：评测的基石

💡 YodaQA 默认使用factoid-curated 数据集 v1：人工筛选过的事实型问题集，每题都带标准答案。

1. 文件格式：4 列 TSV

打开data/eval/curated-train.tsv，每行是一道题，用制表符分成 4 列：

10048 factoid Where was the first atomic bomb detonated? White Sands|New Mexico 2248 factoid How many planets are in our solar system? nine|9|eight|8 1647 factoid What continent is Scotland in? Europe

用正则而非纯文本做答案是个亮点：像How many planets are in our solar system?同时接受nine|9|eight|8，How deep is Crater Lake?接受1,932 feet、594 m等多种合法表述——宽松但严格地判定"答对"。

2. 训练集 vs 盲测集

• curated-train.tsv（430 题）：用于主开发、性能分析、机器学习模型训练；
• curated-test.tsv（430 题）：专门用于基准测试，团队刻意把它当"盲"集——不针对其中任何单题做优化，避免过拟合。

此外还有更大规模的噪声数据集large2180-*.tsv、large2470-*.tsv以及旧版curatedv1-*.tsv，可通过-d参数切换，比如-d large2180就能在更嘈杂的 2180 题集上考察系统。

核心指标：准确率、Top-N 召回与 MRR

✅ 系统对每道题输出一份结果 TSV，由GoldStandardAnswerPrinter生成（源码：GoldStandardAnswerPrinter.java），列含义一目了然：

一键统计三件套

运行data/eval/tsvout-stats.sh，每份结果文件会浓缩成一行核心指标：

curated-test-abc1234 perfect 230/430 53.5% any 342/430 79.5% mrr 0.548 avgtime 1.234

• perfect（Top-1 准确率）：正确答案排在第 1 位的问题数与占比——这是"准确率"；
• any（Top-N 召回率）：正确答案出现在候选列表中任意位置的问题数与占比——衡量系统的召回能力；
• mrr（平均倒数排名）：对每题按1/(rank+1)求平均，同时奖励"排得靠前"；
• avgtime：平均每题耗时，兼顾性能维度。

不带参数直接运行该脚本，还能按时间顺序列出仓库所有历史 commit 的成绩——相当于内置了一棵评测演化曲线。

一次完整评测怎么跑？

在仓库根目录执行：

data/eval/train-and-eval.sh

这个脚本（data/eval/train-and-eval.sh）会自动：

1. 临时克隆当前 commit 的代码（未提交的改动不参与评测，保证可复现）；
2. 并行跑训练集与测试集：先用旧模型出答案，重训机器学习模型后再出最终答案；
3. 产出答案 TSV、特征向量文件、新模型参数与日志；
4. 自动调用tsvout-stats.sh打印成绩，并提示你提交更新后的模型文件。

常用选项：

• -s N：限制并行线程数（也可用环境变量YODAQA_N_THREADS）；
• -m 6000M：多核时加大 JVM 堆内存；
• -d large2180：换数据集；
• -Dcz.brmlab.yodaqa.use_bing=yes：改用 Bing 搜索作为数据源。

⚠️ 提示：反复评测会产生几十上百 GB 的数据与日志，data/eval/cleanup-stale.sh用于清理陈旧记录（会删除文件，慎用）。

进阶分析：对比两次评测、挖掘召回失败

1. 逐题对比两个 commit

data/eval/tsvout-compare.sh abc1234 def5678

tsvout-compare.sh会把两次评测按题对齐，分四组高亮输出：新答对的题（Gained）、分数变好的题（Improved）、变差的题（Worsened）、丢掉答案的题（Lost）——改动效果的归因一目了然。

2. 查看正确答案的排名分布

data/eval/tsvout-ranks.sh data/eval/tsv/curated-train-*.tsv

把"标准答案排进前 N 名"的题按名次排序编号，方便直接读出中位数；再加一层tsvout-rankgraph.sh就用 gnu-plot 画出Top-N 召回曲线（横轴 N，纵轴"前 N 名内含正确答案"的题目比例），直观呈现召回随候选数增加而收敛的形态。

3. 精确率-召回率权衡（ROC）

data/eval/tsvout-roc.pl按置信度阈值遍历每题，输出 precision/recall 权衡数据，并用prt.gle、roc.gle绘制 PR 曲线与 ROC 曲线——帮你回答"置信度阈值设在多少，才值得作答"。

4. REST 接口批量评测

如果 YodaQA 已经作为 Web 服务跑着（REST API），可以用data/eval/rest-eval.py直接向接口发问：

data/eval/rest-eval.py 题目.json http://localhost:4567/

脚本逐题轮询结果，统计 correct / recall / incorrect 三档，输出每题的详情页 URL，适合对线上部署形态做快速回归。

5. 失败召回的系统归因

data/eval/analysis/目录存放历次"未召回问题"的分析文本；换新版本评测后，用data/eval/analysis-update.pl把旧分析结果映射到新结果上，避免重复劳动——这也是团队估算"还有多少提升空间（headroom）"的主要手段。

小结

📊 YodaQA 的评测体系值得任何问答项目借鉴：

1. 固定数据集：curated 事实型 TSV，正则答案兼顾严谨与宽松，训练/盲测严格分离；
2. 一键流水线：train-and-eval.sh保证"同 commit 同数据"的可复现评测；
3. 多层指标：Top-1 准确率、Top-N 召回、MRR、耗时四维齐看；
4. 闭环分析：逐题对比、召回失败归因、PR/ROC 权衡，把"变好还是变坏"变成可执行的答案。

拿到仓库（git clone https://gitcode.com/gh_mirrors/yo/yodaqa）后，打开data/eval/README.md，照着上面的命令依次跑一遍，你就能看到这套评测体系完整的运转过程。

【免费下载链接】yodaqaA Question Answering system built on top of the Apache UIMA framework.项目地址: https://gitcode.com/gh_mirrors/yo/yodaqa