六、RAG系统性能评估方法
1、核心评估指标详解(量化+定性):
检索层指标
1.召回率Recall（查全率）
定义：真实相关文档中，被成功检索出来的比例
公式：召回率 = 检索到的相关文档数 / 全部真实相关文档数
意义：保证不遗漏有用信息
- 高召回：尽量把相关资料全捞出来，适合问答、知识库
- 低召回：关键资料没找到，回答缺内容、答不全
2.精确率Precision（查准率）
定义：检索出来的文档里，真正相关文档的占比
公式：精确率 = 检索到的相关文档数 / 所有检索返回文档数
意义：保证不混入垃圾信息
- 高精确：返回内容几乎全有用，减少幻觉来源
- 低精确：大量无关文本混入，干扰大模型生成
3.MRR平均倒数排名
定义：衡量相关文档排在第几位，越靠前分数越高
取值：0~1，越接近1越优
作用：优先把最匹配内容顶
生成层指标
量化指标
- 回复准确率：和标准答案/真实事实一致程度，判断答案是否符合事实
- 无幻觉率：答案中编造虚假信息、无依据内容占比，越高越靠谱
定性主观指标
- 相关性：回答紧扣用户问题，不跑题、不答非所问
- 流畅度：语句通顺、逻辑连贯，无语病、语序混乱
- 完整性：完整解答问题，无关键要点缺失
- 有用性：内容可落地、能解决实际需求
系统工程指标
- 响应速度：从提问到出完整答案耗时，分：检索耗时 + LLM生成耗时
- 并发能力：系统同时承载多少用户提问不卡顿，线上业务核心指标
- 资源占用：CPU、内存、显存、磁盘开销，决定部署成本与轻量化程度
2、定性评估方法:评估维度与评分标准
机器量化指标只算数据数值，人工定性评估判断用户实际体验，解决:幻觉轻重、语气好坏、逻辑通顺、实用性强弱等主观问题，是RAG上线前必过终审。
五大通用人工评估维度
- 上下文检索相关性（检索侧）
- 问答答案相关性（生成侧核心）
- 事实正确性 / 无幻觉程度（最关键）
- 回答完整性
- 语言流畅度与逻辑性
统一评分规则
5分：最优完全达标，无任何问题
4分：良好轻微瑕疵，不影响使用
3分：合格基本能用，存在明显不足
2分：较差偏离需求，实用性低
1分：极差完全不合格，不可使用
各维度详细评分标准
1.检索上下文相关性（评估召回文档）
评估对象：RAG检索出来的参考文本
- 5分：全部文档都和问题强相关，无无关内容
- 4分：绝大部分相关，仅有极少量无关语句
- 3分：一半相关一半无关，混杂较多冗余内容
- 2分：少量相关，大部分内容偏离问题
- 1分：检索内容完全无关，毫无参考价值
2.答案问答相关性（是否答非所问）
评估对象：最终大模型输出回答
- 5分：精准贴合问题，直击核心，无多余废话
- 4分：紧扣问题，少量拓展不跑偏
- 3分：勉强回答，重心偏移，有点偏题
- 2分：答非所问，只沾一点边
- 1分：完全不回答问题，乱讲内容
3.事实正确性+幻觉抑制（重中之重）
- 5分：100%贴合知识库事实，零编造、零错误、零幻觉
- 4分：无事实错误，仅有极小无关冗余表述
- 3分：存在轻微模糊表述，无硬性事实错误
- 2分：出现明显编造信息、数据错误、时间/人物错误
- 1分：大量虚构内容，严重事实错误，幻觉泛滥
4.回答完整性
- 5分：覆盖所有答题要点，逻辑闭环，无遗漏
- 4分：核心要点齐全，仅次要小点缺失
- 3分：缺少部分关键要点，回答不全面
- 2分：只回答局部内容，核心内容缺失
- 1分：内容残缺，无法完整解答问题
5.语言流畅度与逻辑条理
- 5分：语句通顺、条理清晰、分层明确、专业自然
- 4分：通顺易懂，逻辑正常，无明显语病
- 3分：语句平淡，逻辑一般，少量语序不通
- 2分：语句生硬，逻辑混乱，阅读吃力
- 1分：语句不通顺，语序错乱，难以读懂
