Ragas (Retrieval-Augmented Generation Assessment)提供了一套评估指标，可用于衡量您的 LLM 应用程序的性能。这些指标旨在帮助您客观地衡量应用程序的性能。指标适用于不同的应用程序和任务，例如 RAG 和智能体工作流。
Ragas框架构建了一个由三个核心质量维度组成的评估体系：忠实度（Faithfulness）、答案相关性（Answer Relevance）和上下文相关性（Context Relevance）。这三个维度共同确保了对RAG系统性能的全面审视。
忠实度 (Faithfulness)
就是准确性，也是最核心的，需要拿生成答案和准备的准确答案对比，这是评估“幻觉”的关键指标。Context Precision (上下文精确度)
生成的内容和引用的文档的关系有多大，如果答非所问，再准确也没用Context Recall）上下文召回率
衡量所有相关的文档中，有多少比例被成功检索出来了。高召回率意味着系统没有漏掉重要的信息。高精确度意味着提供给LLM的“信噪比”高。其它指标…
评测RAG杜绝：“我认为”的个人主观，脱离碰巧和玄学，而是通过数据来分析评测：
- 第一层：看查得准不准
在检索阶段有没有把近似度最近的文章捞出来，用专业的指标叫命中率（Hit Rate）和平均倒数排名（MRR）；- 第二层：看有没有编
就是看大模型有没有脱离文档瞎发挥，评判指标叫忠实度（Faithfulness），很多模型看到上下文没有答案，就开始自己脑补，也叫幻觉，需要在没有检索到答案时，给个默认提示（比如：我不知道，请联系管理员…）- 第三层：看答得对不对
用Rouge-L这类指标跟标准答案做相似度对比，但是在正常迭代中，单单靠人工，根本无法规模化迭代跟测，通常是要让自动化测试，用开源的Ragas框架来做自动的评估，只有把在线评估和离线指标挂上钩，这个检索增强生成才能持续优化，达到系统迭代上线闭环。
- 实践效果
进阶篇-LangChain篇-12–RAG评估体系——如何知道你的RAG好不好？
