MLCommons MLPerf Inference 工作组推出首个端到端检索增强生成（RAG）推理基准。通过在查询时从检索文档而非仅模型权重中生成答案，RAG 显著降低幻觉，同时利用最新私有知识，已成为语言模型最常见的部署方式之一。
RAG 生产系统通常由多个模型组成，形成检索文档并推理生成答案的完整管道。该基准完整测量这一流程，包含两个工作负载。
端到端 RAG 的意义
RAG 因能从查询时检索的文档中获取答案而日益流行。它减少幻觉、保持答案时效性，并让通用模型利用训练时未见过的专有知识。
由于 RAG 是多组件系统，其性能源于各组件的协同而非单一模型。单模型 LLM 基准无法捕捉管道级行为，也无法暴露多模型联合优化的机会。
该基准还为智能体 AI 基准铺路，其多模型服务挑战正是未来基准的起点。
优化空间包括：
- 模型放置：将不同规模模型映射到不同加速器
- 共驻：通过内存分区共享设备
- 多阶段调度：跨异构加速器实现宏微批处理
- 前缀缓存：复用多跳共享前缀以降低计算
数据集与任务
基准基于 FRAMES 多跳查询数据集，包含 824 个查询、2515 篇维基百科文章和约 107000 个 768 字符段落。
示例多跳查询需要跨三篇文章链式推理才能得出答案。
图 1：多跳 E2E RAG 示例
摄取与问答管道
基准包含两个独立管道：摄取管道（e2e-rag-db）一次性构建向量数据库，问答管道（e2e-rag-qna）执行端到端评分。
图 2：E2E RAG 摄取与问答管道
摄取流程包括解析、切分、嵌入与 FAISS HNSW 索引。问答流程则通过查询重写器、嵌入器、检索器、重排序器、文档评分器与充分性检查器迭代完成多跳推理。
本文首发于赢政天下
(https://www.winzheng.com/article/barret-zoph-joins-google)，获取更多深度技术内容与资源，欢迎访问官网。
