最近一年,LLM展示了强大的能力,但是面对幻觉、最新的知识以及复杂任务时往往略显不足。RAG(Retrieval Augmented Generation,检索增强生成)通过集成外部知识库来解决类似问题,取得了很不错的效果。
这里,我整理RAG相关的方案、优化手段、评估指标等内容,以便对RAG有更全面的了解。此外,也介绍了最常用的一些向量数据库和RAG框架。
RAG(检索增强生成)技术
传统的方式是问题通过解析后形成问题正文然后传导给大模型,大模型完成回答
RAG又称为“检索增强生成”。RAG流程,我们需要从整个流程来回溯一下:
- 1、首先用户提出问题,这个问题从始至终不会发生变化
- 2、然后我们需要理解用户的问题,知道用户提问的意图和方向
- 3、接下来就是我们需要根据用户的问题,去检索我们的知识库,找到与用户问题相关的信息,查找出与之相关的的文档或者文本内容
- 4、最后我们需要将这些文档或者文本内容进行整合,组成一个完整的提示词,提供给大语言模型用于生成
- 5、最后通过大语言模型生成相对精确的答案,返回给用户
我把RAG学习全流程已经整理📚好了,希望对大家有帮助!
篇幅有限,就不一一展示了