文章系统介绍了RAG技术的演进历程，从传统文本检索增强生成，发展到多模态RAG（支持跨模态检索）、Agentic RAG（智能代理驱动检索）和Graph RAG（知识图谱增强）。这些技术分别解决了传统RAG在处理非文本数据、静态知识库和简单检索流程方面的局限性，并在智能客服、健康诊疗、教育和电商等领域有广泛应用。未来趋势是将多种RAG技术融合，构建更强大的检索增强生成系统。
传统RAG
传统RAG(Retrieval-Augmented Generation检索增强生成)通过外挂知识库的方式降低大模型幻觉，解决了大模型即使不通过微调，也可以使大模型具备专业的领域知识, 是最早期出现的RAG架构。
1、 传统 RAG 核心流程
索引构建：将原始文档转换成向量, 存储至向量数据库。这个阶段一般包含：文档清洗(去重,降噪,脱敏等)→切块chunk→向量化embedding→入库(FAISS/Milvus/ pgvector等向量数据库)四大步骤处理。
查询阶段：根据用户输入, 去向量数据库检索出相关信息。
生成阶段：文本信息与LLM结合生成—-将检索出的信息与原始的用户输入交给大模型，引导模型输出更准确的答案。
2、 传统 RAG 的局限性
仅能处理纯文本数据，无法识别图像中的视觉信息(如产品图片的细节、图表中的数据关系)、音频中的语音内容(如会议录音的关键观点)；
知识库多为静态知识库，如果知识更新，需要重新构建索引（embedding处理）;
通常只是进行一轮的知识库检索，并且将检索的结果与原始提示词进行简单拼接后，直接提交给大模型进行生成结果。
当输入为非文本(如用户上传一张故障图片并提问 “这是什么问题”)时，传统RAG 完全无法响应，只能依赖LLM的 “幻觉性猜测”。
总结：检索→拼接→生成，适用于简单的企业内部各类知识问答场景。
传统 RAG单模态的升级
1、 多模态RAG(Multimodal RAG)
在传统 RAG仅聚焦文本数据的基础上,多模态RAG(Multimodal RAG)将检索范围扩展到文本、图像、音频、视频、表格等多种类型的数据，通过统一的技术框架实现 “跨模态检索-多源信息融合-精准生成” 的闭环，解决了传统RAG无法处理非文本信息的核心痛点，更贴合真实世界中 “多模态信息共存” 的场景需求(如产品手册含图文、医疗报告含影像与文字、社交媒体含视频与文案等)。
要理解多模态RAG，需先明确其与传统RAG的核心差异——本质是“数据维度”与“处理逻辑”的扩展，而非对RAG核心流程的颠覆。多模态RAG是“检索增强生成”与“多模态学习” 的融合技术 ：
核心目标：让LLM不仅能基于文本知识回答，还能结合图像、音频等非文本知识,生成更全面、更精准的多模态响应(如回答时附图表解释、生成含文字说明的图像)；
关键特征：支持 “跨模态输入 - 跨模态检索 - 跨模态生成”，例如：
输入：一张 “手机屏幕碎裂” 的图片 + 文字提问 “维修需要哪些配件？”；
检索：同时从“维修手册文本库”中找“屏幕维修流程”、从“配件图片库”中找“适配屏幕型号图”；
生成：文字说明“需更换屏幕总成+背光板”，并附配件图片与安装步骤示意图。
总结：将文本+图片/表格/音频/视频/图纸等都纳入检索与理解。
2、 Agentic RAG
Agentic RAG(代理式检索增强生成)是将AI代理引入RAG流程的技术,通过动态规划、工具调用和迭代优化解决传统RAG的局限性。
传统的RAG,信息检索只是一个必须而又被动的检索步骤,是大模型回答前必须的一个前置检索步骤,用于给大模型回答提供炮弹。而Agentic RAG相当于在传统RAG的基础上, 引入了智能体(Agent)的概念, 使检索过程更加智能化和自主化。根据用户的需求，Agentic RAG可以决定是否需要检索、何时进行检索、如何利用检索结果, 并且可以进行多轮检索, 对检索结果自己进行迭代和优化。所以要实现Agentic RAG, 就需要创建一个智能体，而检索过程将被封装成可以自主调用、评估、迭代和优化的工具，难度更高。
Agentic RAG特点：
自主决策：可自主决定检索时机和策略，提高了检索的灵活性和准确性。
多轮检索：支持多轮检索和迭代优化，能够根据初步检索结果调整后续检索策略，检索结果更靠谱。
复杂融合：检索结果与上下文信息的融合更加复杂和智能，能够更好地支持多轮对话和复杂任务。
总结：Agentic RAG会计划、会反思、会用工具, 通过多轮自我驱动把需求拆解、检索、迭代、融合、评估、优化。
3、 Graph RAG
Graph RAG(Graph-based Retrieval-Augmented Generation)通过引入图结构数据(如知识图谱), 提供更丰富的上下文信息和推理路径，来增强语言模型的推理能力和信息检索效果。
Graph RAG特点
结构化知识整合：与传统RAG依赖非结构化文本不同，Graph RAG将信息表示为实体、属性及关系的互联网络，能更精准地捕获语义关联和全局信息。
复杂查询支持：通过图谱的拓扑结构(如节点、边、子图)实现多步推理和长尾问题处理，支持基于图结构的复杂推理路径，提高生成的准确性和可靠性。
冗余信息减少：图数据抽象和总结文本内容，缩短输入长度，缓解传统RAG的“Lost in the Middle”问题(即上下文过长导致的推理困难)。提供了更直观的可解释性，有助于理解模型的决策过程。
总结：把知识抽成图谱，让检索与推理更准确。
融合应用
根据不同的业务需求，如何选择合适的RAG方式至关重要，复杂场景下可能需要多种RAG方式组合使用。而在未来的发展方向，将多模态RAG、Agentic RAG与GraphRAG相融合，作为一个大的RAG组件将会是必然趋势。
1、 智能客服与产品支持
场景：用户上传 “家电故障图片 / 视频” 咨询，客服系统通过多模态 RAG 检索产品手册的图文维修指南、历史故障案例的视频解决方案，生成带图文的维修步骤；
案例：联想的 “智能设备助手”，用户上传笔记本键盘失灵的视频，系统检索出 “键盘排线检查” 的文本说明+拆解视频片段。
2、 辅助健康诊疗
场景：医生上传患者的“CT 影像+病历文本”，检索相似病例的影像报告、临床指南的图文治疗方案, 协助医生进行病情诊断和治疗方案；
核心价值：解决“影像信息无法被传统RAG检索”的问题，结合知识图谱, 让LLM结合影像特征与文本病历生成诊断建议。
3、 自助终身学习
场景：学生上传“数学公式图片+语音或文字提问”，检索教材中的公式推导文本、老师讲解该公式的视频片段、相似例题的图文解析，生成“公式含义+推导步骤+例题练习”的多模态学习资料；
案例：可汗学院的 “多模态学习助手”，支持学生上传几何图形图片，检索相关定理的动画演示与文字解释。
4、 电商与内容创作
场景：电商运营上传商品图片或视频, 检索相似商品的文案、用户评价中的关键词、竞品的视频介绍，生成“商品详情页文案+卖点视频脚本”；
内容创作：设计师上传“海报草稿图”，检索配色方案的图文参考、字体推荐的文本指南、相似风格的海报案例，辅助优化设计。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
适用人群
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
