在 RAG（检索增强生成）的全流程里，文档分块（Chunk）是最容易被忽略，却又最影响最终效果的关键环节 —— 分块太粗会漏掉关键细节，太细会切断语义逻辑，甚至让 AI “读不懂” 上下文。
而开源 RAG 框架 ragflow，偏偏在 “分块” 这件事上做到了 “极致定制”：针对 14 类不同场景的文件，设计了完全不同的分块逻辑，既保留文档原有结构，又能精准适配向量检索需求。今天就带大家一次性吃透这些分块策略，搞懂 RAG “精准检索” 的底层逻辑。
为什么 ragflow 不搞「一刀切」分块？
很多人做文档分块时，习惯用 “固定长度切割”（比如每 500 个 token 分一块），但实际场景里：
•论文需要保留 “摘要 - 引言 - 结论” 的层级，不能乱切；•表格要完整提取行列关系，切一半就废了；•音频得先转文字，再按语义分块……
ragflow 的核心思路是：按文件 “类型 + 结构” 定制分块策略，让每个 chunk 都有 “完整语义”，这也是它检索精度比普通分块高的关键。
5 大类 + 14 种文件：分块策略全解析
下面我们按 “使用场景” 分类，逐个拆解每类文件的分块逻辑，你可以直接对号入座复用！
一、通用基础类：应对 80% 常规场景的「万能工具」
这类文件的核心是 “兼容性强”，覆盖大部分日常文档，适合不想单独定制的场景。
1. naive.py：所有文件的「保底方案」
作为 ragflow 最基础的分块模块，它能处理 PDF、DOCX、Excel、TXT 等几乎所有格式，逻辑很实用：
•先选解析器：PDF 用PdfParser、Excel 用ExcelParser，自动匹配文件类型；•再按规则分块：按配置的chunk_token_num（比如 500token）和分隔符（换行、句号）切割；•最后补上下文：表格、图片会自动附加周围文本，避免 “孤立 chunk”；•还支持超链接提取、嵌入文件递归分块（比如 DOCX 里嵌了 PDF，会自动拆出来处理）。
2. one.py：追求「完整上下文」的特殊方案
如果你的需求是 “一个文件只生成一个 chunk”（比如短文档、合同），用 one.py 就对了：
•不管是 PPTX 还是 Excel，都会完整保留原始文本顺序；•支持自定义chunk_token_num（可设很大），避免切割；•PDF 会自动处理表格、图片，整合到一个 chunk 里。
二、专业文档类：按「行业特性」定制，不丢关键信息
这类文件（书籍、法律、论文等）的核心是 “层级结构强”，分块必须保留章节、标题关系。
1. 书籍（book.py）：多格式 + 层次化合并
处理 PDF/DOCX/TXT 格式的书籍时，最怕 “章节断开”，它的解决办法是：
•PDF 先做 OCR + 布局分析，提取正文、表格；•按 “标题层级” 合并：用hierarchical_merge（层次化合并）把 “大标题 + 小标题 + 正文” 归为一个 chunk；•表格、图片会附加 “所在章节标题”，比如 “第 3 章 数据统计 - 表 3.1 销售数据”。
2. 法律文件（laws.py）：去掉冗余，突出「条款逻辑」
法律文件（如法规、合同）有大量 “目录 + 条款”，分块时要先 “去水”：
•自动移除目录部分，避免检索到重复内容；•把 “XX 条：XXX” 的冒号前内容转成标题（比如 “第二条：适用范围”→ 标题 “第二条”，内容 “适用范围”）；•用tree_merge按条款层级分块（章→条→款），保证法律逻辑连贯。
3. 学术论文（paper.py）：精准提取「核心结构」
论文的关键是 “摘要、引言、结论”，它会：
•自动提取论文标题、作者、摘要（摘要单独成块，不切割）；•按 “标题频率” 识别层级（比如 “1. 引言” 是一级，“1.1 研究背景” 是二级）；•表格、公式会附带 “所在小节标题”，比如 “2. 实验方法 - 公式 2.1 损失函数”。
4. 手册（manual.py）：侧重「实操性」，表格优先
处理产品手册、操作指南时，表格和步骤是核心：
•PDF/DOCX 里的表格会转成 HTML 格式，完整保留行列；•按 “操作步骤” 分块（比如 “3.2 设备开机 - 步骤 1/2/3” 归为一个 chunk）；•图片会附加 “操作说明”，避免只看到图不知道用途。
5. 演示文稿（presentation.py）：每页一个 chunk，适配「PPT 逻辑」
PPTX 或 PDF 版演示文稿，分块逻辑完全贴合 “一页一个主题”：
•PPTX 会提取每页文本 + 缩略图，生成一个 chunk；•PDF 版会按页码切割，每页独立成块；•保留页码信息，方便检索后定位原文件位置。
三、多媒体类：先「转文字」，再按语义分块
音频、图片、视频这类非文本文件，核心是 “先转成可处理的文本”。
1. 音频（audio.py）： Speech2Text+token 切割
处理 MP3/WAV 等音频时，步骤很清晰：
•调用LLMType.SPEECH2TEXT模型（比如 Whisper）转文字；•用临时文件存音频数据，转完自动清理，不占内存；•再按 token 数切割文字，生成带 “音频来源” 标签的 chunk。
2. 图片 / 视频（picture.py）：OCR + 图描述双保险
图片（JPG/PNG）和视频（MP4/MOV）的处理逻辑类似：
•先做 OCR 提取文字（比如图片里的表格、文字说明）；•如果 OCR 结果太短（比如纯风景图），调用LLMType.IMAGE2TEXT生成描述（比如 “蓝色背景的产品包装盒，上面有 XXlogo”）；•最后按语义分块，附加 “媒体类型” 标签（图片 / 视频帧）。
四、结构化数据类：按「数据关系」分块，不破坏结构
表格、问答对、标签文件的核心是 “保留数据关联”，不能按纯文本切。
1. 表格（table.py）：完整提取行列，支持多级表头
Excel/CSV/TSV 表格最忌 “切行切列”，它的处理方式很聪明：
•自动识别多级合并单元格（比如 “季度→Q1→销售额”）；•数据类型自动标注（int/float/text，比如 “100” 标为 int，“备注” 标为 text）；•生成 “字段名 + 数据” 的 chunk（比如 “用户 ID [text]：123；订单金额 [int]：99.9”），方便后续精准检索。
2. 问答对（qa.py）：自动提取 Q&A，适配「对话场景」
如果你的文档是 FAQ、问答手册，qa.py 能直接拆成 “问题 + 答案” 对：
•Excel/CSV：按列提取（比如 A 列是问题，B 列是答案）；•PDF/DOCX：按标题层级拆（比如 “Q：如何重置密码？A：步骤 1…”）；•Markdown：按#标签识别问题（比如 “# Q：XXX”）；•忽略错误行（比如只有问题没有答案的行），容错性强。
3. 标签文件（tag.py）：“内容 + 标签” 绑定，方便分类检索
处理 Excel/CSV 格式的标签文件（比如 “文章内容 + 分类标签”）时：
•要求两列结构：一列内容，一列标签（支持多标签，用逗号分隔）；•生成 chunk 时会绑定标签（比如 “内容：RAG 原理；标签：AI、检索”）；•提供label_question函数，支持按标签快速筛选（比如 “查所有标签为‘法律’的 chunk”）。
五、特殊场景类：针对「小众但关键」的文件
这类文件有独特的格式或需求，需要单独适配。
1. 邮件（email.py）：解析头 + 附件，不丢上下文
处理.eml 格式邮件时，核心是 “完整提取邮件结构”：
•先解析邮件头（发件人、收件人、主题），附加到 chunk 开头；•正文按naive_merge分块，支持 text/plain 和 text/html 格式；•附件会递归处理（比如附件是 PDF，会调用 naive.py 分块，再关联到邮件 chunk）。
2. 简历（resume.py）：结构化提取，多维度分块
简历的关键是 “提取关键信息”（姓名、工作经历、技能），它的逻辑很高效：
•调用本地简历解析服务，直接输出结构化数据；•按 “字段” 分块：姓名、联系方式、工作经历、项目经验等各成一个 chunk；•过滤无用字段（比如forbidden_select_fields4resume里的冗余信息）；•每个 chunk 带 “权重”（比如工作经历权重高于基本信息），检索时优先返回。
分块「通用设计密码」：5 个底层逻辑
不管是处理论文还是简历，ragflow 的分块都藏着 5 个通用设计，这也是它稳定可靠的原因：
1.统一接口：所有模块都用chunk函数作为入口，开发者不用记多个方法；2.解析器抽象：每种文件类型对应专属解析器（如PdfParser），后续加新格式只需加解析器，不用改核心逻辑；3.token 化标准：统一用rag_tokenizer处理文本，保证不同文件的 token 计数一致；4.上下文附加：表格、图片、附件都会绑定周围文本，避免 “孤立 chunk”；5.异常处理：支持进度回调（实时看处理进度）、错误捕获（比如文件损坏不崩溃）。
好的分块，是「懂文档」的分块
看完 ragflow 的分块设计，你会发现：它不是在 “切割文档”，而是在 “理解文档后重组”——
•给书籍保留章节层级，给法律文件突出条款，给表格保留行列关系；•既避免了 “一刀切” 的粗糙，又兼顾了检索效率；•对开发者来说，不仅能直接复用这些模块，更能学到一个思路：分块的核心不是 “切多细”，而是 “能不能让 AI 读懂每个 chunk 的语义”。
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！
在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。
希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！
01教学内容
从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！
大量真实项目案例：带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
02适学人群
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
vx扫描下方二维码即可
本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！
03入门到进阶学习路线图
大模型学习路线图，整体分为5个大的阶段：
04视频和书籍PDF合集
从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）
新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
05行业报告+白皮书合集
收集70+报告与白皮书，了解行业最新动态！
0690+份面试题/经验
AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）
07 deepseek部署包+技巧大全
由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
