本章你将收获:主流嵌入模型(BGE、OpenAI、M3E、Jina)的深度对比与选型指南;向量数据库(Chroma、Qdrant、Milvus、Pinecone)的架构与适用场景;混合检索(BM25 + 向量)的实现方法;重排序(Reranker)如何提升Top-5准确率;以及为100万文档构建高效检索系统的完整实战。
📌 本章导读
文档加载和分块只是RAG的第一步。真正的核心在于:如何将文本块转化为可计算的向量,以及如何在海量向量中快速找到最相关的内容。嵌入模型(Embedding Model)和向量数据库(Vector Database)就是RAG的“搜索引擎”。
本章将深入讲解嵌入模型的原理与选型,对比主流向量数据库的性能与特性,并带你实现混合检索+重排序的高级检索策略。学完本章,你将能够为百万级文档构建毫秒级响应的检索系统。
3.1 嵌入模型(Embedding Model)深度解析
3.1.1 什么是嵌入向量?
嵌入模型将文本转换为固定维度的浮点数向量(如768维、1536维)。两个向量的相似度(余弦相似度、点积)反映了原文的语义相似度。
数学原理:
similarity(A, B) = cos(θ) = (A·B) / (||A||·||B||)值越接近1,语义越相似。