Embedding 有哪几种算法？

一、 Embedding 的核心本质与表征范式

在信息检索、自然语言处理（NLP）以及大模型检索增强生成（RAG）系统中，计算机无法直接理解人类的自然语言字符。Embedding 算法充当了自然语言与高维几何计算之间的数学翻译器。

1. 向量空间模型的核心假设

所有现代 Embedding 算法均建立在语言学中的“分布假说（Distributional Hypothesis）”之上：

一个词的语义由其经常共现的上下文环境决定（You shall know a word by the company it keeps）。

在数学层面，Embedding 算法旨在构建一个从离散高维离散空间到低维实数向量空间的映射函数：

f: V ➔ R^d (其中 d 远小于词表规模 |V|)

在构造出的稠密向量空间中，两个向量的几何相对关系代表了其语义关联度：

• 余弦相似度（Cosine Similarity）：衡量两个向量在高维空间中的夹角，范围在[-1, 1]之间，最关注语义方向。

  Cosine_Similarity(A, B) = (A · B) / ( ||A|| × ||B|| )

• 点积（Dot Product / Inner Product）：若向量预先经过 L2 归一化（模长为 1），点积等价于余弦相似度，计算复杂度最低。

• 欧氏距离（Euclidean Distance / L2 Distance）：衡量高维空间两点间的绝对直线距离。

┌─────────────────────────────────────────────────────────┐ │ Embedding 技术全景演进路线 │ └────────────────────────────┬────────────────────────────┘ │ ┌────────────────────────────────────┼────────────────────────────────────┐ ▼ ▼ ▼ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ 离散统计时代 │ │ 静态词向量 │ │ 动态上下文 │ │ - One-Hot │ │ - Word2Vec │ │ - ELMo │ │ - TF-IDF │ │ - GloVe │ │ - BERT │ │ - LSA / SVD │ │ - FastText │ │ - RoBERTa │ └──────┬───────┘ └──────┬───────┘ └──────┬───────┘ │ │ │ └────────────────────────────────────┼────────────────────────────────────┘ │ ┌────────────────────────────────────┴────────────────────────────────────┐ ▼ ▼ ┌──────────────────────────────┐ ┌──────────────────────────────┐ │ 句子/段落级对比学习双塔 │ │ 晚期交互与长上下文新范式 │ │ - SBERT (Siamese Network) │ │ - ColBERT (Late Interaction) │ │ - SimCSE (对比学习框架) │ │ - Matryoshka (MRL 套娃维度) │ │ - BGE-M3 / OpenAI TE3 / E5 │ │ - Late Chunking (全篇再分块) │ └──────────────────────────────┘ └──────────────────────────────┘

二、 第一代：离散与统计频次表征（Discrete & Statistical Embeddings）

在深度学习普及之前，文本表征主要依赖于基于规则和频次统计的离散方法。

1. 独热编码（One-Hot Encoding）

原理机制

为词表中的每一个词分配一个唯一的整数索引，并表示为一个维度等于词表大小|V|的向量。该向量中仅对应索引位置的值为 1，其余所有位置全为 0。

词表: ["苹果", "香蕉", "手机", "电脑"] "苹果" ➔ [1, 0, 0, 0] "香蕉" ➔ [0, 1, 0, 0] "手机" ➔ [0, 0, 1, 0]

致命缺陷

1. 维度灾难（Curse of Dimensionality）：词表通常包含数十万个词，导致向量维度极高且极端稀疏（99.99% 为 0），造成存储与计算浪费。

2. 正交隔离与语义鸿沟：任意两个不同词向量的点积恒等于 0（两两正交），完全无法计算“苹果”与“香蕉”之间的语义相近性。

2. TF-IDF（词频-逆文档频率）

原理机制

TF-IDF 是一种加权统计方法，用于评估一个词对于一个文档集中的某篇文档的重要程度：

• 词频（Term Frequency, TF）：一个词在某文档中出现的频次与文档总词数的比值。

• 逆文档频率（Inverse Document Frequency, IDF）：总文档数除以包含该词的文档数，再取对数。用于压制“的”、“是”、“在”等高频无信息量的虚词权重。

TF(t, d) = (词 t 在文档 d 中出现的次数) / (文档 d 的总词数) IDF(t, D) = log( (语料库中文档总数 |D|) / (包含词 t 的文档数 + 1) ) TF-IDF(t, d, D) = TF(t, d) × IDF(t, D)

特性分析

• 优点：无需复杂训练，计算迅速，在精确关键词匹配场景（如型号、编号检索）中表现稳定。

• 缺点：依然是高维稀疏向量；不支持同义词理解（无法识别“手机”和“移动电话”是同一概念）。

3. LSA / LSI（潜在语义分析）与 SVD 降维

原理机制

LSA（Latent Semantic Analysis）首次实现了由“稀疏统计”向“低维稠密向量”的跨越。

1. 首先构建一个规模为词汇数(M) × 文档数(N)的词频或 TF-IDF 共现矩阵X。

2. 对矩阵X进行奇异值分解（SVD, Singular Value Decomposition）：

   X = U × Σ × V^T

3. 截断保留前k个最大的奇异值，将词与文档同时投影到k维的隐性语义空间（Latent Space）。

特性分析

• 成功挖掘出了词语与主题之间的低维几何关联。

• 缺点是 SVD 奇异值分解的时间复杂度达到O(min(M*N^2, M^2*N))，在百万级规模语料库上计算成本过高，无法在线实时增量更新。

三、 第二代：浅层神经网络与静态稠密词向量（Static Dense Word Embeddings）

2013 年，Mikolov 等人提出Word2Vec，正式拉开了基于神经网络学习分布式稠密表征（Distributed Dense Representation）的黄金时代。

1. Word2Vec：CBOW 与 Skip-Gram 架构

Word2Vec 的核心是使用浅层单隐层前馈神经网络，在大规模无标注纯文本上自监督学习词向量。

【CBOW 模型 (上下文预测中心词)】 【Skip-Gram 模型 (中心词预测上下文)】 上下文词输入: 中心词输入: [ w_(t-2), w_(t-1), [ w_t ] w_(t+1), w_(t+2) ] │ │ ▼ ▼ (投影层累加求平均) (投影层映射) [ 隐层投影 ] [ 隐层投影 ] │ │ ▼ ▼ 预测中心词: 预测周围上下文: [ w_t ] [ w_(t-2), w_(t-1), w_(t+1), w_(t+2) ]

A. CBOW（Continuous Bag-of-Words）

• 任务目标：根据中心词周围的滑动窗口上下文词语，预测中心词自身。

• 特性：对高频词友好，训练速度快，投影层直接对上下文词向量求均值。

B. Skip-Gram（Continuous Skip-gram）

• 任务目标：根据当前输入的中心词，预测其周围窗口内出现的上下文词。

• 特性：在小规模语料或包含大量罕见词（Rare Words）的场景下效果更佳。

C. 训练加速关键技术：负采样（Negative Sampling, NEG）

传统 Softmax 计算分母需要遍历整个词表（数十万词），计算量极大：

P(w_o | w_i) = exp(v'_wo · v_wi) / ∑ [ exp(v'_w · v_wi) ] (遍历词表中所有 w)

负采样机制将多分类问题转化为多二分类逻辑回归问题。对于中心词w_i和真实上下文目标词w_o（正样本），同时从词表中根据概率分布随机抽取k个非上下文词（负样本）：

目标损失函数优化公式: L_NS = log σ(v'_wo · v_wi) + ∑ [ log σ(-v'_wj · v_wi) ] (遍历 j=1 到 k) 其中 σ(x) = 1 / (1 + e^(-x)) 为 Sigmoid 函数

计算复杂度直接从O(|V|)下降至O(k)（通常k=5~20），使得在百亿词级语料上的超高速预训练成为现实。

2. GloVe（Global Vectors for Word Representation）

Word2Vec 的主要缺陷在于：它依赖于滑动窗口内的局部统计，未能直接利用整个语料库的全局共现频次矩阵。

斯坦福大学于 2014 年提出的GloVe结合了 LSA 的全局共现统计与 Word2Vec 的局部上下文窗口优势。

核心数学模型

GloVe 发现，两个词i和j与探针词k的共现概率之比能够精准表达词义关系。模型构建了如下对数双线性损失函数：

J = ∑ f(X_ij) × ( w_i^T × w_j + b_i + b_j - log(X_ij) )^2

• X_ij：词i与词j在全局语料库中共同出现的频次；

• w_i, w_j：词向量，b_i, b_j：标量偏置项；

• f(X_ij)：权重衰减函数。限制极大共现频次的无意义权重（如虚词共现），避免损失函数被极端值主导。

GloVe 在词汇类比任务（如King - Man + Woman = Queen）的线性几何性质上表现优异。

3. FastText：子词（Subword）与形态学表征

由 Facebook 于 2016 年推出的FastText针对传统词向量无法解决的未登录词（OOV, Out-of-Vocabulary）缺陷进行了根本性重构。

原理机制：引入字符级 N-gram

以英文单词apple（$n=3$）为例，FastText 会为其添加特殊边界字符<和>，并提取其所有的字符级子词（Subwords）：

<apple> 的 3-gram 集合: ["<ap", "app", "ppl", "ple", "le>", "<apple>"]

单词apple的最终词向量，是其所有包含的 Subword 向量的代数和。

核心优势

1. 彻底解决 OOV 问题：遇到测试集中的全新词汇（如从未出现过的applesauce），模型可以通过拼凑子词向量组合出一个高可靠度的语义向量。

2. 形态学感知能力极强：天然能够捕获词根、前缀、后缀（如-ing,un-,-tion）的语法语义特征，对德语、土耳其语等多语素语言尤其有效。

静态词向量的核心痛点：一词多义（Polysemy）失效

无论是 Word2Vec、GloVe 还是 FastText，其向量查找本质上都是查一张固定的词典（Embedding Matrix）：

Embedding("苹果") ➔ 始终对应一个固定维度的静态实数数组

然而在真实语境中：

• 语境 A：“我今天买了两斤苹果吃。”（指代水果）

• 语境 B：“苹果发布了新款智能手机。”（指代科技公司）

静态向量将这两个截然不同的含义强行压缩到了同一个向量点中，无法根据上下文进行动态消歧，促使技术体系向上下文感知架构迈进。

四、 第三代：预训练大模型与动态上下文表征（Contextual Dynamic Embeddings）

2018 年，NLP 进入了以深度双向编码器为标志的上下文嵌入时代。

1. ELMo（Embeddings from Language Models）

ELMo 首次系统性解决了静态向量的“一词多义”问题。

原理机制

1. 采用多层双向长短期记忆网络（Bi-LSTM），在大规模语料上进行无监督语言模型预训练（同时从左往右、从右往左预测下一个词）。

2. 在下游任务中提取词向量时，不再查表，而是将整句话输入网络。

3. 将每层 Bi-LSTM 输出的隐状态进行加权求和，生成随当前语境动态变化的 Contextualized Word Embedding。

2. BERT（Bidirectional Encoder Representations from Transformers）

Google 于 2018 年提出的BERT彻底颠覆了 NLP 格局。

输入序列: [CLS] 苹果 是 一种 美味的 水果 [SEP] │ │ │ │ │ │ │ Transformer: ┌────────────────────────────────────────────────────────┐ 编码器各层: │ 多层自注意力机制 (Multi-Head Self-Attention) │ └────────────────────────────────────────────────────────┘ │ │ │ │ │ │ │ 输出向量: H_[CLS] H_苹果 H_是 H_一种 H_美味 H_水果 H_[SEP]

原理机制

• 原生全双向自注意力（Bi-directional Self-Attention）：利用 Transformer Encoder 结构，序列中的每个词在计算其表示时，都能直接且不受限地与句子中所有其他词进行全量注意力交互。

• 掩码语言模型（MLM, Masked Language Model）：随机遮蔽 15% 的 Token 并让模型基于剩余上下文进行恢复预测，使每个 Token 的表征深度吸收了左右两侧的全局上下文语义。

如何从 BERT 中提取句子向量？

在 BERT 架构下，提取单句表征常见以下三种方式：

1. 取[CLS]标记的隐藏层向量：预训练时[CLS]用于下句预测（NSP），包含一定整句信息。

2. 所有 Token 向量均值池化（Mean Pooling）：计算整句所有 Token 对应输出向量的平均值（实验证明表征质量通常优于单纯取[CLS]）。

3. 最大池化（Max Pooling）：取各维度特征的最大值。

局限性：原生 BERT 向量坍塌（Anisotropy Problem）

学术界研究发现，直接从原生 BERT 或 RoBERTa 中取出的句向量在进行余弦相似度计算时，效果非常差，甚至弱于 GloVe 词向量的简单平均。

其根本原因在于向量各向异性（Anisotropy）：由于高频词与词频偏差，预训练生成的上下文隐空间向量在几何分布上退化收缩到了一个极狭窄的高维锥形区域（Cone）内，使得任意两句原本不相关的文本计算出的余弦相似度均在 0.8 以上，严重失去了区分度。

五、 第四代：面向句子检索的密集嵌入（Dense Sentence Embeddings）

为了解决原生 Transformer 向量的各向异性问题，并使其适应高并发检索场景，句子级专用嵌入算法应运而生。

1. Sentence-BERT（SBERT）：孪生网络与检索加速

如果直接使用原生 BERT 比较两段文本的相似度，必须将两段文本拼接为[CLS] 句子 A [SEP] 句子 B [SEP]输入模型进行交叉注意力计算（Cross-Encoder）。

计算复杂度危机：若知识库中有 10,000 条候选文档，当用户发起一次查询时，Cross-Encoder 需要进行 10,000 次笨重的 Transformer 全向计算，单次检索延迟长达数秒，在工业级生产环境中完全无法落地。

SBERT 双塔架构（Bi-Encoder）

2019 年 Reimers 等人提出了Sentence-BERT，采用孪生网络（Siamese Network）结构：

句子 A ──► [ BERT 共享权重塔 ] ──► [ Mean Pooling ] ──► 句向量 u (d维) │ 计算 Cosine(u, v) │ 句子 B ──► [ BERT 共享权重塔 ] ──► [ Mean Pooling ] ──► 句向量 v (d维)

核心优势

1. 预计算与毫秒级检索：知识库中的数亿条文档向量可以在离线阶段预先全部计算完毕，存入向量数据库。在线检索时，只需对用户 Query 进行一次单塔推理生成向量u，随后直接使用高维近似近邻搜索算法（如 HNSW、IVF-PQ）在毫秒级内完成大规模余弦相似度比对。

2. 分类与回归双重目标训练：通过在微调阶段引入推导损失（如将(u, v, |u - v|)拼接后接入分类器），强制让句向量在高维空间中按照语义逻辑分离开来，有效缓解了原生 BERT 的各向异性。

2. SimCSE：对比学习（Contrastive Learning）框架

2021 年陈丹琦团队提出的SimCSE（Simple Contrastive Sentence Embedding）奠定了现代句子级 Embedding 预训练的标准范式。

其核心逻辑是：拉近相似样本在向量空间中的距离，推远无关样本的距离。

【SimCSE 对比学习机制】 原始句子 x_i │ ┌────────────────┴────────────────┐ │ (输入同一 BERT 模型，不同 Dropout 掩码) │ ▼ ▼ 向量 h_i 向量 h_i^+ (正样本锚点) (正样本配对) │ │ └──────────────┬──────────────────┘ │ 计算 Cosine 相似度 (强制拉近) ▼ 对比损失函数 (InfoNCE) ▲ │ 强制推远其他 batch 内负样本 ┌──────────────┴──────────────────┐ │ │ 向量 h_j 向量 h_k (负样本句子 j) (负样本句子 k)

A. 无监督 SimCSE（Unsupervised）

• 巧妙的数据增强策略：不需要任何人工标注或同义改写模型，直接将同一个句子输入 BERT两次。

• 由于 Transformer 内部默认启用了Dropout（随机神经元失活，通常概率为 0.1），同一个句子在两次前向传播中会产生略微不同的输出向量h_i和h_i^+。

• 将(h_i, h_i^+)视为语义完全相同的正样本对，并将当前 Mini-batch 内的所有其他句子视为负样本对。

B. 目标损失函数（InfoNCE Loss）

对于 Batch 内的样本i，其损失函数定义为：

L_i = - log [ exp( sim(h_i, h_i^+) / τ ) / ∑ exp( sim(h_i, h_j^+) / τ ) ] (其中分母对当前 batch 内所有样本 j 从 1 到 N 求和，τ 为温度超参数)

C. 理论解释：对齐度（Alignment）与均匀度（Uniformity）

SimCSE 论文证明，优异的 Embedding 空间必须同时满足两个属性：

• 对齐度（Alignment）：相似文本生成的向量必须在空间中紧密贴合（距离接近 0）。

• 均匀度（Uniformity）：全量数据的向量应该均匀地分散在高维单位超球面上，保留最大信息熵，彻底消除了各向异性缺陷。

3. 当前主流前沿模型家族

A. BGE（BAAI General Embedding）系列与 BGE-M3

由北京智源人工智能研究院推出的 BGE 系列长期霸榜海内外评测基准。

• BGE-M3 突破：

  • Multi-Linguality（多语言性）：支持 100+ 全球语种的高精度跨语言检索。

  • Multi-Granularity（多粒度）：最大上下文支持扩充至 8192 Tokens。

  • Multi-Functionality（混合检索三合一）：单一模型内部同时输出Dense（稠密向量）、Sparse（类 BM25 稀疏词权向量）和Multi-Vector（ColBERT 细粒度多向量），使得单次推理即可完成多路召回融合。

B. OpenAI Text-Embedding 系列（text-embedding-3-small/large）与 MRL

OpenAI 发布的第三代嵌入模型引入了前沿的套娃表示学习（Matryoshka Representation Learning, MRL）技术。

• 核心机理：在损失函数中对向量的前d'维（如 256、512 维）以及全维度（如 1536、3072 维）同时进行监督约束。

• 实际价值：开发者可在客户端直接物理截断（Slice）向量，例如直接取向量的前 512 维使用。其性能仅微幅下滑 1~2%，但能为向量数据库直接减少66% 的内存消耗与索引存储成本。

C. E5（Embedding from bidirectional Encoder representations）

微软开源的 E5 模型首次在预训练中确立了任务指令前缀规范。

• 在输入给模型前，通过在文本头部添加微小的自然语言前缀（如query: ...或passage: ...），引导双塔网络自适应非对称检索场景中“短问长答”的语义分布不对称问题。

六、 第五代：多粒度交互、多模态与长上下文新范式

随着 RAG 和多模态大模型的爆发，传统“将整段甚至整篇文档强行压缩为一个固定维度单一向量”的模式遭遇瓶颈。

1. ColBERT 与晚期多向量交互（Late Interaction）

双塔模型（如 SBERT/BGE）速度极快但会丢失微观局部匹配细节；Cross-Encoder 精度极高但计算速度无法接受。ColBERT在两者之间提出了折中架构。

【单向量 Bi-Encoder】: Query ➔ [Encoder] ➔ 单一向量 Q (1536维) ──┐ ├─► 计算单次 Cosine 相似度 (微观细节丢失) Doc ➔ [Encoder] ➔ 单一向量 D (1536维) ──┘ 【ColBERT 晚期交互 (Late Interaction)】: Query ➔ [Encoder] ➔ 词级矩阵: [q_1, q_2, ..., q_m] (每个词一个向量) │ │ │ ▼ ▼ ▼ Doc ➔ [Encoder] ➔ 词级矩阵: [d_1, d_2, ..., d_n] (每个词一个向量) │ ▼ 核心 MaxSim 算子 Score(Q, D) = ∑ [ max ( q_i · d_j ) ] (对 Query 的每个词在 Doc 全词中找最大点积再求和)

特性优势

• 离线阶段依然可以预先将文档编码为多向量矩阵并建立索引。

• 在检索阶段，通过高度优化的矩阵点积与MaxSim 操作符，在保持毫秒级响应的同时，完全保留了词与词之间的局部对齐能力，在复杂多跳检索中精度显著压制常规双塔。

2. Late Chunking（长文本晚期分块技术）

由 Jina AI 在 2024 年底提出的Late Chunking，正在重塑 RAG 系统的数据切分与向量化流水线。

传统 Early Chunking 的语义断裂痛点

传统的处理流程是“先切分文档，再计算向量”：

长文本 ──► 物理切分为 Chunk 1 和 Chunk 2 ──► 分别单独输入 Embedding 模型

• 缺陷：如果 Chunk 2 中出现代词“该公司在上个季度亏损”，由于在切分时已经失去了 Chunk 1 中“该公司指代甲骨文”的前置信息，Chunk 2 的向量表征将缺失核心主语，造成永久性的语义丢失。

Late Chunking 运作流水线

Late Chunking 彻底倒置了这一顺序：“先整体输入编码，再在隐状态层分块”：

1. 完整长文档 (8000 Tokens) ──► 整体送入支持长文本的 Transformer 模型 │ ▼ 全文注意力计算 (所有词进行全局交互) 2. 提取最后一个隐层状态矩阵: [ h_1, h_2, ..., h_8000 ] │ ▼ 根据原始切分边界直接对隐层切片 3. Chunk 1 隐层切片: [h_1 ... h_500] ──► Mean Pooling ──► 向量 1 (包含全局上下文) Chunk 2 隐层切片: [h_501 ... h_1000]──► Mean Pooling ──► 向量 2 (代词已精准吸收主语)

实际收益

切分出来的每一个子 Chunk 向量不仅精炼聚焦，同时由于在 Transformer 隐层中吸收了整篇文档的注意力流动，完全克服了传统切块造成的上下文孤岛与语义断裂问题。

3. 多模态统一对齐嵌入：CLIP 与 SigLIP

除了纯文本，以 OpenAICLIP（Contrastive Language-Image Pre-training）和 GoogleSigLIP为代表的多模态嵌入算法，打通了文本与图像之间的语义壁垒。

图像输入 ──► [ Vision Transformer (ViT) ] ──► 图像特征向量 I_i │ 对齐同一特征空间 (余弦相似度最大化) │ 文本描述 ──► [ Text Transformer Encoder ] ──► 文本特征向量 T_i

• 双塔对比机制：在同一个高维空间内，图像向量与对应描述文字向量的夹角接近 0，而与其他图像或文字相互排斥正交。

• 应用落地：使得系统天然具备以文搜图、以图搜图以及图文混合跨模态检索的能力。

七、 工业级选型决策矩阵与 MTEB 评测体系

面对种类繁多的 Embedding 算法与模型，架构师应当依据业务场景的硬性约束进行选型。

1. 主流 Embedding 技术全景横向对比

2. 评测标准：权威 MTEB（Massive Text Embedding Benchmark）

在挑选具体的开源模型权重时，不应仅依赖官方宣传，应参考由 Hugging Face 维护的MTEB 权威排行榜。MTEB 涵盖了八大核心评测任务维度：

1. Retrieval（信息检索）：在海量语料库中检索相关文档，核心看NDCG@10指标（RAG 场景最关键权重）；

2. Semantic Textual Similarity (STS)：句子相似度打分与人类标注的相关系数（Spearman 相关度）；

3. Classification（文本分类）：向量作为特征输入逻辑回归分类器的准确率；

4. Clustering（聚类）：如对新闻或短文本按照主题进行无监督聚类（V-measure）；

5. Reranking（重排序）：对初步召回结果的精准排序能力；

6. Pair Classification（对分类）：判断两个句子是否为同义或蕴含关系；

7. Summarization（文本摘要）；

8. Bitext Mining（双语挖掘）：跨语言句对匹配。

八、 生产级 Python 实战：多模型统一向量化与维度裁剪

下面提供一份基于 Python 与sentence-transformers库的完整代码实战，演示如何使用现代化 Embedding 模型完成：

1. 动态添加前缀指令；

2. 批量推理与向量生成；

3. 基于 MRL（套娃表示学习）的手动维度物理裁剪；

4. 向量 L2 归一化与余弦相似度计算。

1. 环境准备

pip install sentence-transformers torch numpy scikit-learn

2. 核心源码实现

import numpy as np import torch import torch.nn.functional as F from sentence_transformers import SentenceTransformer from typing import List class ProductionEmbeddingEngine: """ 生产级向量化服务引擎，支持批处理、指令前缀与 MRL 维度裁剪 """ def __init__(self, model_name: str = "BAAI/bge-small-zh-v1.5", target_dim: int = None): print(f"正在加载向量化模型: {model_name} ...") # 优先使用 GPU，若无则使用 CPU self.device = "cuda" if torch.cuda.is_available() else "cpu" self.model = SentenceTransformer(model_name, device=self.device) self.target_dim = target_dim def encode_queries(self, queries: List[str]) -> np.ndarray: """ 对用户查询（Query）进行向量化，通常建议附带任务前缀引导 """ # BGE 等前沿模型对 Query 推荐添加特定前缀，以增强非对称检索精度 instruction = "为这个句子生成表示以用于检索相关文章：" prefixed_queries = [f"{instruction}{q}" for q in queries] return self._encode_and_process(prefixed_queries) def encode_documents(self, documents: List[str]) -> np.ndarray: """ 对知识库文档（Passage/Document）进行向量化，无需添加 Query 前缀 """ return self._encode_and_process(documents) def _encode_and_process(self, texts: List[str]) -> np.ndarray: # 1. 批量计算基础向量 embeddings = self.model.encode( texts, batch_size=32, show_progress_bar=False, normalize_embeddings=False # 先不归一化，留待后续维度裁剪后再处理 ) # 2. 如果指定了 MRL 维度裁剪（如将 512 维裁剪至 256 维） if self.target_dim is not None and self.target_dim < embeddings.shape[1]: # 物理截断多余维度 embeddings = embeddings[:, :self.target_dim] # 3. 必须重新进行 L2 归一化，确保裁剪后向量模长为 1 norms = np.linalg.norm(embeddings, axis=1, keepdims=True) # 防止除以零 norms = np.where(norms == 0, 1e-12, norms) normalized_embeddings = embeddings / norms return normalized_embeddings def compute_similarity_matrix(query_vecs: np.ndarray, doc_vecs: np.ndarray) -> np.ndarray: """ 由于向量已经过 L2 归一化，余弦相似度直接等价于矩阵点积 (Q @ D.T) """ return np.dot(query_vecs, doc_vecs.T) # ==================== 运行测试与验证 ==================== if __name__ == "__main__": # 初始化引擎，测试将其原生 512 维向量裁剪至 256 维 engine = ProductionEmbeddingEngine(model_name="BAAI/bge-small-zh-v1.5", target_dim=256) # 模拟知识库中的三份技术文档 docs = [ "Apache Tika 是一个开源的文档内容提取工具包，能够解析 PDF、Word 和 PPT 等多种文件格式。", "在 RAG 架构中，数据分块策略（Chunking）对后续的语义检索精度有着决定性的影响。", "深度学习模型训练通常依赖于 GPU 并行计算与反向传播算法进行梯度更新。" ] # 模拟用户的问题 Query user_query = ["如何从各种格式的 PDF 和 Office 文档中提取正文内容？"] # 执行向量化 doc_embeddings = engine.encode_documents(docs) query_embeddings = engine.encode_queries(user_query) print(f"文档向量生成完毕，矩阵维度: {doc_embeddings.shape}") print(f"查询向量生成完毕，矩阵维度: {query_embeddings.shape}") # 计算匹配相似度 sim_scores = compute_similarity_matrix(query_embeddings, doc_embeddings)[0] print("\n=== 相似度匹配结果 ===") for idx, score in enumerate(sim_scores): print(f"Doc [{idx + 1}] 匹配得分: {score:.4f} | 内容: {docs[idx]}") best_match_idx = int(np.argmax(sim_scores)) print(f"\n最佳匹配结果为: Doc [{best_match_idx + 1}] (得分最高)")

九、 总结与未来趋势展望

回顾 Embedding 技术的演进脉络，其演化的核心驱动力始终围绕着两个基本矛盾：

1. 语义表达深度 vs 计算复杂度：从最初无法表达语义的稀疏 One-Hot，到静态查找的 Word2Vec，再到依赖庞大 Transformer 实时计算的 BERT/SBERT，算法不断在表达精度与推理延迟之间寻找帕累托最优解。

2. 粗粒度全篇压缩 vs 局部细粒度对齐：从“整句/整段单向量”向 ColBERT 多向量延迟交互以及 Late Chunking 的演进，反映了工业界对复杂语境下细粒度局部信息捕捉的迫切需求。

未来的关键演化方向包括：

• 原生多模态融合（Native Multimodal Embedding）：不再是通过桥接对齐文字与图像，而是由单一基础模型在原生自回归训练中直接吞吐文本、语音、视频与代码的多模态统一表示。

• 超长上下文与极端压缩：伴随 100K~1M Token 上下文的普及，如何在保持极高检索精度的前提下，将几万字的长篇规章压缩为更小维度的轻量表征，成为降低向量数据库成本的关键工程赛道。

• 与大模型推理结合的动态表示：传统双塔表示静态不变，未来 Embedding 将更多与小参数量推理模型联动，使得表征向量能够随着交互多轮对话的历史动态重构，实现真正意义上的自适应情境感知。