Elasticsearch 结合向量检索：10 分钟为你的电商项目加上“以图搜图”和“语义搜索”功能-开发者社区

🛍️ 前言：你的搜索功能该升级了

做电商项目的兄弟们，是不是还在苦恼这些问题？

用户搜“红色连衣裙”，结果搜不到标题里写着“朱砂红长裙”的商品（关键词不匹配）。
用户看到一张网红同款鞋的照片，想搜同款，但不知道叫什么名字（无法以图搜图）。
搜索结果虽然包含关键词，但完全不是用户想要的东西（缺乏语义理解）。

传统的倒排索引（Inverted Index）已经到了瓶颈。
今天，我们不需要引入新的数据库，直接利用Elasticsearch 8.x的原生向量检索能力，配合开源 Embedding 模型，为你的系统装上“AI 的眼睛”。

🧠 核心原理：万物皆可 Vector

以前我们存商品，存的是 text：“耐克跑鞋”。
现在我们存商品，存的是 vector（向量）：[0.12, -0.98, 0.55, ...]。

向量检索的魔法在于：

语义搜索：将“朱砂红长裙”和“红色连衣裙”转换成向量，它们在数学空间里距离非常近，所以能搜出来。
以图搜图：使用CLIP 模型，它能把“鞋子的图片”和“鞋子的描述文字”映射到同一个向量空间。

架构流程图：

🛠️ Step 1: 环境准备与 Mapping 定义

首先，确保你的 Elasticsearch 版本 >= 8.0（低版本虽然也能装插件，但 8.x 原生性能最好）。

我们需要在索引中定义一个dense_vector类型的字段。

PUT/products{"mappings":{"properties":{"name":{"type":"text"},"price":{"type":"double"},"image_url":{"type":"keyword"},"product_vector":{"type":"dense_vector","dims":512,// 维度需与模型输出一致，CLIP通常是512"index":true,"similarity":"cosine"// 使用余弦相似度计算距离}}}}

🐍 Step 2: Python 脚本生成向量 (Embedding)

我们使用 OpenAI 开源的CLIP 模型，它最擅长处理“图文多模态”场景。
安装依赖：pip install sentence-transformers

fromsentence_transformersimportSentenceTransformerfromelasticsearchimportElasticsearch# 1. 连接 ESes=Elasticsearch("http://localhost:9200",basic_auth=("elastic","password"))# 2. 加载 CLIP 模型 (支持多语言和图片)# clip-ViT-B-32 是一个经典的图文匹配模型model=SentenceTransformer('clip-ViT-B-32')# 3. 模拟商品数据products=[{"name":"红色丝绒晚礼服","image":"dress.jpg"},{"name":"复古真皮马丁靴","image":"boots.jpg"}]# 4. 向量化并入库forpinproducts:# 这里演示文本向量化，如果是图片需使用 Image.open()embedding=model.encode(p["name"])doc={"name":p["name"],"product_vector":embedding.tolist()# 转为 List 存入 ES}es.index(index="products",document=doc)print(f"商品{p['name']}已入库")

🔎 Step 3: 发起 KNN 搜索

现在，用户输入了“参加晚宴穿的衣服”（注意：标题里没有这些字），我们要进行语义搜索。

# 用户查询user_query="参加晚宴穿的衣服"query_vector=model.encode(user_query).tolist()# ES KNN 搜索 DSLsearch_body={"knn":{"field":"product_vector","query_vector":query_vector,"k":10,# 返回最相似的 10 个"num_candidates":100},"_source":["name","price"]}res=es.search(index="products",body=search_body)forhitinres['hits']['hits']:print(f"推荐商品:{hit['_source']['name']}(相似度:{hit['_score']})")

预期结果：
虽然用户的搜索词里没有“红”、“丝绒”、“礼服”，但模型“理解”了晚宴需要穿礼服，因此 ES 会高分返回“红色丝绒晚礼服”。

🚀 进阶技巧：混合搜索 (Hybrid Search)

在实际电商场景中，向量搜索虽然懂语义，但有时候不够精确（比如搜具体的型号 SKU）。
最佳实践是：关键字搜索 + 向量搜索混合使用。

在 ES 8.x 中，这非常简单，使用RRF (Reciprocal Rank Fusion)自动融合排名：

GET/products/_search{"knn":{"field":"product_vector","query_vector":[0.1,...],"k":10},"query":{"match":{"name":"晚礼服"}},"rank":{"rrf":{// 倒数排名融合算法"window_size":100,"rank_constant":20}}}