06-FAISS向量数据库

①.基于 FAISS（Facebook 开源的高效向量检索库）和 LangChain 构建的中文文本向量检索系统，核心功能是将文本数据向量化后存入 FAISS 向量库，并实现相似性检索。

1.安装FAISS

pip install faiss-cpu，也可以是gpu，看具体使用情况

2.实现代码

import faiss from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_huggingface import HuggingFaceEmbeddings from langchain_core.documents import Document model_name = "BAAI/bge-large-zh-v1.5" model_kwargs = {'device': 'cpu'} encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity bge_hf_embedding = HuggingFaceEmbeddings( model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs, ) #1.初始化数据库 #先创建索引 #向量维度 index=faiss.IndexFlatL2(1024) vector_store=FAISS( embedding_function=bge_hf_embedding, index=index, docstore=InMemoryDocstore(), index_to_docstore_id={} ) # 2、 准备数据（Document） #page_content里面的数据必须经过向量化，不需要向量化的数据放在metadata document_1 = Document( page_content="今天早餐我吃了巧克力薄煎饼和炒蛋。", metadata={"source": "tweet", "time": "上午"}, ) document_2 = Document( page_content="明天的天气预报是阴天多云，最高气温62华氏度。", metadata={"source": "news"}, ) document_3 = Document( page_content="正在用LangChain构建一个激动人心的新项目——快来看看吧！", metadata={"source": "tweet"}, ) document_4 = Document( page_content="劫匪闯入城市银行，盗走了100万美元现金。", metadata={"source": "news"}, ) document_5 = Document( page_content="哇！那部电影太精彩了，我已经迫不及待想再看一遍。", metadata={"source": "tweet"}, ) document_6 = Document( page_content="新iPhone值得这个价格吗？阅读这篇评测一探究竟。", metadata={"source": "website"}, ) document_7 = Document( page_content="当今世界排名前十的足球运动员。", metadata={"source": "website"}, ) document_8 = Document( page_content="LangGraph是构建有状态智能体应用的最佳框架！", metadata={"source": "tweet"}, ) document_9 = Document( page_content="由于对经济衰退的担忧，今日股市下跌500点。", metadata={"source": "news"}, ) document_10 = Document( page_content="我有种不好的预感，我要被删除了 :(", metadata={"source": "tweet"}, ) documents = [ document_1, document_2, document_3, document_4, document_5, document_6, document_7, document_8, document_9, document_10, ] ids=['id'+str(i+1) for i in range(len(documents))] vector_store.add_documents(documents,ids=ids) #把数据库写入磁盘 vector_store.save_local('../faiss_db') #语言检索 resp=vector_store.similarity_search('今天的投资建议',2) for i in resp: print(i.page_content) print(type(i))

输出：

左边的文件栏也会出现保存的数据库：

②.从保存的向量数据库中进行检索

from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_core.embeddings import Embeddings from sentence_transformers import SentenceTransformer from langchain_core.documents import Document import faiss class CustomQwen3Embeddings(Embeddings): ''' 定义一个Qwen3的Embedding和lang'chain整合的类 ''' def __init__(self,model_name): self.qwen3_embedding = SentenceTransformer(model_name) #输入的问题向量化 def embed_query(self, text: str) -> list[float]: return self.embed_documents([text])[0] #文本内容向量化 def embed_documents(self, texts: list[str]) -> list[list[float]]: return self.qwen3_embedding.encode(texts) qwen3=CustomQwen3Embeddings('Qwen/Qwen3-Embedding-0.6B') #加载数据库 vector_store=FAISS.load_local('../faiss_db',embeddings=qwen3,allow_dangerous_deserialization=True) resp = vector_store.similarity_search_with_score('有美食的内容吗', k=4, filter={"source": 'tweet'}) # 带分数 for i,score in resp: print(type(i)) print(i) print(i.id) print(f"{score:3f}")

输出：