Llama Factory+LangChain：打造企业知识库问答系统
作为一名IT咨询顾问，我经常遇到客户希望将内部文档转化为智能问答系统的需求。最近接到一个紧急任务：客户需要在两天内看到可演示的成果。经过调研，我发现Llama Factory结合LangChain的方案能快速实现这一目标，下面分享我的实战经验。
这类任务通常需要GPU环境，目前CSDN算力平台提供了包含该镜像的预置环境，可快速部署验证。Llama Factory是一个开源的低代码大模型微调框架，支持多种主流模型；而LangChain则擅长文档处理和问答流程编排，两者结合能快速搭建企业知识库系统。
为什么选择Llama Factory+LangChain方案
在时间紧迫的情况下，这个组合有三大优势：
- 开箱即用：预装了Qwen、ChatGLM等常见模型，省去环境配置时间
- 文档处理自动化：LangChain能自动切分、向量化企业文档
- 可视化界面：Llama Factory提供Web UI，方便演示和调试
我实测下来，从零开始到完成基础问答系统部署，整个过程可以在4小时内完成。对于咨询演示场景，这完全能满足两天的时间要求。
快速部署环境
- 在GPU环境中拉取预置镜像（包含Llama Factory和LangChain）
bash docker pull csdn/llama-factory-langchain:latest
- 启动容器并暴露Web界面端口
bash docker run -it --gpus all -p 7860:7860 -p 8000:8000 csdn/llama-factory-langchain:latest
- 访问两个关键服务：
- Llama Factory Web UI:
http://<服务器IP>:7860 - LangChain API:
http://<服务器IP>:8000/docs
提示：如果使用云平台，记得在安全组中开放7860和8000端口。
准备企业文档数据
将客户提供的文档（PDF/Word/Excel等）放入指定目录：
mkdir -p /data/company_docs # 上传文档到此目录LangChain支持以下常见格式： - PDF - Word(.docx) - Excel(.xlsx) - PowerPoint(.pptx) - 纯文本(.txt)
配置知识库问答系统
- 在LangChain中创建文档处理流水线：
from langchain.document_loaders import DirectoryLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS # 加载文档 loader = DirectoryLoader('/data/company_docs') documents = loader.load() # 切分文档 text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) texts = text_splitter.split_documents(documents) # 创建向量库 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = FAISS.from_documents(texts, embeddings) vectorstore.save_local("/data/vectorstore")- 在Llama Factory中选择合适的模型：
- 中文场景推荐Qwen-7B或ChatGLM3-6B
显存有限时可选择Qwen-1.8B
配置问答链：
from langchain.chains import RetrievalQA from langchain.llms import HuggingFacePipeline # 加载Llama Factory中的模型 llm = HuggingFacePipeline.from_model_id( model_id="Qwen/Qwen-7B-Chat", task="text-generation", device=0 ) # 创建问答链 qa_chain = RetrievalQA.from_chain_type( llm=llm, retriever=vectorstore.as_retriever(), return_source_documents=True )测试与优化问答效果
通过Web界面测试问答效果时，我总结了几个实用技巧：
- 提示词工程：在问题前加入"根据以下上下文回答："能显著提升准确性
- 分块大小：技术文档建议500-800字符，合同类文档建议300-500字符
- 温度参数：演示环境设为0.3-0.5可平衡创造性和稳定性
常见问题及解决方案：
- 回答与文档无关：
- 检查向量库是否成功创建
调整检索返回的结果数量(top_k)
显存不足：
- 换用更小的模型如Qwen-1.8B
减少max_new_tokens参数值
处理速度慢：
- 启用量化(8bit/4bit)
- 限制并发请求数
进阶功能与演示准备
为了让演示更出彩，我通常会准备以下功能：
- 历史对话：使用ConversationBufferMemory实现多轮对话
- 溯源功能：展示回答引用的具体文档段落
- 批量测试：准备10-20个典型问题展示系统能力
关键代码片段：
# 添加对话记忆 from langchain.memory import ConversationBufferMemory memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True) # 增强版问答链 qa_chain = ConversationalRetrievalChain.from_llm( llm=llm, retriever=vectorstore.as_retriever(), memory=memory )总结与扩展方向
通过Llama Factory+LangChain的组合，我成功在客户要求的时间内交付了可演示的知识库问答系统。这个方案特别适合需要快速验证概念的咨询场景。
后续可以探索的优化方向：
- 微调模型：使用客户数据微调模型，提升领域专业性
- 多文档类型：处理技术图纸、扫描件等特殊格式
- 权限控制：不同部门访问不同的文档子集
注意：生产环境部署需要考虑安全审计、访问控制等企业级需求，这超出了快速演示的范围。
现在你就可以尝试上传自己的文档，体验从零搭建问答系统的全过程。实际操作中遇到任何问题，欢迎在评论区交流讨论。
