Llama Factory微调+LangChain集成：构建知识增强型AI助手-开发者社区

Llama Factory微调+LangChain集成：构建知识增强型AI助手

如果你正在寻找一种高效的方式，将公司文档知识注入大语言模型，并构建一个能够回答专业问题的AI助手，那么Llama Factory微调工具与LangChain的集成方案可能正是你需要的。本文将带你从零开始，使用预集成环境快速完成模型微调和知识增强应用搭建，避开常见的格式转换和依赖管理陷阱。

为什么选择Llama Factory+LangChain方案

在构建企业级AI助手时，我们通常面临两个核心挑战：

如何让大语言模型理解特定领域的专业知识（如公司内部文档）
如何将微调后的模型无缝集成到应用流程中

Llama Factory作为当前最受欢迎的微调框架之一，提供了以下优势：

支持多种微调方法（全参数/LoRA/QLoRA等）
内置对主流开源模型（如Qwen、Baichuan、LLaMA等）的适配
提供显存优化策略，降低硬件门槛

而LangChain则解决了模型与应用之间的"最后一公里"问题：

内置文档加载和文本分割工具
支持多种向量数据库连接
提供灵活的链式调用机制

环境准备与快速启动

这类任务通常需要GPU环境，目前CSDN算力平台提供了包含该镜像的预置环境，可快速部署验证。我们使用的镜像已预装：

Python 3.9+和必要依赖
PyTorch with CUDA 11.8
LLaMA-Factory最新版
LangChain及相关组件
Jupyter Notebook调试环境

启动环境后，可以通过以下命令验证安装：

python -c "from llama_factory import get_trainer; print('LLaMA-Factory可用')" python -c "import langchain; print(f'LangChain版本: {langchain.__version__}')"

三步完成知识增强型AI助手

1. 准备训练数据

创建data目录并准备JSON格式的训练文件，示例结构如下：

[ { "instruction": "公司年假政策是什么？", "input": "", "output": "根据2023年员工手册，正式员工每年享有15天带薪年假，试用期员工每月累积1天。" }, { "instruction": "报销流程需要哪些步骤？", "input": "", "output": "1. 填写电子报销单 2. 上传发票扫描件 3. 部门主管审批 4. 财务部审核 5. 15个工作日内到账" } ]

提示：可以使用内置工具将PDF/Word等文档转换为训练格式：python from llama_factory.data import convert_docs_to_json convert_docs_to_json("公司文档.pdf", "data/train.json")

2. 配置并启动微调

创建train_args.json配置文件：

{ "model_name_or_path": "Qwen/Qwen-7B", "data_path": "data", "finetuning_type": "lora", "output_dir": "output", "per_device_train_batch_size": 4, "gradient_accumulation_steps": 4, "lr": 2e-5, "logging_steps": 10, "save_steps": 200, "num_train_epochs": 3, "fp16": true }

启动训练：

python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_path Qwen/Qwen-7B \ --dataset_dir data \ --output_dir output \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --lr 2e-5 \ --logging_steps 10 \ --save_steps 200 \ --learning_rate 2e-5 \ --num_train_epochs 3 \ --fp16

注意：显存不足时可尝试以下优化： - 减小per_device_train_batch_size- 启用--fp16或--bf16- 使用--quantization_bit 4进行4bit量化

3. 集成LangChain构建应用

创建app.py实现问答服务：

from langchain.llms import HuggingFacePipeline from langchain.chains import RetrievalQA from llama_factory.infer import load_model_and_tokenizer # 加载微调后的模型 model, tokenizer = load_model_and_tokenizer("output") # 创建LangChain兼容的pipeline llm = HuggingFacePipeline.from_model_id( model_id="output", task="text-generation", pipeline_kwargs={"temperature": 0.2, "max_length": 1024} ) # 构建知识库检索链（示例） from langchain.document_loaders import DirectoryLoader from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS loader = DirectoryLoader('company_docs/', glob="**/*.pdf") docs = loader.load() embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh") db = FAISS.from_documents(docs, embeddings) qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=db.as_retriever() ) # 运行问答 query = "年假可以累积到下一年吗？" print(qa_chain.run(query))

常见问题与解决方案

微调过程中的显存问题

根据实测，不同规模模型的显存需求大致如下：

| 模型规模 | 全参数微调 | LoRA (rank=8) | QLoRA (4bit) | |---------|-----------|--------------|-------------| | 7B | 80GB+ | 24GB | 12GB | | 13B | 160GB+ | 32GB | 16GB | | 70B | 640GB+ | 64GB | 32GB |

优化建议：

优先使用LoRA/QLoRA等参数高效微调方法
减小per_device_train_batch_size（建议从1开始尝试）
降低max_length（通常512足够处理大部分文档）

LangChain集成时的格式转换

常见问题包括：

模型输出格式与LangChain预期不符
解决方案：实现自定义的OutputParserpython from langchain.schema import BaseOutputParser class CustomParser(BaseOutputParser): def parse(self, text: str): return text.split("答案:")[-1].strip()
文档加载时编码错误
解决方案：指定编码或使用备用加载器python loader = UnstructuredFileLoader("doc.pdf", mode="elements", strategy="fast")

进阶技巧与扩展方向

完成基础集成后，你可以进一步优化AI助手：

添加对话记忆功能python from langchain.memory import ConversationBufferMemory memory = ConversationBufferMemory() qa_chain = ConversationalRetrievalChain.from_llm( llm, db.as_retriever(), memory=memory )
实现多文档类型支持python from langchain.document_loaders import ( PyPDFLoader, Docx2txtLoader, UnstructuredExcelLoader ) loaders = { '.pdf': PyPDFLoader, '.docx': Docx2txtLoader, '.xlsx': UnstructuredExcelLoader }
添加检索增强生成(RAG) ```python from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import LLMChainExtractor

compressor = LLMChainExtractor.from_llm(llm) compression_retriever = ContextualCompressionRetriever( base_compressor=compressor, base_retriever=db.as_retriever() ) ```