【大模型】-LangChain--RAG文档系统

1.完整代码

由于使用的是通义，所以代码改造了下，因为openAI需要钱

importstreamlitasstimporttempfileimportosfromlangchain_classic.memoryimportConversationBufferMemoryfromlangchain_community.chat_message_historiesimportStreamlitChatMessageHistoryfromlangchain_community.document_loadersimportTextLoaderfromlangchain_community.vectorstoresimportChromafromlangchain_community.embeddingsimportDashScopeEmbeddingsfromlangchain_core.promptsimportPromptTemplatefromlangchain_text_splittersimportRecursiveCharacterTextSplitterfromlangchain_classic.agentsimportAgentExecutor,create_tool_calling_agentfromlangchain_community.callbacks.streamlitimportStreamlitCallbackHandlerfromlangchain_openaiimportChatOpenAIfromlangchain_community.chat_modelsimportChatTongyifromlangchain_core.toolsimporttool,create_retriever_toolfromdotenvimportload_dotenv load_dotenv()# 设置Streamlit应用的页面标题和布局st.set_page_config(page_title="文档问答",layout="wide")# 设置应用的标题st.title("📚 文档问答系统")# 上传txt文件，允许上传多个文件uploaded_files=st.sidebar.file_uploader(label="上传txt文件",type=["txt"],accept_multiple_files=True)# 如果没有上传文件，提示用户上传文件并停止运行ifnotuploaded_files:st.info("请先上传按TXT文档。")st.stop()@st.cache_resource(ttl="1h")defconfigure_retriever(uploaded_files):# 读取上传的文档，并写入一个临时目录docs=[]temp_dir=tempfile.TemporaryDirectory(dir=r"D:\蒋辉\AI大模型")forfileinuploaded_files:temp_filepath=os.path.join(temp_dir.name,file.name)withopen(temp_filepath,"wb")asf:f.write(file.getvalue())# 使用TextLoader加载文本文件loader=TextLoader(temp_filepath,encoding="utf-8")docs.extend(loader.load())# 进行文档分割text_splitter=RecursiveCharacterTextSplitter(chunk_size=1000,chunk_overlap=200)splits=text_splitter.split_documents(docs)# 使用向量模型生成文档的向量表示embeddings=DashScopeEmbeddings(model="text-embedding-v3",dashscope_api_key="sk-秘钥")vectordb=Chroma.from_documents(splits,embeddings)# 创建文档检索器retriever=vectordb.as_retriever()returnretriever# 配置检索器retriever=configure_retriever(uploaded_files)# 如果session_state中没有消息记录或用户点击了清空聊天记录按钮，则初始化消息记录if"messages"notinst.session_stateorst.sidebar.button("清空聊天记录"):st.session_state["messages"]=[{"role":"assistant","content":"您好，我是文档问答助手"}]# 加载历史聊天记录formsginst.session_state.messages:st.chat_message(msg["role"]).write(msg["content"])# 创建用于文档检索的工具retrieval_tool=create_retriever_tool(retriever,name="文档检索",description="用于检索用户提出的问题，并基于检索到的文档内容进行回复.",)tools=[retrieval_tool]# 创建聊天消息历史记录msgs=StreamlitChatMessageHistory()# 创建对话缓冲区内存memory=ConversationBufferMemory(chat_memory=msgs,return_messages=True,memory_key="chat_history",output_key="output")# 指令模板instructions="""您是一个设计用于查询文档来回答问题的代理。 您可以使用文档检索工具，并基于检索内容来回答问题 您可能不查询文档就知道答案，但是您仍然应该查询文档来获得答案。 如果您从文档中找不到任何信息用于回答问题，则只需返回“抱歉，这个问题我还不知道。”作为答案。 """# 基础提示模板 - 修改这里！base_prompt_template=""" {instructions} TOOLS: ------ You have access to the following tools: {tools} To use a tool, please use the following format: Thought: Do I need to use a tool? Yes Action: The action to take, should be one of [{tool_names}] Action Input: {input} Observation: the result of the action When you have a response to say to the Human, or if you do not need to use a tool, you MUST use the format: Thought: Do I need to use a tool? No Final Answer: [your response here] Begin! Previous conversation history: {chat_history} New input: {input} {agent_scratchpad}"""# 创建基础提示模板 - 修改这里！# 需要传递tools和tool_namestool_names=", ".join([tool.namefortoolintools])tool_descriptions="\n".join([f"{tool.name}:{tool.description}"fortoolintools])base_prompt=PromptTemplate(template=base_prompt_template,input_variables=["agent_scratchpad","chat_history","input"],partial_variables={"instructions":instructions,"tools":tool_descriptions,"tool_names":tool_names})# 创建Llmllm=ChatTongyi(model="qwen-plus")# 创建react Agentagent=create_tool_calling_agent(llm,tools,base_prompt)# 创建Agent执行器''' AgentExecutor 的这几个参数作用如下： agent=agent: 指定要使用的 Agent 实例，这里是通过 create_tool_calling_agent 创建的工具调用代理 tools=tools: 传入可用的工具列表，代理会根据需要调用这些工具（如文档检索工具） memory=memory: 配置对话内存，用于保存对话历史，使代理能够记住之前的交互内容 verbose=True: 启用详细日志输出，方便调试和查看代理的思考过程 handle_parsing_errors=True: 启用解析错误处理机制，当 Agent 输出格式不正确时自动处理而不是抛出异常 '''agent_executor=AgentExecutor(agent=agent,tools=tools,memory=memory,verbose=True,handle_parsing_errors=True)# 创建聊天输入框user_query=st.chat_input(placeholder="请开始提问吧！")# 如果有用户输入的查询ifuser_query:# 添加用户消息到session_statest.session_state.messages.append({"role":"user","content":user_query})# 显示用户消息st.chat_message("user").write(user_query)withst.chat_message("assistant"):# 创建streamlit回调处理器st_cb=StreamlitCallbackHandler(st.container())# agent执行过程日志回调显示在Streamlit Containerconfig={"callbacks":[st_cb]}try:# 执行Agent并获取响应response=agent_executor.invoke({"input":user_query},config=config)# 添加助手消息到session_statest.session_state.messages.append({"role":"assistant","content":response["output"]})# 显示助手响应st.write(response["output"])exceptExceptionase:st.error(f"处理问题时出错:{str(e)}")st.session_state.messages.append({"role":"assistant","content":"抱歉，处理您的问题时出现了错误。"})

2.结果展示

控制台执行命令

streamlit run D:/jhproject/python_project/LLM/jh-langserve-app/app/RAG_问答系统.py

上传txt文件，目前demo支持txt，可以改造成支持多种文档格式，直接问AI就行，这里就不展示了

每次询问和程序员相关的，他会查询出对应结果，因为知识库来自上传的文档

如果询问奥特曼或者非知识库的内容，它答不上来

之前配置的监控也会看出，smith平台，如何配置请看LangSmith监控

3. RAG介绍