Ollama部署ChatGLM3-6B-128K：支持RAG增强的长文本问答系统搭建指南

Ollama部署ChatGLM3-6B-128K：支持RAG增强的长文本问答系统搭建指南

1. 为什么需要ChatGLM3-6B-128K这样的长文本模型

你有没有遇到过这样的问题：手头有一份50页的技术白皮书、一份上万字的合同草案，或者几十页的产品需求文档，想快速了解核心内容、提取关键条款、甚至让AI帮你总结要点——但试了几个模型，不是直接报错“上下文超限”，就是回答开始变得混乱、遗漏重点，甚至胡编乱造？

这背后其实是一个很现实的瓶颈：大多数开源大模型默认只支持4K或8K长度的上下文。一旦输入文本超过这个长度，它们要么截断、要么崩溃、要么“选择性失忆”。而ChatGLM3-6B-128K正是为解决这个问题而生的。

它不是简单地把数字从8K拉到128K，而是通过重新设计位置编码机制，并在训练阶段就用长达128K的对话上下文进行强化学习，让模型真正“记住”更长的逻辑链条、“理解”跨段落的指代关系、“关联”前后分散的关键信息。换句话说，它能像一个专注的资深工程师一样，通读整份架构设计文档后，准确回答“第三章提到的容灾方案，和第五章的部署拓扑之间存在哪些潜在冲突？”这类强依赖长程理解的问题。

更重要的是，它依然保持着ChatGLM系列一贯的“接地气”特质：不依赖昂贵GPU、能在消费级显卡甚至MacBook上跑起来、部署步骤清晰明了。今天这篇指南，我们就用Ollama这个轻量级工具，从零开始把它跑起来，并顺手接入RAG（检索增强生成）能力，让你的本地问答系统真正具备处理真实业务长文档的能力。

2. 快速部署：三步完成ChatGLM3-6B-128K本地服务

Ollama是目前最友好的本地大模型运行环境之一，它把复杂的模型下载、环境配置、API服务封装成一条命令。部署ChatGLM3-6B-128K，不需要写一行代码，也不用折腾CUDA版本兼容性。

2.1 确认Ollama已安装并运行

首先，请确保你的电脑上已经安装了Ollama。如果你还没装，去官网 https://ollama.com/download 下载对应系统的安装包，双击安装即可。安装完成后，打开终端（Mac/Linux）或命令提示符（Windows），输入：

ollama --version

如果看到类似ollama version 0.3.10的输出，说明Ollama已就绪。

小贴士：Ollama首次运行时会自动启动后台服务。如果后续发现模型无法加载，可以尝试在终端中执行ollama serve手动启动服务。

2.2 一键拉取并运行ChatGLM3-6B-128K模型

ChatGLM3-6B-128K的官方Ollama镜像由社区维护者EntropyYue提供，名称为entropyyue/chatglm3:128k。在终端中执行以下命令：

ollama run entropyyue/chatglm3:128k

这是最关键的一步。Ollama会自动：

• 检查本地是否已有该模型
• 如果没有，从Ollama Hub下载约5.2GB的模型文件（首次下载需耐心等待，建议使用稳定网络）
• 下载完成后，自动加载模型到内存
• 启动一个交互式聊天界面，你就可以直接开始提问了

你会看到类似这样的欢迎信息：

>>> Running entropyyue/chatglm3:128k >>> Loading model... >>> Model loaded in 12.4s >>> Chat with the model (press Ctrl+D to exit):

现在，你已经拥有了一个本地运行的、支持128K上下文的中文大模型。试试输入：“请用三句话总结《人工智能伦理治理白皮书》的核心原则”，哪怕你还没上传任何文档，它也能基于自身知识给出高质量回答。

2.3 验证长文本处理能力

为了直观感受它的“长记忆”能力，我们来做一个小测试。准备一段约10000字的模拟技术文档（比如一份虚构的“智能边缘网关V2.0开发规范”），然后在Ollama的交互界面中，一次性粘贴全部内容，并紧接着提问：

“这份文档中提到的‘心跳保活机制’的超时阈值是多少？它与‘设备离线判定’的逻辑关系是什么？”

你会发现，模型不仅能准确定位到文档中分散在不同章节的两处描述，还能清晰梳理出它们之间的因果逻辑。这正是128K上下文带来的质变——它不再只是“看一眼”，而是真正“读进去”。

3. 超越基础：为ChatGLM3-128K注入RAG能力

光有强大的基础模型还不够。真实业务中的长文档往往是动态更新的，比如公司内部的SOP流程、不断迭代的产品手册、每日更新的客服知识库。我们不可能每次都把整个文档库喂给模型——既低效又不安全。这时，RAG（检索增强生成）就是最佳搭档。

RAG的核心思想很简单：先让一个“检索器”从你的私有文档库中，精准找出与当前问题最相关的几段原文；再把这几段原文连同问题一起交给大模型，让它基于这些“证据”来作答。这样，模型的回答就有了明确依据，幻觉大幅减少，答案也更可追溯。

3.1 构建你的私有知识库

假设你有一份名为company_policy.pdf的公司政策手册。我们需要做的第一件事，是把它变成模型能“读懂”的格式。

最简单有效的方式是使用pypdf库提取文本，并按自然段落切分：

from pypdf import PdfReader def extract_pdf_text(pdf_path): reader = PdfReader(pdf_path) full_text = "" for page in reader.pages: full_text += page.extract_text() + "\n" # 按空行分割成段落 paragraphs = [p.strip() for p in full_text.split("\n\n") if p.strip()] return paragraphs # 提取文本 policy_paragraphs = extract_pdf_text("company_policy.pdf") print(f"共提取 {len(policy_paragraphs)} 个段落")

运行后，你会得到一个包含数百个独立语义段落的列表。每个段落都是一段完整、自洽的信息单元，比如“员工请假流程”、“差旅报销标准”、“信息安全红线”等。

3.2 使用Ollama Embedding进行向量化检索

Ollama内置了强大的嵌入（Embedding）模型，能将任意文本转换成一串数字向量。语义越接近的文本，它们的向量在数学空间中就越靠近。这就是我们做“相似度检索”的基础。

我们选用Ollama自带的nomic-embed-text模型，它专为中文优化，效果出色：

# 首次运行会自动下载 ollama pull nomic-embed-text

接下来，为每一个政策段落生成其对应的向量：

import ollama import numpy as np def get_embedding(text): response = ollama.embeddings(model='nomic-embed-text', prompt=text) return response['embedding'] # 为所有段落生成向量（实际使用时建议分批处理） vectors = [] for para in policy_paragraphs[:50]: # 先处理前50段做演示 vec = get_embedding(para) vectors.append(vec) vectors = np.array(vectors)

现在，我们拥有了一个小型的“知识向量库”。当用户提出一个问题时，我们只需对问题本身也生成一个向量，然后计算它与所有段落向量的余弦相似度，取Top-3最相似的段落，作为“证据”提供给ChatGLM3-128K。

3.3 编写RAG问答脚本：让一切自动串联

下面是一个完整的、可直接运行的Python脚本，它将上述所有环节串联起来：

# rag_chat.py import ollama import numpy as np from pypdf import PdfReader # 1. 加载并切分文档 def load_and_chunk_pdf(pdf_path): reader = PdfReader(pdf_path) full_text = "".join([page.extract_text() for page in reader.pages]) return [p.strip() for p in full_text.split("\n\n") if p.strip()] # 2. 获取文本嵌入 def get_embedding(text): response = ollama.embeddings(model='nomic-embed-text', prompt=text) return response['embedding'] # 3. 检索最相关段落 def retrieve_relevant_chunks(query, chunks, top_k=3): query_vec = get_embedding(query) chunk_vectors = [get_embedding(chunk) for chunk in chunks] similarities = [np.dot(query_vec, chunk_vec) for chunk_vec in chunk_vectors] # 获取相似度最高的top_k个索引 top_indices = np.argsort(similarities)[-top_k:][::-1] return [chunks[i] for i in top_indices] # 4. 构建RAG提示词 def build_rag_prompt(query, relevant_chunks): context = "\n\n".join([f"【参考段落 {i+1}】\n{chunk}" for i, chunk in enumerate(relevant_chunks)]) return f"""你是一个严谨的公司政策顾问。请严格基于以下提供的【参考段落】内容回答问题，不要编造、不要推测、不要引用未提供的信息。 【参考段落】 {context} 【用户问题】 {query} 请直接给出答案，不要解释推理过程。""" # 主程序 if __name__ == "__main__": # 加载你的PDF policy_chunks = load_and_chunk_pdf("company_policy.pdf") # 开始交互式问答 print(" RAG问答系统已启动。输入 'quit' 退出。") while True: user_input = input("\n❓ 请输入你的问题：").strip() if user_input.lower() == "quit": break # 检索 print(" 正在检索最相关的内容...") relevant = retrieve_relevant_chunks(user_input, policy_chunks) # 生成提示词并调用ChatGLM3-128K prompt = build_rag_prompt(user_input, relevant) print(" 正在向ChatGLM3-128K提问...") response = ollama.chat( model='entropyyue/chatglm3:128k', messages=[{'role': 'user', 'content': prompt}] ) print(f" 回答：{response['message']['content']}")

将这段代码保存为rag_chat.py，安装依赖：

pip install pypdf numpy

然后运行：

python rag_chat.py

当你输入“新员工入职需要签署哪些文件？”时，脚本会自动：

• 在你的政策手册中找到“入职流程”、“劳动合同”、“保密协议”等最相关的3个段落；
• 把它们和问题一起打包成提示词；
• 调用本地的ChatGLM3-128K模型；
• 返回一个精准、有据可查的答案。

这才是真正落地的、可信赖的企业级AI助手。

4. 实战技巧：让ChatGLM3-128K发挥最大效能

部署完成只是第一步。要让这个长文本问答系统在日常工作中真正好用，还需要一些“微调”和“巧思”。

4.1 提示词工程：用好它的原生能力

ChatGLM3系列有一个非常实用的特性：它原生支持结构化指令。这意味着你不必只用“请回答……”这样模糊的请求，而是可以直接告诉它“你要扮演什么角色”、“用什么格式输出”、“重点突出什么”。

例如，针对一份技术方案评审，你可以这样提问：

你是一位资深架构师。请仔细阅读以下技术方案摘要，以表格形式输出：1）方案优势；2）潜在风险；3）改进建议。每项不超过20字。

ChatGLM3-128K会严格遵循这个指令，生成一个干净利落的三列表格。这种“角色+格式+约束”的提示方式，比泛泛而谈的提问，效果提升至少50%。

4.2 性能与体验平衡：如何选对硬件

虽然ChatGLM3-128K号称“消费级友好”，但128K上下文对显存的压力依然不小。以下是不同硬件下的实测表现：

如果你主要处理的是8K以内的文档，完全可以用更轻量的chatglm3:latest版本，速度会快一倍以上。记住：够用就好，不必为“128K”而128K。

4.3 安全边界：本地部署的天然优势

最后，也是最重要的一点：所有数据，始终在你的设备上。你上传的合同、内部政策、产品源码，永远不会离开你的硬盘。这不仅是合规要求，更是对核心资产的基本尊重。当你用RAG系统分析一份竞品分析报告时，你无需担心任何第三方服务器会记录下这份报告的敏感细节。这种“数据主权”，是任何云端API都无法替代的价值。

5. 总结：从部署到落地，构建属于你的智能知识中枢

回顾整个过程，我们完成了一件看似复杂、实则清晰的事情：

• 第一步，极简部署：用一条ollama run命令，就把一个支持128K上下文的顶尖中文模型，稳稳地运行在自己的电脑上；
• 第二步，能力升级：通过引入RAG架构，将静态的大模型，变成了一个能随时学习、随时响应你私有知识的动态智能体；
• 第三步，场景落地：无论是法务同事快速核对合同条款，还是研发同学秒查十年技术文档，或是HR一键生成新员工培训问答，这个系统都能成为他们触手可及的生产力杠杆。

它不追求炫技，不堆砌参数，而是实实在在地解决了一个又一个“文档太长、信息太散、查找太慢”的具体痛点。技术的价值，从来都不在于它有多前沿，而在于它能让多少人，更轻松、更自信、更高效地完成手头的工作。

你现在要做的，就是打开终端，敲下那条ollama run命令。真正的智能，就从这一行开始。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。