GLM-4V-9B Streamlit部署详解：端口配置/图片缓存/会话持久化设置-开发者社区

GLM-4V-9B Streamlit部署详解：端口配置/图片缓存/会话持久化设置

想在自己电脑上跑一个能“看懂”图片的AI助手吗？GLM-4V-9B就是一个不错的选择。它不仅能识别图片里的内容，还能和你聊天，回答关于图片的各种问题。

今天要聊的，是一个基于Streamlit的本地部署方案。这个方案最大的好处是，它解决了一些官方代码在特定环境下容易出错的问题，并且通过4-bit量化技术，让这个模型能在普通的消费级显卡上（比如RTX 3060 12GB）流畅运行。这意味着你不用花大价钱买专业卡，也能体验多模态大模型的能力。

这篇文章，我会带你一步步完成部署，并且重点讲解三个对实际使用体验至关重要的配置：如何修改访问端口、如何设置图片缓存避免重复加载、以及如何实现会话的持久化保存。这些配置能让你的AI助手用起来更顺手、更稳定。

1. 环境准备与快速部署

在开始之前，我们先看看需要准备些什么。

1.1 系统与硬件要求

操作系统：推荐使用 Linux (Ubuntu 20.04+) 或 Windows 10/11 (需配置WSL2)。macOS也可以，但性能可能稍弱。
Python：版本需要 3.8 到 3.10。
显卡：这是关键。因为模型经过了4-bit量化，显存需求大大降低。
- 最低要求：NVIDIA显卡，显存≥ 8GB(例如 RTX 2070, RTX 3060)。
- 推荐配置：显存≥ 12GB(例如 RTX 3060 12GB, RTX 4060 Ti 16GB)，体验会更流畅。
- 请确保已安装对应显卡的最新版驱动。

1.2 一键式部署步骤

假设你已经有了Python环境，我们打开命令行（终端），开始操作。

获取项目代码：首先，把部署用的代码下载到本地。

git clone https://github.com/THUDM/GLM-4V-9B-streamlit.git cd GLM-4V-9B-streamlit

创建虚拟环境（推荐）：这能避免和你电脑上其他Python项目冲突。

python -m venv glm4v_env # 在Linux/macOS上激活： source glm4v_env/bin/activate # 在Windows上激活： glm4v_env\Scripts\activate

安装依赖包：项目提供了一个requirements.txt文件，里面列出了所有需要的软件包。
```
pip install -r requirements.txt
```
这个过程可能会花点时间，因为它要安装PyTorch、Transformers、Streamlit等一堆库。
下载模型文件：运行项目提供的下载脚本。模型文件比较大（约10GB），请确保网络通畅和磁盘空间足够。
```
python download_model.py
```
启动应用：一切就绪后，用一行命令启动服务。
```
streamlit run app.py
```
如果一切正常，命令行会输出一个本地网络地址，通常是http://localhost:8501。用浏览器打开这个地址，你就能看到聊天界面了。

2. 核心配置详解：让应用更好用

基础的部署完成了，但默认设置可能不完全符合你的需求。下面我们深入三个关键配置，它们能显著提升使用体验。

2.1 端口配置：换个端口访问

Streamlit默认使用8501端口。如果你的电脑上这个端口已经被其他程序（比如另一个Streamlit应用）占用了，启动时就会报错。或者，你可能出于安全或管理习惯，想指定一个固定的端口。

修改端口非常简单，只需要在启动命令里加一个参数。

方法一：启动时指定在启动命令后面加上--server.port参数。
```
streamlit run app.py --server.port 8080
```
这样，应用就会运行在http://localhost:8080上。
方法二：修改配置文件（一劳永逸）你可以在项目根目录创建一个名为.streamlit的文件夹，然后在里面创建一个config.toml文件。
```
# .streamlit/config.toml [server] port = 8080
```
创建好这个文件后，每次直接用streamlit run app.py启动，它都会自动使用8080端口。

小提示：在服务器上部署时，记得在防火墙或安全组规则中开放你设置的端口（比如8080）。

2.2 图片缓存：加速你的对话

GLM-4V-9B是一个多模态模型，每次对话如果涉及图片，都需要把图片处理成模型能理解的格式。如果你在同一段对话中反复提及同一张图片，或者上传了一张大图，每次处理都会消耗时间和计算资源。

Streamlit提供了一个强大的缓存装饰器@st.cache_data，我们可以用它来缓存处理好的图片张量（tensor）。

打开app.py，找到处理图片上传和预处理的函数（通常叫process_image或load_image）。我们可以这样改造它：

import streamlit as st from PIL import Image import torch from transformers import AutoProcessor # 初始化处理器（假设模型加载部分在别处） processor = AutoProcessor.from_pretrained("THUDM/glm-4v-9b") @st.cache_data(ttl=3600) # 设置缓存有效时间为1小时（3600秒） def process_and_cache_image(uploaded_file): """ 处理上传的图片并缓存结果。 uploaded_file: Streamlit上传的文件对象 返回: 处理好的图像张量 (tensor) """ # 1. 用PIL打开图片 image = Image.open(uploaded_file).convert('RGB') # 2. 使用处理器处理图片，得到模型需要的输入格式 # 这里的 `processor` 调用需要根据 GLM-4V 的实际处理器来调整 inputs = processor(images=image, return_tensors="pt") # 3. 获取处理后的图像张量，并放到正确的设备上（如GPU） image_tensor = inputs['pixel_values'].to(device="cuda:0", dtype=torch.float16) # 根据你的模型dtype调整 return image_tensor # 在Streamlit应用中使用 uploaded_file = st.file_uploader("上传一张图片", type=['jpg', 'jpeg', 'png']) if uploaded_file is not None: # 第一次上传会处理并缓存，之后同一张图片的对话会直接使用缓存，速度飞快 cached_image_tensor = process_and_cache_image(uploaded_file) # ... 后续将 cached_image_tensor 送入模型进行对话

这段代码做了什么？

@st.cache_data(ttl=3600)：告诉Streamlit，这个函数的结果要缓存起来，缓存1小时（ttl=3600秒）。在TTL内，相同的输入（uploaded_file对象）会直接返回缓存的结果，不会重新执行函数。
函数内部完成了从图片文件到模型输入张量的所有预处理步骤。
在界面上传图片后，调用这个函数即可获得处理好的张量。

好处：当你对同一张图片进行多轮提问时（比如“描述图片”→“里面有什么颜色？”→“估算一下距离”），图片只需要在第一次被深度处理一次，后续对话响应速度会快很多。

2.3 会话持久化：关掉浏览器也不怕

Streamlit应用默认是“无状态”的。每次你刷新页面，或者关闭浏览器再打开，之前的聊天记录就全没了。这对于一个聊天应用来说，体验不太好。

会话持久化就是把聊天记录保存下来，下次打开还能接着聊。我们可以利用Streamlit的Session State配合本地文件存储来实现。

思路：为每个会话生成一个唯一ID，将对话历史（包括图片路径或缓存ID和文本）以这个ID为名保存成文件（如JSON格式）。每次应用启动时，检查是否有这个文件并加载。

以下是简化的实现逻辑，你需要将其整合到你的app.py中：

import streamlit as st import json import os from datetime import datetime import uuid # 初始化session state，用于存储对话历史 if 'chat_history' not in st.session_state: st.session_state.chat_history = [] if 'session_id' not in st.session_state: # 生成或从URL参数获取一个会话ID st.session_state.session_id = str(uuid.uuid4())[:8] # 取前8位，简短一些 PERSISTENCE_DIR = "./chat_sessions" os.makedirs(PERSISTENCE_DIR, exist_ok=True) def save_session(): """将当前会话的聊天历史保存到文件""" session_file = os.path.join(PERSISTENCE_DIR, f"session_{st.session_state.session_id}.json") data_to_save = { "session_id": st.session_state.session_id, "last_updated": datetime.now().isoformat(), "history": st.session_state.chat_history # 注意：这里history里的图片最好是路径或引用，而非大对象 } with open(session_file, 'w', encoding='utf-8') as f: json.dump(data_to_save, f, ensure_ascii=False, indent=2) def load_session(session_id): """从文件加载指定会话ID的聊天历史""" session_file = os.path.join(PERSISTENCE_DIR, f"session_{session_id}.json") if os.path.exists(session_file): with open(session_file, 'r', encoding='utf-8') as f: data = json.load(f) return data.get("history", []) return [] # --- 在侧边栏添加会话管理 --- with st.sidebar: st.subheader("会话管理") # 显示当前会话ID，并允许输入ID加载历史会话 current_id = st.text_input("当前会话ID:", value=st.session_state.session_id) if current_id != st.session_state.session_id: st.session_state.session_id = current_id st.session_state.chat_history = load_session(current_id) st.rerun() # 重新运行以加载新会话 if st.button("保存当前会话"): save_session() st.success(f"会话已保存！ID: {st.session_state.session_id}") if st.button("新建会话"): st.session_state.session_id = str(uuid.uuid4())[:8] st.session_state.chat_history = [] st.rerun() # --- 主聊天区域 --- # 1. 显示历史消息 for message in st.session_state.chat_history: with st.chat_message(message["role"]): if message.get("image"): st.image(message["image"], caption="上传的图片", use_column_width=True) st.markdown(message["content"]) # 2. 图片上传和新的聊天输入 uploaded_file = st.file_uploader("上传图片", type=['png', 'jpg', 'jpeg'], key="file_uploader") user_input = st.chat_input("输入你的问题...") if user_input: # 将用户输入和图片（如果有）添加到历史 new_message = {"role": "user", "content": user_input} if uploaded_file: # 这里可以保存图片到本地，并记录路径，而不是整个文件对象 image_path = f"./uploads/{st.session_state.session_id}_{uploaded_file.name}" os.makedirs(os.path.dirname(image_path), exist_ok=True) with open(image_path, "wb") as f: f.write(uploaded_file.getbuffer()) new_message["image"] = image_path st.session_state.chat_history.append(new_message) # 调用模型获取回复（这里需要你原有的模型调用逻辑） # 假设 get_model_response 是你的模型调用函数 model_response = get_model_response(st.session_state.chat_history) # 将模型回复添加到历史 st.session_state.chat_history.append({"role": "assistant", "content": model_response}) # 自动保存会话（可选，也可以手动保存） save_session() # 重运行以刷新界面 st.rerun()

这段代码的核心：

会话ID：每个聊天会话有一个唯一ID，作为保存和加载的标识。
Session State：用st.session_state在页面重载间保持聊天历史。
文件存储：将聊天历史（文本和图片路径）以JSON格式保存到本地文件夹。
界面集成：在侧边栏提供会话ID管理、保存和新建功能。

注意：为了简化，上面的例子将图片保存到了本地文件系统。在实际生产环境中，你可能需要考虑更安全的文件存储方案，或者使用数据库来存储聊天记录。图片本身是二进制大文件，不适合直接放在JSON里。

3. 部署后：使用技巧与问题排查

应用跑起来之后，你可以试试这些功能：

上传一张风景照，问它“描述一下这张图片”。
上传一张带表格或文字的截图，问它“提取图片里的文字”。
上传一张有多个人物的图片，问它“画面里有几个人？他们在做什么？”

如果你遇到了问题，可以看看下面这些常见的排查点：

报错：RuntimeError: CUDA out of memory
- 原因：显存不够了。
- 解决：确认你的显卡显存是否达到最低8GB要求。关闭其他占用显存的程序。在代码中尝试更激进的量化设置（如果支持），或者减小处理图片时的分辨率。
报错：RuntimeError: Input type and bias type should be the same
- 原因：PyTorch数据类型不匹配。这正是本项目优化解决的核心问题之一。
- 解决：确保你使用的是本项目提供的代码，它包含了动态类型适配逻辑，能自动检测并匹配视觉层的参数类型。
模型输出乱码或者复读图片路径
- 原因：Prompt（指令）构造顺序不对，导致模型没有正确理解“先读图，后回答”的意图。
- 解决：本项目代码已经修正了Prompt拼接顺序。请检查你是否使用了未经修改的官方原始代码。
Streamlit界面打开很慢或卡顿
- 原因：可能是网络问题，或者首次加载模型和处理器需要时间。
- 解决：首次启动加载模型是正常的，需要耐心等待。后续交互卡顿可以尝试启用前面提到的图片缓存功能。