Qwen3-VL-8B部署教程：CentOS 7系统下Python3.9+GCC11编译vLLM环境

Qwen3-VL-8B部署教程：CentOS 7系统下Python3.9+GCC11编译vLLM环境

1. 引言

想在自己的服务器上搭建一个功能完整的AI聊天系统吗？今天，我们就来手把手教你如何在CentOS 7系统上，从零开始部署Qwen3-VL-8B AI聊天系统。

这个系统可不是简单的命令行工具，而是一个包含现代化Web界面、智能代理服务器和高性能推理后端的完整解决方案。想象一下，你只需要一个浏览器，就能像使用ChatGPT一样与强大的视觉语言模型对话，而且所有数据都在你自己的服务器上，安全又可控。

为什么选择这个方案？

• 一体化部署：前端、代理、推理引擎全部打包，开箱即用
• 性能强劲：基于vLLM推理引擎，充分利用GPU加速
• 界面友好：专为PC端优化的全屏聊天界面，操作流畅
• 灵活访问：支持本地、局域网甚至远程隧道访问

在开始之前，我们先看看系统架构，让你对整个部署有个清晰的认识：

┌─────────────┐ │ 浏览器客户端 │ │ (chat.html) │ └──────┬──────┘ │ HTTP ↓ ┌─────────────────┐ │ 代理服务器 │ │ (proxy_server) │ ← 端口 8000 │ - 静态文件服务 │ │ - API 请求转发 │ └──────┬──────────┘ │ HTTP ↓ ┌─────────────────┐ │ vLLM 推理引擎 │ ← 端口 3001 │ - 模型加载 │ │ - 推理计算 │ │ - OpenAI API │ └─────────────────┘

整个教程分为几个部分：环境准备、依赖安装、vLLM编译、系统部署和问题排查。即使你是Linux新手，跟着步骤一步步来，也能顺利完成部署。

2. 环境准备与系统检查

2.1 系统要求确认

在开始安装之前，我们先确认一下你的CentOS 7系统是否符合要求：

# 查看系统版本 cat /etc/redhat-release # 查看CPU架构 uname -m # 查看内存大小 free -h # 查看磁盘空间（至少需要20GB可用空间） df -h

最低配置要求：

• 操作系统：CentOS 7.6及以上版本
• CPU：x86_64架构，4核以上
• 内存：16GB以上（推荐32GB）
• 磁盘空间：至少20GB可用空间
• GPU：NVIDIA GPU，8GB以上显存（RTX 3070/3080或同等性能）
• 网络：稳定的网络连接，用于下载模型和依赖包

2.2 基础软件更新

CentOS 7默认的软件版本比较旧，我们需要先更新基础软件：

# 更新系统软件包 sudo yum update -y # 安装基础开发工具 sudo yum groupinstall "Development Tools" -y # 安装必要的依赖库 sudo yum install -y epel-release sudo yum install -y wget curl git vim cmake make gcc-c++ openssl-devel bzip2-devel libffi-devel sqlite-devel

2.3 Python 3.9安装

CentOS 7默认的Python版本是2.7，我们需要手动安装Python 3.9：

# 下载Python 3.9源码 cd /tmp wget https://www.python.org/ftp/python/3.9.18/Python-3.9.18.tgz tar -xzf Python-3.9.18.tgz cd Python-3.9.18 # 配置编译选项 ./configure --enable-optimizations --with-ssl # 编译安装（这步需要一些时间，大概10-20分钟） make -j$(nproc) sudo make altinstall # 验证安装 python3.9 --version pip3.9 --version

为什么用altinstall而不是install？

• altinstall不会覆盖系统自带的Python 2.7
• 可以同时保留多个Python版本
• 通过python3.9命令明确指定版本

2.4 GCC 11编译安装

vLLM需要较新的GCC版本，CentOS 7默认的GCC 4.8太旧了，我们需要手动安装GCC 11：

# 安装GCC 11的依赖 sudo yum install -y centos-release-scl sudo yum install -y devtoolset-11-gcc devtoolset-11-gcc-c++ devtoolset-11-binutils # 设置环境变量，让当前会话使用GCC 11 source /opt/rh/devtoolset-11/enable # 验证GCC版本 gcc --version g++ --version

为了让每次登录都自动使用GCC 11，我们可以添加到bash配置中：

# 添加到~/.bashrc echo 'source /opt/rh/devtoolset-11/enable' >> ~/.bashrc source ~/.bashrc

3. CUDA与GPU环境配置

3.1 NVIDIA驱动安装

首先检查你的GPU是否被系统识别：

# 查看是否有NVIDIA GPU lspci | grep -i nvidia # 如果能看到NVIDIA显卡信息，继续下一步 # 如果没有，可能需要先安装NVIDIA驱动

安装NVIDIA驱动（如果需要）：

# 添加ELRepo仓库 sudo rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org sudo rpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm # 安装NVIDIA驱动 sudo yum install -y kmod-nvidia # 重启系统 sudo reboot

重启后验证驱动安装：

# 检查驱动版本 nvidia-smi # 应该能看到类似这样的输出： # +-----------------------------------------------------------------------------+ # | NVIDIA-SMI 525.147.05 Driver Version: 525.147.05 CUDA Version: 12.0 | # |-------------------------------+----------------------+----------------------+ # | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | # | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | # | | | MIG M. | # |===============================+======================+======================| # | 0 NVIDIA GeForce ... Off| 00000000:01:00.0 Off | N/A | # | N/A 45C P8 10W / N/A| 0MiB / 8192MiB | 0% Default | # | | | N/A | # +-------------------------------+----------------------+----------------------+

3.2 CUDA Toolkit安装

vLLM需要CUDA环境，我们安装CUDA 11.8（与vLLM兼容性较好）：

# 下载CUDA 11.8安装包 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run # 给安装文件添加执行权限 chmod +x cuda_11.8.0_520.61.05_linux.run # 运行安装程序（选择不安装驱动，因为我们已安装） sudo ./cuda_11.8.0_520.61.05_linux.run --toolkit --silent --override # 设置环境变量 echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc # 验证CUDA安装 nvcc --version

3.3 cuDNN安装

cuDNN是NVIDIA的深度神经网络库，能显著提升推理性能：

# 需要先注册NVIDIA开发者账号下载cuDNN # 下载后上传到服务器，然后解压安装 # 假设你已经下载了cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz tar -xvf cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz # 复制文件到CUDA目录 sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-11.8/include sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-11.8/lib64 sudo chmod a+r /usr/local/cuda-11.8/include/cudnn*.h /usr/local/cuda-11.8/lib64/libcudnn* # 验证cuDNN安装 cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

4. vLLM编译与安装

4.1 创建Python虚拟环境

为了避免依赖冲突，我们为vLLM创建独立的Python环境：

# 安装virtualenv pip3.9 install virtualenv # 创建虚拟环境 cd ~ python3.9 -m venv vllm-env # 激活虚拟环境 source ~/vllm-env/bin/activate # 验证环境 python --version # 应该显示Python 3.9.18 pip --version

4.2 安装PyTorch与依赖

vLLM依赖特定版本的PyTorch，我们需要先安装：

# 升级pip pip install --upgrade pip # 安装PyTorch（CUDA 11.8版本） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 验证PyTorch是否能识别GPU python -c "import torch; print(f'PyTorch版本: {torch.__version__}'); print(f'CUDA可用: {torch.cuda.is_available()}'); print(f'GPU数量: {torch.cuda.device_count()}')"

如果输出显示CUDA可用且GPU数量大于0，说明PyTorch安装成功。

4.3 编译安装vLLM

这是最关键的一步，我们需要从源码编译vLLM：

# 克隆vLLM仓库 cd ~ git clone https://github.com/vllm-project/vllm.git cd vllm # 切换到稳定版本（以v0.3.3为例） git checkout v0.3.3 # 安装编译依赖 pip install -U pip setuptools wheel pip install ninja # 安装运行时依赖 pip install -r requirements.txt # 编译安装vLLM（这步需要一些时间） pip install -e . # 或者使用预编译版本（如果编译失败） # pip install vllm

编译常见问题解决：

如果编译过程中遇到问题，可以尝试以下方法：

# 1. 确保GCC 11已正确设置 gcc --version # 应该显示gcc 11.x # 2. 清理缓存重新编译 pip cache purge rm -rf build/ pip install -e . --no-cache-dir # 3. 如果内存不足，可以设置交换空间 sudo fallocate -l 8G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile

4.4 验证vLLM安装

安装完成后，验证vLLM是否能正常工作：

# 测试vLLM导入 python -c "import vllm; print('vLLM导入成功')" # 测试简单推理（使用小模型） python -c " from vllm import LLM, SamplingParams # 使用小模型测试 prompts = ['Hello, my name is'] sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 注意：这里只是测试导入，实际运行需要GPU和模型 print('vLLM基础功能测试通过') "

5. Qwen3-VL-8B聊天系统部署

5.1 下载项目文件

现在我们来部署完整的聊天系统：

# 创建项目目录 cd ~ mkdir -p build cd build # 下载项目文件（假设你已经有了项目文件） # 这里我们创建基本的文件结构 cat > chat.html << 'EOF' <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Qwen3-VL-8B 聊天系统</title> <style> /* 这里省略CSS样式，实际项目中需要完整的样式 */ </style> </head> <body> <div id="app"> <!-- 聊天界面 --> </div> <script> // 聊天逻辑JavaScript </script> </body> </html> EOF # 创建代理服务器 cat > proxy_server.py << 'EOF' #!/usr/bin/env python3 import http.server import socketserver import requests import json import logging from http import HTTPStatus from urllib.parse import urlparse # 配置参数 VLLM_HOST = "localhost" VLLM_PORT = 3001 WEB_PORT = 8000 VLLM_URL = f"http://{VLLM_HOST}:{VLLM_PORT}" class ProxyHandler(http.server.SimpleHTTPRequestHandler): def do_GET(self): # 处理静态文件请求 if self.path == '/' or self.path == '/chat.html': self.path = '/chat.html' return http.server.SimpleHTTPRequestHandler.do_GET(self) elif self.path.endswith('.js') or self.path.endswith('.css'): return http.server.SimpleHTTPRequestHandler.do_GET(self) else: self.send_error(HTTPStatus.NOT_FOUND, "File not found") def do_POST(self): # 转发API请求到vLLM if self.path.startswith('/v1/'): content_length = int(self.headers['Content-Length']) post_data = self.rfile.read(content_length) try: # 转发请求到vLLM vllm_response = requests.post( f"{VLLM_URL}{self.path}", data=post_data, headers={'Content-Type': 'application/json'}, timeout=30 ) # 返回vLLM的响应 self.send_response(vllm_response.status_code) self.send_header('Content-Type', 'application/json') self.send_header('Access-Control-Allow-Origin', '*') self.end_headers() self.wfile.write(vllm_response.content) except Exception as e: self.send_error(HTTPStatus.INTERNAL_SERVER_ERROR, str(e)) else: self.send_error(HTTPStatus.NOT_FOUND, "API not found") def end_headers(self): # 添加CORS头 self.send_header('Access-Control-Allow-Origin', '*') self.send_header('Access-Control-Allow-Methods', 'GET, POST, OPTIONS') self.send_header('Access-Control-Allow-Headers', 'Content-Type') http.server.SimpleHTTPRequestHandler.end_headers(self) def do_OPTIONS(self): # 处理预检请求 self.send_response(200) self.end_headers() if __name__ == "__main__": import os # 设置当前目录为静态文件目录 os.chdir(os.path.dirname(os.path.abspath(__file__))) # 启动服务器 with socketserver.TCPServer(("", WEB_PORT), ProxyHandler) as httpd: print(f"代理服务器启动在 http://localhost:{WEB_PORT}") print(f"vLLM API地址: http://localhost:{VLLM_PORT}") print("按 Ctrl+C 停止服务") httpd.serve_forever() EOF # 创建启动脚本 cat > start_all.sh << 'EOF' #!/bin/bash # 激活虚拟环境 source ~/vllm-env/bin/activate # 设置模型路径 MODEL_ID="Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4" MODEL_NAME="Qwen3-VL-8B-Instruct-4bit-GPTQ" MODEL_DIR="/root/build/qwen" # 创建模型目录 mkdir -p "$MODEL_DIR" echo "=== 启动 Qwen3-VL-8B 聊天系统 ===" echo "模型: $MODEL_NAME" echo "目录: $(pwd)" # 检查vLLM服务是否已经在运行 if pgrep -f "vllm serve" > /dev/null; then echo "vLLM服务已经在运行" else echo "启动vLLM推理服务..." # 启动vLLM服务 vllm serve "$MODEL_ID" \ --host 0.0.0.0 \ --port 3001 \ --gpu-memory-utilization 0.8 \ --max-model-len 8192 \ --dtype "float16" \ --served-model-name "$MODEL_NAME" \ --download-dir "$MODEL_DIR" \ > vllm.log 2>&1 & VLLM_PID=$! echo "vLLM服务启动，PID: $VLLM_PID" # 等待vLLM服务就绪 echo "等待vLLM服务初始化..." sleep 30 # 检查服务是否健康 for i in {1..10}; do if curl -s http://localhost:3001/health > /dev/null; then echo "vLLM服务就绪" break fi echo "等待vLLM服务... ($i/10)" sleep 5 done fi # 检查代理服务器是否已经在运行 if pgrep -f "proxy_server.py" > /dev/null; then echo "代理服务器已经在运行" else echo "启动代理服务器..." # 启动代理服务器 python3 proxy_server.py > proxy.log 2>&1 & PROXY_PID=$! echo "代理服务器启动，PID: $PROXY_PID" fi echo "" echo "=== 服务启动完成 ===" echo "Web界面: http://localhost:8000/chat.html" echo "API地址: http://localhost:3001/v1/chat/completions" echo "" echo "查看日志:" echo " vLLM日志: tail -f vllm.log" echo " 代理日志: tail -f proxy.log" echo "" echo "停止服务:" echo " pkill -f 'vllm serve'" echo " pkill -f 'proxy_server.py'" EOF # 给脚本添加执行权限 chmod +x start_all.sh chmod +x proxy_server.py

5.2 一键启动系统

现在我们可以一键启动整个系统：

# 进入项目目录 cd ~/build # 启动服务 ./start_all.sh

启动成功后，你会看到类似这样的输出：

=== 启动 Qwen3-VL-8B 聊天系统 === 模型: Qwen3-VL-8B-Instruct-4bit-GPTQ 目录: /root/build 启动vLLM推理服务... vLLM服务启动，PID: 12345 等待vLLM服务初始化... 等待vLLM服务... (1/10) 等待vLLM服务... (2/10) vLLM服务就绪 启动代理服务器... 代理服务器启动，PID: 12346 === 服务启动完成 === Web界面: http://localhost:8000/chat.html API地址: http://localhost:3001/v1/chat/completions 查看日志: vLLM日志: tail -f vllm.log 代理日志: tail -f proxy.log 停止服务: pkill -f 'vllm serve' pkill -f 'proxy_server.py'

5.3 访问聊天界面

打开浏览器，访问http://你的服务器IP:8000/chat.html，就能看到聊天界面了。

如果你在本地服务器上操作，可以直接访问：

• 本地访问：http://localhost:8000/chat.html
• 局域网访问：http://你的内网IP:8000/chat.html

首次使用注意事项：

1. 第一次启动会下载模型文件（约4-5GB），需要一些时间
2. 下载速度取决于你的网络状况
3. 模型下载完成后会自动加载到GPU显存

6. 高级配置与优化

6.1 模型参数调整

根据你的硬件配置，可以调整vLLM的参数以获得最佳性能：

# 编辑start_all.sh文件 vim start_all.sh # 找到vLLM启动命令，可以调整以下参数： vllm serve "$MODEL_ID" \ --host 0.0.0.0 \ --port 3001 \ --gpu-memory-utilization 0.8 \ # GPU显存使用率（0.1-0.9） --max-model-len 8192 \ # 最大上下文长度 --dtype "float16" \ # 数据类型：float16或bfloat16 --tensor-parallel-size 1 \ # 张量并行数（多GPU时使用） --block-size 16 \ # 块大小，影响内存效率 --swap-space 4 \ # CPU交换空间大小（GB） --served-model-name "$MODEL_NAME" \ --download-dir "$MODEL_DIR"

参数说明：

6.2 系统服务配置

为了让服务在系统启动时自动运行，我们可以配置systemd服务：

# 创建vLLM服务文件 sudo tee /etc/systemd/system/vllm.service << 'EOF' [Unit] Description=vLLM Inference Service After=network.target [Service] Type=simple User=root WorkingDirectory=/root/build Environment="PATH=/root/vllm-env/bin:/usr/local/bin:/usr/bin:/bin" ExecStart=/root/vllm-env/bin/vllm serve Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4 \ --host 0.0.0.0 \ --port 3001 \ --gpu-memory-utilization 0.8 \ --max-model-len 8192 \ --dtype float16 \ --served-model-name Qwen3-VL-8B-Instruct-4bit-GPTQ \ --download-dir /root/build/qwen Restart=always RestartSec=10 [Install] WantedBy=multi-user.target EOF # 创建代理服务文件 sudo tee /etc/systemd/system/chat-proxy.service << 'EOF' [Unit] Description=Chat Proxy Service After=vllm.service Requires=vllm.service [Service] Type=simple User=root WorkingDirectory=/root/build Environment="PATH=/root/vllm-env/bin:/usr/local/bin:/usr/bin:/bin" ExecStart=/root/vllm-env/bin/python /root/build/proxy_server.py Restart=always RestartSec=10 [Install] WantedBy=multi-user.target EOF # 重新加载systemd配置 sudo systemctl daemon-reload # 启动服务 sudo systemctl start vllm.service sudo systemctl start chat-proxy.service # 设置开机自启 sudo systemctl enable vllm.service sudo systemctl enable chat-proxy.service # 查看服务状态 sudo systemctl status vllm.service sudo systemctl status chat-proxy.service

6.3 Nginx反向代理配置（可选）

如果你希望通过域名访问，或者需要HTTPS支持，可以配置Nginx：

# 安装Nginx sudo yum install -y nginx # 创建Nginx配置 sudo tee /etc/nginx/conf.d/chat.conf << 'EOF' server { listen 80; server_name your-domain.com; # 替换为你的域名 location / { proxy_pass http://localhost:8000; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # WebSocket支持 proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } location /v1/ { proxy_pass http://localhost:3001; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 增加超时时间 proxy_read_timeout 300s; proxy_connect_timeout 75s; } } EOF # 测试Nginx配置 sudo nginx -t # 重启Nginx sudo systemctl restart nginx # 设置防火墙（如果需要） sudo firewall-cmd --permanent --add-service=http sudo firewall-cmd --permanent --add-service=https sudo firewall-cmd --reload

7. 常见问题与解决方案

7.1 编译安装问题

问题1：GCC版本太低

error: invalid conversion from 'const char*' to 'char*' [-fpermissive]

解决方案：

# 确认使用GCC 11 source /opt/rh/devtoolset-11/enable gcc --version # 如果还是有问题，尝试设置环境变量 export CC=/opt/rh/devtoolset-11/root/usr/bin/gcc export CXX=/opt/rh/devtoolset-11/root/usr/bin/g++

问题2：Python包安装失败

ERROR: Failed building wheel for vllm

解决方案：

# 升级pip和setuptools pip install --upgrade pip setuptools wheel # 安装编译依赖 sudo yum install -y python3-devel # 清理缓存重新安装 pip cache purge pip install vllm --no-cache-dir

7.2 运行时报错

问题3：CUDA版本不兼容

RuntimeError: Detected CUDA version 11.8, but PyTorch was built with CUDA version 12.1

解决方案：

# 重新安装对应CUDA版本的PyTorch pip uninstall torch torchvision torchaudio -y pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

问题4：显存不足

OutOfMemoryError: CUDA out of memory

解决方案：

# 修改start_all.sh中的参数 # 降低显存使用率 --gpu-memory-utilization 0.6 # 减少最大上下文长度 --max-model-len 4096 # 启用CPU交换空间 --swap-space 8

7.3 网络连接问题

问题5：模型下载失败

ConnectionError: Failed to download model

解决方案：

# 方法1：手动下载模型 cd ~/build/qwen # 从其他源下载模型文件，然后放到qwen目录 # 方法2：使用代理（如果有） export http_proxy=http://your-proxy:port export https_proxy=http://your-proxy:port # 方法3：使用国内镜像源 export HF_ENDPOINT=https://hf-mirror.com

问题6：API请求超时

TimeoutError: The read operation timed out

解决方案：

# 增加超时时间（在proxy_server.py中修改） vllm_response = requests.post( f"{VLLM_URL}{self.path}", data=post_data, headers={'Content-Type': 'application/json'}, timeout=120 # 增加到120秒 )

7.4 性能优化建议

提升推理速度：

# 1. 使用量化模型（已经使用GPTQ-Int4） # 2. 调整批处理大小 vllm serve ... --max-num-batched-tokens 2560 # 3. 启用连续批处理 vllm serve ... --enable-chunked-prefill # 4. 使用更快的注意力机制 vllm serve ... --attention-backend flash-attn

减少内存占用：

# 1. 使用更小的数据类型 --dtype "float16" # 2. 启用量化缓存 --quantization awq # 如果模型支持 # 3. 调整块大小 --block-size 8 # 4. 限制并发请求 --max-num-seqs 4

8. 使用技巧与最佳实践

8.1 日常维护命令

查看服务状态：

# 查看vLLM进程 ps aux | grep vllm # 查看代理进程 ps aux | grep proxy_server # 查看GPU使用情况 nvidia-smi # 查看服务日志 tail -f ~/build/vllm.log tail -f ~/build/proxy.log

重启服务：

# 停止服务 pkill -f "vllm serve" pkill -f "proxy_server.py" # 等待几秒 sleep 5 # 重新启动 cd ~/build ./start_all.sh

清理缓存：

# 清理Python缓存 pip cache purge # 清理模型缓存（如果需要重新下载） rm -rf ~/.cache/huggingface/ rm -rf ~/build/qwen/* # 清理日志文件 truncate -s 0 ~/build/vllm.log truncate -s 0 ~/build/proxy.log

8.2 监控与告警

基础监控脚本：

cat > monitor.sh << 'EOF' #!/bin/bash # 监控脚本 echo "=== 系统监控 ===" echo "时间: $(date)" # GPU状态 echo "" echo "GPU状态:" nvidia-smi --query-gpu=name,temperature.gpu,utilization.gpu,memory.used,memory.total --format=csv # 服务状态 echo "" echo "服务状态:" if pgrep -f "vllm serve" > /dev/null; then echo "vLLM服务: 运行中" else echo "vLLM服务: 已停止" fi if pgrep -f "proxy_server.py" > /dev/null; then echo "代理服务: 运行中" else echo "代理服务: 已停止" fi # 端口检查 echo "" echo "端口检查:" netstat -tlnp | grep -E ":8000|:3001" # 日志检查 echo "" echo "最近错误日志:" tail -20 ~/build/vllm.log | grep -i error || echo "无错误" EOF chmod +x monitor.sh

设置定时监控：

# 添加到crontab，每5分钟检查一次 (crontab -l 2>/dev/null; echo "*/5 * * * * /root/build/monitor.sh >> /root/build/monitor.log 2>&1") | crontab -

8.3 备份与恢复

备份配置文件：

# 创建备份目录 mkdir -p ~/backup/chat-system # 备份重要文件 cp ~/build/start_all.sh ~/backup/chat-system/ cp ~/build/proxy_server.py ~/backup/chat-system/ cp ~/build/chat.html ~/backup/chat-system/ # 备份模型配置 if [ -f ~/build/qwen/config.json ]; then cp ~/build/qwen/config.json ~/backup/chat-system/ fi # 创建备份压缩包 tar -czf ~/backup/chat-system-$(date +%Y%m%d).tar.gz -C ~/backup/chat-system .

恢复系统：

# 解压备份 tar -xzf ~/backup/chat-system-20240115.tar.gz -C ~/build/ # 重新安装依赖 cd ~/build source ~/vllm-env/bin/activate pip install -r requirements.txt # 如果有requirements.txt # 重启服务 ./start_all.sh

9. 总结

通过本教程，我们完成了在CentOS 7系统上部署Qwen3-VL-8B AI聊天系统的全过程。让我们回顾一下关键步骤：

主要完成的工作：

1. 环境准备：升级了Python到3.9，安装了GCC 11编译环境
2. GPU配置：安装了NVIDIA驱动、CUDA Toolkit和cuDNN
3. vLLM编译：从源码编译安装了高性能的vLLM推理引擎
4. 系统部署：搭建了包含前端、代理和后端的完整聊天系统
5. 优化配置：调整了参数以获得最佳性能，配置了系统服务

这个系统的优势：

• 完整易用：开箱即用的Web界面，无需复杂配置
• 性能优秀：基于vLLM，推理速度快，资源利用率高
• 灵活部署：支持本地、局域网和远程访问
• 易于维护：提供了一键启动脚本和监控工具

后续可以探索的方向：

1. 模型微调：使用自己的数据对模型进行微调
2. 多模型支持：扩展支持其他视觉语言模型
3. 功能增强：添加文件上传、多轮对话管理等功能
4. 性能优化：进一步优化推理速度和资源使用
5. 集群部署：扩展到多GPU或多节点部署

部署过程中如果遇到问题，记得查看日志文件（vllm.log和proxy.log），大多数问题都能在日志中找到线索。对于复杂问题，可以参考vLLM官方文档和Qwen模型文档。

现在，你已经拥有了一个完全在自己控制下的AI聊天系统，可以开始探索视觉语言模型的强大能力了。无论是技术研究、产品开发还是个人学习，这个系统都能为你提供强大的支持。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。