Qwen3.5-9B-GGUF部署教程：Docker容器化封装+Supervisor进程守护方案
1. 项目概述
Qwen3.5-9B-GGUF是阿里云开源的Qwen3.5-9B官方模型经过GGUF格式量化后的版本。这个90亿参数的稠密模型采用了创新的Gated Delta Networks架构和混合注意力机制（75%线性+25%标准），支持原生256K tokens（约18万字）的上下文长度，采用Apache 2.0协议，允许商用、微调和分发。
本项目基于llama-cpp-python和Gradio构建了一个完整的推理服务部署方案，主要特点包括：
- 高效推理：使用GGUF量化格式大幅降低显存需求
- 易用接口：通过Gradio提供直观的WebUI
- 稳定运行：采用Supervisor进行进程守护
- 一键部署：提供完整的Docker容器化方案
2. 环境准备与部署
2.1 硬件要求
| 硬件 | 最低配置 | 推荐配置 |
|---|---|---|
| CPU | 4核 | 8核及以上 |
| 内存 | 16GB | 32GB及以上 |
| 显存 | 无GPU要求 | 有GPU加速更佳 |
| 磁盘 | 10GB可用空间 | SSD存储 |
2.2 基础环境安装
# 安装Docker sudo apt-get update sudo apt-get install -y docker.io docker-compose # 安装Supervisor sudo apt-get install -y supervisor # 创建模型存储目录 sudo mkdir -p /root/ai-models/unsloth/Qwen3___5-9B-GGUF2.3 模型文件准备
将下载的GGUF模型文件放置到指定目录：
sudo cp Qwen3.5-9B-IQ4_NL.gguf /root/ai-models/unsloth/Qwen3___5-9B-GGUF/3. Docker容器化部署
3.1 构建Docker镜像
创建Dockerfile文件：
FROM python:3.11-slim # 安装基础依赖 RUN apt-get update && apt-get install -y \ git \ build-essential \ && rm -rf /var/lib/apt/lists/* # 设置工作目录 WORKDIR /app # 安装Python依赖 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 复制项目文件 COPY . . # 设置启动命令 CMD ["python", "app.py"]构建镜像：
docker build -t qwen3-9b-gguf .3.2 编写docker-compose配置
创建docker-compose.yml文件：
version: '3.8' services: qwen3-9b: image: qwen3-9b-gguf container_name: qwen3-9b-container volumes: - /root/ai-models/unsloth/Qwen3___5-9B-GGUF:/app/models ports: - "7860:7860" restart: unless-stopped3.3 启动服务
docker-compose up -d4. Supervisor进程守护配置
4.1 创建Supervisor配置文件
在/etc/supervisor/conf.d/qwen3-9b-gguf.conf中添加：
[program:qwen3-9b-gguf] command=docker-compose -f /path/to/docker-compose.yml up directory=/path/to/project autostart=true autorestart=true startretries=3 stderr_logfile=/root/Qwen3.5-9B-GGUFit/service.log stdout_logfile=/root/Qwen3.5-9B-GGUFit/service.log user=root4.2 Supervisor常用命令
# 重新加载配置 sudo supervisorctl reread sudo supervisorctl update # 启动服务 sudo supervisorctl start qwen3-9b-gguf # 查看状态 sudo supervisorctl status5. 服务访问与管理
5.1 访问WebUI
服务启动后，可以通过以下地址访问：
http://localhost:78605.2 服务管理命令
# 查看容器状态 docker ps # 查看容器日志 docker logs qwen3-9b-container # 进入容器 docker exec -it qwen3-9b-container bash6. 常见问题排查
6.1 服务启动失败
# 检查Supervisor日志 tail -50 /root/Qwen3.5-9B-GGUFit/service.log # 检查Docker日志 docker logs qwen3-9b-container6.2 端口冲突
# 检查端口占用 netstat -tulnp | grep 7860 # 释放端口 kill -9 <PID>6.3 模型加载问题
# 验证模型文件 docker exec qwen3-9b-container ls -la /app/models # 检查依赖版本 docker exec qwen3-9b-container pip list | grep llama-cpp7. 总结
本教程详细介绍了Qwen3.5-9B-GGUF模型的Docker容器化部署方案，结合Supervisor实现了稳定的进程守护。这套方案具有以下优势：
- 环境隔离：通过Docker实现环境隔离，避免依赖冲突
- 一键部署：简化了复杂的模型部署过程
- 稳定运行：Supervisor确保服务持续可用
- 资源高效：GGUF量化格式降低硬件要求
对于生产环境，建议：
- 定期备份模型文件和配置文件
- 监控服务资源使用情况
- 根据实际需求调整Docker资源限制
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
