Qwen3.5-4B-AWQ详细步骤：vLLM分布式推理与多GPU显存拆分配置

Qwen3.5-4B-AWQ详细步骤：vLLM分布式推理与多GPU显存拆分配置

1. 项目概述

Qwen3.5-4B-AWQ-4bit是阿里云通义千问团队推出的轻量级稠密模型，经过4bit AWQ量化后显存占用仅约3GB，使得RTX 3060/4060等消费级显卡也能流畅运行。该模型在保持轻量化的同时，性能表现优异：

• 性能表现：MMLU-Pro得分接近Qwen3-30B-A3B，OmniDocBench击败GPT-5-Nano
• 能力覆盖：支持201种语言、原生多模态（图文）、长上下文、工具调用
• 应用场景：适配轻量Agent、知识库、客服等多种应用场景
• 部署友好：适配llama.cpp、vLLM等多种推理引擎

2. 环境准备与快速部署

2.1 基础环境要求

• 操作系统：推荐Ubuntu 20.04/22.04
• 显卡驱动：NVIDIA驱动版本>=525.60.13
• CUDA版本：CUDA 11.7或更高
• Python环境：Python 3.8-3.10

2.2 快速安装步骤

# 创建conda环境 conda create -n qwen35 python=3.9 -y conda activate qwen35 # 安装基础依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 pip install vllm transformers # 下载模型 git lfs install git clone https://www.modelscope.cn/cyankiwi/Qwen3___5-4B-AWQ-4bit.git /root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit

3. vLLM分布式推理配置

3.1 单GPU基础推理

from vllm import LLM, SamplingParams # 初始化模型 llm = LLM(model="/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit") # 设置采样参数 sampling_params = SamplingParams(temperature=0.7, top_p=0.9) # 执行推理 outputs = llm.generate(["请用中文解释量子计算的基本原理"], sampling_params) print(outputs[0].text)

3.2 多GPU显存拆分策略

当使用多GPU时，可以通过tensor并行实现显存拆分：

# 使用2个GPU进行tensor并行 llm = LLM( model="/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit", tensor_parallel_size=2, # 使用2个GPU gpu_memory_utilization=0.8 # 每个GPU显存利用率 )

3.3 分布式推理最佳实践

1. 显存分配策略：

   • 对于24GB显存的GPU，建议gpu_memory_utilization=0.8
   • 对于12GB显存的GPU，建议gpu_memory_utilization=0.7

2. 批处理优化：

# 启用连续批处理提高吞吐量 llm = LLM( model="/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit", enable_prefix_caching=True, max_num_seqs=32 )

4. 服务管理与监控

4.1 使用Supervisor管理服务

# 安装supervisor sudo apt-get install supervisor # 创建配置文件 echo "[program:qwen35-4b-awq] command=/opt/miniconda3/envs/qwen35/bin/python webui.py directory=/root/Qwen3.5-4B-AWQ-4bit autostart=true autorestart=true stderr_logfile=/root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log stdout_logfile=/root/Qwen3.5-4B-AWQ-4bit/logs/webui.log" > /etc/supervisor/conf.d/qwen35.conf # 重新加载配置 sudo supervisorctl reread sudo supervisorctl update

4.2 常用管理命令

# 查看服务状态 supervisorctl status qwen35-4b-awq # 启动服务 supervisorctl start qwen35-4b-awq # 停止服务 supervisorctl stop qwen35-4b-awq # 重启服务 supervisorctl restart qwen35-4b-awq

5. 常见问题解决

5.1 显存不足问题

# 检查显存占用 nvidia-smi # 查找并终止残留进程 ps aux | grep vllm | awk '{print $2}' | xargs kill -9

5.2 性能优化建议

1. 量化精度调整：

   • 如需更高精度，可使用--quantization awq参数调整量化策略

2. 上下文长度优化：

llm = LLM( model="/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit", max_model_len=4096 # 根据需求调整上下文长度 )

6. 总结

Qwen3.5-4B-AWQ-4bit通过4bit AWQ量化实现了极低的显存占用，配合vLLM的分布式推理能力，可以在消费级显卡上实现高效的模型部署。本文详细介绍了从环境准备、模型部署到多GPU显存拆分的完整流程，以及常见问题的解决方案。

通过合理的显存分配和tensor并行策略，即使是资源有限的开发环境也能流畅运行这一高性能模型。该模型在轻量化部署场景下展现出优异的性价比，是构建本地AI应用的理想选择。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。