如何用llama.cpp、Ollama和LM Studio部署Qwen3.5-35B-A3B-GGUF：3种本地推理方案手把手教程

Qwen3.5-35B-A3B-GGUF 是 Unsloth 出品的 Qwen3.5-35B-A3B 多模态 MoE 大模型 GGUF 量化权重，覆盖 Q2 到 Q8 全档位量化，并附带 mmproj 视觉投影文件。本文将手把手带你用llama.cpp、Ollama、LM Studio三种主流方案完成本地部署：选对量化版本 → 一条命令跑通推理 → 开启 API 服务与多模态，全程可直接复制命令，无需深厚基础。

一、先认识一下 Qwen3.5-35B-A3B：为什么它适合本地部署？

Qwen3.5-35B-A3B 是 Qwen3.5 系列中「高性价比」成员，核心规格如下（完整参数见 config.json）：

📌关键点：因为每个 token 只激活 3B 参数，即使没有顶级显卡，纯 CPU 也能获得流畅的生成速度——这是它成为本地部署热门选手的根本原因。更详细的技术背景可阅读仓库内的 README.md。

二、下载前必做：3 步挑对量化版本

仓库内提供了 Qwen3.5-35B-A3B-Q4_K_M.gguf、Qwen3.5-35B-A3B-Q8_0.gguf 等 20+ 种量化版本。所有 GGUF 均基于 imatrix_unsloth.gguf_file 的 imatrix 校准数据量化，精度在同档位中表现突出。

内存速查表（大小为近似参考值，以仓库实际文件为准）：

💡建议：内存 ≥ 32 GB 直接选 Q4_K_M；24 GB 以内选 Q3_K_S 或 UD-IQ2_M；有 48 GB 以上显存/内存再考虑 Q6_K / Q8_0。如果只想下载单个版本，建议在仓库文件列表中直接下载对应文件，无需 clone 整个仓库；若使用 git 方式获取：

git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.5-35B-A3B-GGUF

🔍多模态提醒：需要看图/看视频时，请同时下载一个视觉投影文件，例如 mmproj-F16.gguf（与 mmproj-BF16.gguf、mmproj-F32.gguf 三选一，F16 体积适中是默认推荐）；纯文本使用则完全不需要。

三、方案一：llama.cpp 部署（最灵活，官方推荐）

llama.cpp 是 GGUF 生态的事实标准，对 Qwen3.5 的新架构支持最及时。

1. 安装最新版 llama.cpp

到 llama.cpp 的 Releases 页面下载对应系统的预编译包解压即可，或按官方文档从源码构建。装好后用llama-cli --version验证。

⚠️ 请务必使用最新版本，旧版本不支持 Qwen3.5 的 Gated DeltaNet + MoE 混合架构。

2. 一条命令进入交互对话

把量化文件放在 llama.cpp 可访问的目录后：

llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf --jinja -cnv

--jinja会加载模型内置的官方对话模板（含思考模式处理），-cnv进入多轮会话。看到提示符后直接输入问题即可。

3. 启动 OpenAI 兼容 API 服务

想让其他工具接入本地模型？一条命令即可：

llama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf -c 16384 --host 0.0.0.0 --port 8080

服务启动后，任意支持 OpenAI API 的客户端把 base url 指向http://localhost:8080/v1就能用了。

4. 两个高频需求：关闭思考模式 / 启用视觉

Qwen3.5 默认开启思考模式（先输出推理过程再回答）。快速问答场景可以关闭以提速：

llama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf --jinja \ --chat-template-kwargs '{"enable_thinking":false}'

启用图像理解时加上--mmproj指定视觉投影文件：

llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf --mmproj mmproj-F16.gguf --jinja -cnv

5. 有 NVIDIA 显卡？把计算层交给 GPU

llama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf -c 16384 -ngl 99

-ngl 99表示尽量把层放到 GPU。35B 总参数意味着权重仍需完整放入显存/内存，显存不足时可减小-ngl做 CPU+GPU 混合推理，MoE 架构下混合模式速度依然可观。

四、方案二：Ollama 部署（最简单，一条命令）

Ollama 适合「装完就用」的用户，管理多个模型也很方便。

1. 安装并验证

从 Ollama 官网下载安装包安装后，执行：

ollama --version

2. 用本地 GGUF 创建模型

Ollama 可以直接从本地 GGUF 文件导入。在模型目录新建一个Modelfile（文件名随意）：

FROM ./Qwen3.5-35B-A3B-Q4_K_M.gguf PARAMETER num_ctx 16384

然后创建并运行：

ollama create qwen35-35b -f Modelfile ollama run qwen35-35b

看到对话提示符即部署成功，直接聊天即可。

3. 常用管理命令

ollama list # 查看已安装的模型 ollama rm qwen35-35b # 删除模型

Ollama 默认在11434端口提供 OpenAI 兼容 API，其他应用可以直接对接。需要多模态时，可在Modelfile中追加PARAMETER之外的FROM之外的视觉配置，或改走 llama.cpp 方案（对 mmproj 支持更直接）。

五、方案三：LM Studio 部署（零命令行，图形界面）

LM Studio 是面向新手的图形化本地推理工具，全程鼠标操作。

1. 导入模型

1. 从 LM Studio 官网下载安装包并安装；
2. 打开后在左侧「模型」面板点击导入，选中本地下载的Qwen3.5-35B-A3B-Q4_K_M.gguf（或直接在搜索栏搜索 Qwen3.5-35B-A3B GGUF 从社区下载）；
3. 导入完成后在「聊天」面板加载该模型。

2. 关键参数设置

3. 开启多模态

在导入本地文件时，LM Studio 支持同时选择模型 GGUF 与对应的 mmproj 视觉文件（如mmproj-F16.gguf），之后在聊天框中即可直接发送图片提问。

六、3 种方案怎么选？一图看懂

七、常见问题与调优技巧

❓报错 Out of Memory / 加载失败？换更小的量化（如 Q4_K_M → Q3_K_S），并调小上下文-c/num_ctx。官方建议：若遇 OOM 可缩减上下文，但为保证思考能力尽量不低于 128K（内存足够时）。

❓生成速度慢？MoE 模型速度瓶颈在内存带宽。优先选 32 GB 内存机器跑 Q4_K_M；有 N 卡就用-ngl 99全量上卡；长思考会拉长单次响应时间，日常问答可关闭思考模式。

❓回答开始「复读」或语言混杂？把presence_penalty调到 1.5（范围 0~2），一般即可消除；该值过高可能轻微影响表现。

❓输出被截断、回答不完整？把最大输出长度提到 32768；数学/竞赛类复杂题目可提到 81920，给模型留足推理空间。

❓想要更长的上下文（>262K）？可参考 README.md 中的 YaRN RoPE 缩放方案，原生 262,144 tokens 之外最高可扩展到约 1,010,000 tokens，但需要相应框架（vLLM/SGLang 等）支持。

🎯最后总结：内存 32 GB 以上的机器选Q4_K_M + llama.cpp是本地部署 Qwen3.5-35B-A3B 的黄金组合；图省事选 Ollama 或 LM Studio 同样一条路跑通。全部权重文件、量化说明与最佳实践均以仓库内 README.md 与 config.json 为准，祝你的本地大模型早日跑起来！