Qwen3.6-35B-A3B-NVFP4架构拆解：256专家、混合线性注意力与MTP多token预测

Qwen3.6-35B-A3B-NVFP4 是 RedHatAI 发布的 NVFP4 4-bit 量化多模态大模型，总参数约 35B、每 token 仅激活约 3B，原生支持 256K 上下文与工具调用，用一条vllm serve命令即可部署。它基于 MoE 混合专家架构，每层内置 256 个专家并采用 top-8 路由；注意力上混合了 30 层线性注意力与 10 层全注意力，还附带一个 MTP（Multi-Token Prediction）多 token 预测层来加速推理生成。本文拆解它的架构与量化设计，并附上完整基准分数。

📦 模型概览：这是什么？

简单来说，Qwen3.6-35B-A3B-NVFP4 =Qwen3.6-35B-A3B 原始权重 + NVFP4 4-bit 量化，由 RedHatAI 基于 vLLM 生态的 llm-compressor 工具链产出，已在 RHOAI 3.5、RHAIIS 3.5 与 vLLM 0.24.0 上完成验证（见 README.md）。

权重被拆分为三个文件，各司其职：

⚡ NVFP4 4-bit 量化：35B 模型为何只占 22 GB

NVFP4 是一种 4-bit 浮点量化格式（FP4 e2m1）。本模型把权重和输入激活值都压到了 4-bit，细节见 config.json 中的quantization_config：

• 分组量化：每 16 个数值为一组（group_size: 16），组内用一个 FP8（float8_e4m3fn）scale 还原精度，对称量化；
• 动态激活：权重用静态memoryless_minmax观测器，激活用dynamic: local实时计算 scale；
• 校准数据：用 256 条 ultrachat_200k 样本、4096 序列长度做校准，并对所有专家做校准（moe_calibrate_all_experts=True），量化脚本收录在 README.md；
• 量化方案文件：recipe.yaml 记录了scheme: NVFP4与排除规则。

更关键的是排除列表（ignore字段）：视觉塔、线性注意力投影、MoE 路由门（mlp.gate、shared_expert_gate）、embed_tokens、lm_head以及所有 MTP 层都保持 BF16 不量化。这些模块参数量小但对精度敏感，保留全精度是用极小体积换来接近无损的效果。

🧩 256 个专家与 top-8 路由：“35B 总量，3B 激活”

这是 Qwen3.6-35B-A3B 的核心设计，也是 “35B” 与 “A3B” 数字的含义：

1. 每层 256 个专家（num_experts: 256），每个专家中间维 512（moe_intermediate_size），单专家仅约 3.1M 参数；
2. 每个 token 只激活 8 个专家（num_experts_per_tok: 8），由路由门打分选出；
3. 1 个常开共享专家（shared_expert_intermediate_size: 512）兜底通用能力，路由门本身保持 BF16 保证选择稳定；
4. 负载均衡辅助损失系数 0.001（router_aux_loss_coef）防止专家坍缩。

算一笔账：40 层 × 256 专家 ≈ 10240 个专家，总参数约 35.7B；但每个 token 每层只经过 8+1=9 个专家，激活量约 3B——用 3B 的推理成本，获得接近 35B 稠密模型的能力。README 中也提示：如果你的硬件计算能力富余而显存带宽吃紧，这个 MoE 变体反而比稠密模型更快。

🌀 混合线性注意力：30 层线性 + 10 层全注意力

翻开 config.json 的layer_types字段，40 层呈固定节奏排布：每 3 层线性注意力（linear_attention）后接 1 层全注意力（full_attention），由full_attention_interval: 4控制，共 10 层全注意力、30 层线性注意力。

这套混合设计的收益非常直接：线性注意力层的“记忆”是一个固定大小状态，不随序列长度增长，因此在 262K 上下文下内存与延迟远好于纯 Transformer；每隔 3 层插入一次全注意力，则负责全局精确检索。对长文档、长会话的 Agent 场景尤其友好。

🚀 MTP 多 token 预测：让生成再快一步

mtp_num_hidden_layers: 1表示模型附带1 层 MTP（Multi-Token Prediction）头，独立存放在 model_mtp.safetensors（1.69 GB，BF16 未量化）。

MTP 的思路是“一步多看几步”：主模型生成当前 token 的同时，MTP 层基于当前隐状态投机式地预生成后续 token，预生成成功即直接采纳，失败才回退到正常解码——相当于一层轻量级投机解码，可显著减少长文本生成的往返次数。量化时这些张量被原样从原始检查点拷贝（save_mtp_tensors_to_checkpoint，见 README.md 脚本），避免量化损失拖累预测命中率。另外mtp_use_dedicated_embeddings: false，MTP 层复用主模型词表嵌入，不额外占用显存。

👁️ 视觉塔与 256K 长上下文

这是一个图-文-视频统一输入的多模态模型：

• 视觉塔为 27 层 ViT（depth: 27），16×16 patch、时间维 patch 2、空间 2×2 合并，输出对齐到 2048 维文本空间（model_visual.safetensors）；
• 处理流程由 processor_config.json 中的Qwen3VLProcessor驱动，支持图片与视频（最多 768 帧）；
• 位置编码采用 interleaved MRoPE（mrope_section: [11, 11, 10]）+ 25% 部分旋转（partial_rotary_factor: 0.25），在时间/高度/宽度三个维度交错编码，是长视频与超长文本 262K 上下文稳定外推的关键。

📊 基准成绩：量化后掉了多少分？

用 vLLM 多 seed 平均评测，NVFP4 版本相对 BF16 原版的分数恢复情况（完整原始数据见 nvfp4_every_eval_ever/ 与 score/data_overall.csv）：

结论很清晰：数学与推理类任务几乎零损失甚至反超（GSM8K 96.08 分），代码生成与 SWE-bench 有小幅下降；BFCL v4 工具调用细分（单轮/多轮/Agent）恢复率在 93%–99% 之间。对 4-bit 量化而言，这是一份相当能打的成绩单。

🛠️ 一条命令部署：vLLM 快速上手

模型已按 vLLM 兼容的 compressed-tensors 格式保存，部署只需一条命令（需要transformers >= 5与较新 vLLM）：

git clone https://gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4 vllm serve RedHatAI/Qwen3.6-35B-A3B-NVFP4 \ --reasoning-parser qwen3 \ --enable-prefix-caching \ --moe_backend flashinfer_cutlass

几个必须知道的参数：

• --reasoning-parser qwen3：解析思考块，对应 chat_template.jinja 中的<think>结构；默认开启思考模式（enable_thinking: true）；
• --enable-prefix-caching：前缀缓存，配合线性注意力层可大幅降低多轮对话成本；
• --moe_backend flashinfer_cutlass：README 推荐的 MoE 计算后端，对 FP4 专家矩阵有专门优化；
• 默认采样参数（temperature 1.0 / top_p 0.95 / top_k 20）见 generation_config.json。

📁 关键文件指南

小结

Qwen3.6-35B-A3B-NVFP4 把三个前沿技术打包进一个可直接部署的仓库：256 专家 top-8 MoE实现 35B/3B 的容量-成本比，30:10 混合线性注意力让 256K 长上下文的 KV 开销趋近常数，MTP 层进一步压缩生成延迟；而 NVFP4 量化以“全 FP4 + 关键模块 BF16”的策略，把 22 GB 权重的推理成本控制在几乎无损的范围内（多数基准恢复率 97%+）。如果你需要在有限显存里跑一个长上下文、强工具调用的开源多模态模型，它值得直接试用。