DFlash2 对 MTP 深度对比：Coder390 投机解码 3.25 倍加速的原理与全量实测

• 基础模型
• 大模型
• 多模态
• 模型量化
• 模型评测
• 本地部署

Coder390（Qwen3.8-27B 后训练版）自带两套互斥的投机解码方案：DFlash2 外挂草稿模型与内置 MTP 头。单张 RTX PRO 6000 上实测：DFlash2 把单请求解码速度从 45.6 tok/s 提到180.3 tok/s（3.25 倍加速），MTP 提到 91.1 tok/s，两者都不能与「不开投机」相提并论。这篇文章把两套方案的原理差异、全部档位实测数据、选型与一键启动命令一次讲清，新手也能直接抄作业。

一分钟看懂：两套投机解码是什么关系

先给结论：

⚠️二者互斥：同一次启动只能开其中一种，不能叠加。

MTP 与 DFlash2 架构差异：为什么一个是「内置头」，一个是「外挂模型」

MTP：主模型自带的 1 层「预测头」

MTP 权重随主包发布（如 FP8/mtp-bf16.safetensors），主配置里声明mtp_num_hidden_layers: 1。它复用主干的词嵌入（mtp_use_dedicated_embeddings: false），每一步只预测下一个token，靠 3 步串联出一小段草稿，再由大模型一次验证。结构轻、显存开销小，但每轮产出的候选 token 少。

DFlash2：5 层滑动窗口草稿模型 + 候选选择器

DFlash2 是一个独立草稿模型（DFlash2DraftModel），关键设计见 FP8/DFlash2-FP8/config.json：

• 5 层滑动窗口注意力（窗口 2048），推理便宜；
• 块大小 8：一次前向并行提出 8 个候选 token；
• 候选选择器（selector_top_k: 16，秩 256）：从词表里挑 16 个高概率候选，降低「猜错」代价；
• 特征融合：从目标模型第 5 / 19 / 33 / 47 / 61 层取 hidden state（共 64 层）作为输入，草稿「看得见」主模型的中间表示。

量化细节见 FP8/DFlash2-FP8/manifest.json：o_proj、gate/up/down 共 20 个张量为 FP8 E4M3（128×128 分块 scale），q/k/v 投影、fc、候选选择器、卷积与 norm 保留 BF16，与 FP8 主包同格式。BF16 / FP8 / NVFP4 各档自带的DFlash2-FP8/目录逐字节相同（2,407,384,680 字节）。

📌 小贴士：2026-10-08 起 DFlash2 草稿从「按张量 scale」换成「128×128 分块 scale」，只认旧格式的引擎（如 radiance）会加载成功但几乎不接受草稿 token，请用新版草稿。

3.25 倍加速的原理：接受率更低，为什么反而快 70%？

这是全文最值得看的一段。实测里 MTP 的接受率（0.619）其实高于 DFlash2（0.470），但 DFlash2 单请求快 70%。原因在于投机解码的成本结构：

每一轮的真正开销 =目标大模型的一次验证前向（贵）+ 草稿模型的前向（便宜）。

所以「平均每轮能白捡多少 token」比「单个 token 猜对概率」更关键：

• MTP：3 步草稿 ≈ 每轮提出 3~4 个候选，接受长度 2.858 → 平均每轮产出约2.9 个 token，代价是 3~4 次「贵」的验证步；
• DFlash2：每轮并行提出8 个候选（一次草稿前向），接受长度 4.289 → 平均每轮产出约4.3 个 token，代价只有约 1 次「贵」的验证步。

换算下来 DFlash2 的「每次验证换到的 token」约为 MTP 的2.9 倍，正好对应实测的 3.25× 与 1.82× 之比。一句话：接受率看准度，吞吐看每轮的批量——DFlash2 用「一次多猜、整批验证」赢下了单请求速度。

静态 FP8 全量实测：C1–C16 三档对比表

测试环境：单张 RTX PRO 6000 Blackwell 96GB，SGLang，32K 上下文，4096 生成上限，开思考，采样用模型默认值。C1 为主测，C4/C8/C16 为加大请求数的复测。完整原始数据见 evaluation/BENCH_STATICFP8.json，速览表见 evaluation/BENCH_STATICFP8.md。

三个可以直接记住的推荐值（按「单请求速度不低于 C1 的 60% 时总吞吐最高」的规则）：

C1–C16 每一档，DFlash2 的总吞吐和单请求速度都高于 MTP，没有反转。

跨量化档位实测：NVFP4、NInfer、GGUF、INT8/INT4 上的表现

NVFP4 三档（SGLang）

W4A4 与 W4A4-W8A8 在 C1–C16 每一档 DFlash2 全面胜出；W4A16 只有 C4 一档是 MTP 总吞吐略高（351.4 对 315.2）。以单请求速度看差距最直观：

原始数据：evaluation/BENCH_NVFP4_W4A16.json、evaluation/BENCH_NVFP4_W4A4.json、evaluation/BENCH_NVFP4_MIXED.json。

NInfer 两档（NVFP4-NInfer 包）

.ninfer包内同时内置了 Q8 MTP 头和 DFlash2 草稿，--spec mtp与--spec dflash2二选一（NInfer 并发上限 8）：

GGUF 档（llama.cpp / NInfer）：内置 MTP，无 DFlash2

GGUF / GGUF-NInfer 各档都内置 MTP 头（Q2/Q3/Q4 LynnStyle 为 Q4 MTP，另有 Q8 MTP 版本），但仓库不提供 GGUF 用的 DFlash2 草稿——这两档上 MTP 就是唯一投机选项：

INT8 / INT4（vLLM）：只有 MTP

• INT8 W8A8：包内无 MTP，另配 INT8/W8A8/MTP-BF16/ 草稿目录（3 个草稿 token）：C1 从 31.1 →65.9 tok/s，C8 从 127.0 →389.8 tok/s，接受长度 2.74–2.90；
• INT4 W4A16：内置 MTP 头（INT4/W4A16/model_mtp.safetensors），整轮测评平均接受长度2.81，C1 单请求 135.2 tok/s（不开投机 68.4）。

两档均无 DFlash2 草稿。

选型建议：我该开 DFlash2 还是 MTP？

按部署形态对号入座即可：

1. SGLang 部署 BF16 / FP8 / NVFP4 档→ 一律优先DFlash2（C1–C16 全胜）；并发建议：交互 C1–C4、共用 C8、吞吐 C16。
2. vLLM 部署→ 目前只有 MTP 路线：INT4 用内置头，INT8 用MTP-BF16/草稿目录（FP8 档的 vLLM MTP 暂不可用）。
3. GGUF（llama.cpp / NInfer）→ 用内置 MTP（--spec mtp或--spec-type draft-mtp），没有 DFlash2。
4. NInfer（NVFP4-NInfer 包）→ 包内二者都有，--spec dflash2 --draft-tokens 8更快；MTP 取 1–5 个草稿 token，DFlash2 取 1–15。
5. 显存紧张→ MTP 头仅 0.85 GB，比 2.4 GB 的 DFlash2 草稿轻，且接受率更高、多用户下（C8+）差距缩小。

✅ 额外保证：投机解码只改变速度，不改变输出分布——DFlash2 / MTP 生成的内容与不开投机逐字一致（同分布验证），可以放心用于生产。

快速上手：一键启动命令（SGLang）

DFlash2 与 MTP二选一，下面以 FP8 档为例（BF16 / NVFP4 档只需换--model-path）。

SGLang · DFlash2

python -m sglang.launch_server \ --model-path ./FP8 \ --context-length 32768 \ --max-running-requests 16 \ --mamba-ssm-dtype bfloat16 \ --speculative-algorithm DFLASH \ --speculative-draft-model-path ./FP8/DFlash2-FP8 \ --speculative-draft-model-quantization fp8 \ --speculative-num-draft-tokens 8

SGLang · MTP（包内 BF16 头）

python -m sglang.launch_server \ --model-path ./FP8 \ --context-length 32768 \ --max-running-requests 16 \ --mamba-ssm-dtype bfloat16 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4

NInfer 上的对应写法（.ninfer包内置两种草稿，加一个参数即可切换）：

# MTP ninfer-serve ./NVFP4-NInfer/W4A4/Qwen3.8-27B-Coder390-EfficientThink-W4A4-MTP-DFlash2.ninfer \ --max-context 102400 --kv-capacity 819200 --max-concurrency 8 --kv-dtype fp8 \ --spec mtp --draft-tokens 4 --lm-head-draft # DFlash2（把上一行最后一段换成下面这行） --spec dflash2 --draft-tokens 8 --lm-head-draft

小结与注意事项

• DFlash2 = 单请求速度之王：C1 下 180.3 tok/s，是「不开投机」（45.6 tok/s）的3.25 倍、MTP（91.1 tok/s）的近 2 倍；C16 总吞吐 1,057.5 tok/s 同样全场最高。
• MTP = 轻量兜底：0.85 GB 的内置头、接受率更高，适合显存紧张、只跑 vLLM / llama.cpp 的场景，C8 下仍有 71.1 tok/s 单请求。
• 速度数字依赖测试口径（SGLang、32K 上下文、4096 生成上限、RTX PRO 6000），不同硬件与上下文下绝对值会变，但「DFlash2 ≥ MTP ≥ 不开投机」的排序在全部已测档位中成立。
• DFlash2 目前仅 SGLang 验证（NInfer 包内可用）；GGUF 两档请用内置 MTP；MTP 与 DFlash2 永远互斥。
• 想核对全部数据：成绩文件 evaluation/SCORES_STATICFP8.json、evaluation/SCORES_NVFP4_W4A4.json，校验用各目录下的SHA256SUMS。

• 基础模型
• 大模型
• 多模态
• 模型量化
• 模型评测
• 本地部署