GLM-OCR MTP 投机解码原理：Multi-Token 预测如何让 OCR 推理快 2-3 倍-开发者社区

GLM-OCR MTP 投机解码原理：Multi-Token 预测如何让 OCR 推理快 2-3 倍

【免费下载链接】GLM-OCRGLM-OCR: Accurate × Fast × Comprehensive项目地址: https://gitcode.com/GitHub_Trending/gl/GLM-OCR

GLM-OCR 是一款面向复杂文档理解的多模态 OCR 模型，通过引入 MTP（Multi-Token Prediction，多 Token 预测）训练损失，在推理时天然支持投机解码，可显著降低文档识别的时延与算力成本。本文将用通俗的语言讲清楚：MTP 到底是什么、它为什么能加速推理，以及如何在 vLLM / SGLang 中一行命令开启。

为什么 OCR 推理天生就慢？

先理解瓶颈所在。GLM-OCR 的语言解码器（GLM-0.5B）是标准的自回归模型——每生成 1 个 token，都要把前面所有内容重新过一遍网络。识别一张表格页动辄几百上千个 token，就意味着几百上千次完整的模型前向计算。

这就像翻译员逐字翻译：每译一个词都要把前面整段重新读一遍。文档越长，等待越久。

而 OCR 场景有个关键特点：输出 token 高度可预测。表格的行列结构、代码的缩进与标签、化学式的骨架，大量后续 token 其实"一眼就能猜到"。这正是投机解码可以利用的空间。

一、MTP 训练损失：顺手练出的"草稿模块"

传统语言模型训练时，第 t 步只预测第 t+1 个 token。而 GLM-OCR 引入了 MTP 损失：在第 t 步，模型要同时预测 t+1、t+2、t+3……多个后续 token。

这个"顺手多学几步"带来两个好处（见 README_zh.md 的模型介绍）：

📈训练效率更高：一份数据在每一步都产生多个监督信号，学习信号更密集；
🎁免费获得草稿能力：训练完成后，模型内部就自带了一个"能连猜好几个 token"的轻量结构（业内常称 draft head / NEXTN 模块），无需再单独训练一个小型草稿模型。

这正是 MTP 投机解码的精髓：草稿模块不是外挂的，而是主模型自己长出来的，显存开销极小。

二、推理加速原理：草稿一次生成，验证一步到位

推理阶段，投机解码（Speculative Decoding）把"逐字翻译"变成"整句翻译 + 校对"：

草稿阶段：MTP 草稿模块一次性连写 K 个 token（比如 K=3），只付出极小的计算成本；
验证阶段：主模型对"上文 + 草稿"做一次前向，并行校验全部 K 个 token——因为 Transformer 的自注意力机制可以并行处理已确定的序列，这一步的耗时与校验单个 token 几乎相同；
接受或回退：从第一个不一致的位置截断，保留已验证的 token；即使全部猜错，也至少产出 1 个正确 token（由主模型正常补写）。

关键结论：

✅ 草稿被接受的 token一个 token 都不丢，输出与纯自回归完全一致——加速不损精度；
✅ OCR 文本结构性强、重复模式多，草稿命中率通常很高，实测可带来约 2~3 倍的解码加速；
✅ 草稿模块参数量小，几乎不增加显存占用。

一句话总结：用一次便宜的前向"押注"多个 token，再用一次本来就要做的前向"验账"，验中即赚，验错不亏。

三、部署实操：一条命令开启 MTP 加速

好消息是：你什么都不用改。GLM-OCR 官方部署方式已内置 MTP 投机解码，下面给出两种引擎的完整启动命令（摘自 README_zh.md）。

vLLM：speculative-config 指定 mtp 方法

pip install "transformers>=5.3.0" vllm serve zai-org/GLM-OCR \ --port 8080 \ --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' \ --served-model-name glm-ocr

其中num_speculative_tokens: 3表示每轮让 MTP 草稿模块连出 3 个 token 供主模型验证。

SGLang：NEXTN 算法对应 MTP 能力

SGLANG_ENABLE_SPEC_V2=1 sglang serve \ --model-path zai-org/GLM-OCR \ --port 8080 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --served-model-name glm-ocr

SGLang 中 MTP 能力以NEXTN算法暴露：num-steps 3+num-draft-tokens 4意味着 3 步草稿、每轮共 4 个待验证 token。

多卡批量部署：MTP 默认开启

如果你用官方提供的多卡并行方案，MTP 已是默认行为——examples/multi-gpu-deploy/ 的 engine.py 在组装启动命令时就写死了投机解码参数，详见 multi-gpu-deploy 中文文档：

python examples/multi-gpu-deploy/launch.py -i ./images -o ./output -m /path/to/GLM-OCR

引擎	MTP 配置方式	每轮草稿 token 数
vLLM	`--speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'`	3
SGLang	`--speculative-algorithm NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4`	4