Intern-Decision-2B 是什么：一文读懂 InternLM 开源多模态结构化决策大模型

Intern-Decision-2B是 InternLM 团队开源的一个2B 参数多模态结构化决策大模型，基于 Qwen3.5-2B 微调而来。它不像普通大模型那样逐字生成回答，而是通过一次前向计算，同时为多个预设问题输出完整的概率分布——既能看懂图片，又能给出校准过的置信度，特别适合客服工单分派、风险分级、审核判定等需要"机器可靠做决定"的场景。

1 分钟了解 Intern-Decision-2B 🧭

一句话概括：你给它一段状态描述（可附带图片）和一组带选项的问题，它一次性返回每个问题的答案和置信度。

普通对话大模型的工作方式是"自回归生成"——一个字一个字往外蹦，需要反复解码，既慢又可能出现格式漂移。Intern-Decision-2B 走的是另一条路：

• 把所有问题的选项映射为单 token 符号（A、B…Z、a…z、0…9）
• 在输入中为每个问题埋一个<decision>占位符（该特殊 token 见 added_tokens.json）
• 只跑一次前向传播，读取每个占位符前一位的 logits
• 仅在候选符号上做 softmax，再套用温度校准，输出带概率的 JSON 答案

整个推理链路实现在 inference.py 的DecisionEngine类中（inference.py#L249-L269），它不调用generate()、不采样自由文本，因此又快又稳定。

支持 3 种问题类型：结构化决策的"三件套" ✍️

一次请求可包含1～16 个问题，每个问题最多62 个选项，支持三种类型：

每个问题还会附带probabilities（完整概率分布）和confidence（最高置信度），让下游系统可以基于概率做阈值判断，而不仅仅是拿到一个"答案"。三种类型的选项解析逻辑见 inference.py#L36-L54。

快速上手：3 步跑通你的第一个决策 ⚡️

环境要求Python 3.12+，依赖非常轻（PyTorch + Transformers + Pillow，见 requirements.txt）：

pip install -r requirements.txt

from inference import DecisionEngine engine = DecisionEngine(device="cuda") # 加载一次，反复复用 request = { "state": "The customer was charged twice and asks for the extra payment back.", "questions": { "team": { "type": "choice", "instructions": "Which team should handle this request?", "criteria": {"billing": "Payments and refunds", "delivery": "Shipping and delivery"} }, "refund_requested": { "type": "noul", "instructions": "Is the customer asking for a refund?" } } } print(engine.predict(request)["answers"])

💡多模态能力：在请求里加一个images列表（1～8 张图片的本地路径），即可让模型结合图片做决策，图片缩放与 token 展开由 preprocessor_config.json 定义的视觉处理器自动完成。

性能实测：更快、更准的结构化决策 📊

官方在 Jevbench 等 7 个基准上对比了多个决策模型（数据来自 README.md#L41-L50）：

推理延迟（单张 RTX 4090，见 README.md#L55-L63）：

也就是说，Intern-Decision-2B 用不到基线 1/3 的延迟完成了全部决策，且 P95 与平均值几乎重合——延迟非常稳定，很适合高并发在线服务。

模型内部结构一览 🔍

从 config.json 可以看到它的架构细节：

• 基座：Qwen3.5-2B（Qwen3_5ForConditionalGeneration，混合线性/全注意力结构）
• 文本侧：24 层、hidden size 2048、最大 262K 上下文、bfloat16 精度
• 视觉侧：24 层 ViT、patch size 16，复用 Qwen 多模态处理器
• 分词器：在原始词表基础上新增了<decision>等决策专用 token

模型权重拆分为语言、投影、视觉三个分片（见 model.safetensors.index.json），对话模板由 chat_template.jinja 定义，推理时会保留该模板和空的思考块。

关于"温度"的特别说明 🌡️

模型默认温度是2.100509348278（inference.py#L21），由 1728 个校准样本通过 NLL 最小化单独拟合，且不用于选择测试集标签。

注意：这是候选概率校准温度，不是采样温度——它只调整置信度、noul概率和期望score，不会改变 argmax 决策结果（缩放逻辑见 inference.py#L153-L168）。若想要未校准的原始概率，传入DecisionEngine(temperature=1)即可。

许可证与使用注意 ⚖️

• 模型基于 Qwen3.5 系列，原始 Qwen 许可证保留在 LICENSE-QWEN 中，发布附带 LICENSE
• 重新分发时请保留许可证及上游声明
• 输入超过默认 8192 token 上限会直接报错（不截断），图片 token 同样计入长度限制

常见问题 FAQ ❓

Q：它和普通对话大模型有什么区别？A：普通模型用generate()逐字生成，慢且格式不可控；Intern-Decision-2B 只做"候选打分"，一次前向传播返回结构化 JSON + 概率，延迟稳定在 33ms 左右。

Q：能处理图片吗？A：可以。请求中传入 1～8 张图片路径即可，视觉编码器负责缩放和 token 化，支持图文联合决策。

Q：请求格式有讲究吗？A：只需state（状态描述）+questions（问题字典），可选images。返回结果为 JSON 可序列化字典，包含model、answers、usage等字段，细节见 README.md#L165-L185。

写在最后

Intern-Decision-2B 代表了大模型落地的一种实用路线：不追求"会说多少话"，而是追求"每个决定都算得快、说得准、置信度可量化"。如果你正在做工单路由、内容审核、风险打分这类结构化决策任务，这个小而快的 2B 多模态模型值得直接试用。

更多细节（基准测试全表、请求/响应字段说明、校准过程）请阅读 README.md，推理入口代码在 inference.py。