Gemma-4 E2B 决策模型基准测试全解读：400 用例 2000 决策下的 Accuracy、KL 与 Brier 指标

Gemma-4 E2B 决策模型（gemma-4-e2b-it-OptiQ-4bit-decision）是一个基于 Google Gemma-4 底座、用 OptiQ 4-bit 量化 + LoRA 微调打造的「决策模型」，可在 Apple Silicon 上通过 MLX 一键运行。它在 400 个测试用例、共 2000 条决策上完成了基准测试，本文带你读懂 Accuracy、KL 散度、Brier 分数这三大核心指标到底在衡量什么。

💡 一句话定位：把一个小模型（约 4.6B 参数）训练成「只会做决策」的专用头，在苹果芯片上既快又准，是「端侧决策模型」的代表作。

一、什么是 Gemma-4 E2B 决策模型

这个模型并不是一个会闲聊的通用聊天模型，而是一个被「特化」出来的决策引擎。它的构成很简单，理解这三块就够了：

所谓「联合头」，就是让模型在一次推理里同时处理三类决策问题——数值类（noul）、选择类（choice）、评分类（score），而不需要分三次调用。这正是它区别于普通问答模型的关键：输出的不是自然语言，而是结构化的决策与概率。

整个模型在磁盘上约5.4 GB（4-bit 主干 + 视觉伴随体 + LoRA 头），参数总量约4.63B，详见 model.safetensors.index.json。

二、基准测试成绩一览表

测试用的是Typed Decisions基准（LocalLLaMA/typed-decisions）。训练只用了基准自带的训练集（1080 条，3 个 epoch，LoRA rank 16），测试集与之完全不重合，共400 个用例、2000 条决策（每个用例 5 个问题，纯文本，单次请求完成）。

先看这张总表（↓ 表示数值越低越好）：

几个「一眼看」的重点：

• 🏆Accuracy 最高（0.802）：小模型（~4.6B）打过了 27B 的大模型。
• 📉KL 与 Brier 同为最低：概率分布和校准都最接近「标准答案」。
• ⚡延迟极低（0.99s）：比 27B 的 9.7s 快了近 10 倍，适合端侧实时决策。
• 🧮对照基线（0.489）：证明提升不是靠「押一个固定答案」蒙出来的。

三、三大核心指标怎么读

这是全文的核心。下面用「答题」的直觉来解释每一个指标。

3.1 Accuracy 准确率：答对了多少

本模型 = 0.802

Accuracy 最直观：2000 条决策里，答对（与标准答案一致）的比例。本模型约 80% 正确。它是「对不对」的粗粒度判断——答对就是 1，答错就是 0，不区分「错得离谱」和「差一点点」。

所以光看 Accuracy 还不够，需要下面两个指标来补充「错得有多惨」的信息。

3.2 KL 散度：概率分布偏了多远

本模型 = 0.072（越低越好）

模型给的往往不是一个死答案，而是一个概率分布（比如「选 A 的概率 0.6，选 B 的概率 0.4」）。KL 散度衡量的是：模型输出的分布和标准答案（gold）的分布之间偏离了多远。

• 0.072意味着分布贴合得相当紧。
• 对照基线0.327差了 4 倍多——说明本模型不仅「蒙对了」，而且「蒙得有理有据」。

可以把它理解为「自信度的准确度」：KL 越低，模型的概率越「靠谱」。

3.3 Brier 分数：校准得好不好

本模型 = 0.039（越低越好）

Brier 分数是预测领域的经典指标，本质是「预测概率 − 实际结果」的平方误差，取值在 0（完美）到 1（最差）之间。

0.039是个非常低的值，说明模型的概率标尺非常准——它说「我有 80% 把握」的时候，实际命中率也确实接近 80%。这对决策场景极其重要：下游系统经常要靠这个概率来做风险排序、触发阈值或人机回退，概率不准整个链路都会跑偏。

3.4 附带指标：ECE 与 p50 延迟

• ECE（预期校准误差）= 0.181：对「最高置信标签」的校准。README 里坦诚地指出，这一项并不比 Clef 更好——它是本模型的相对短板，选型时要留意。
• p50 延迟 = 0.99 s：在 Apple M3 Max 上，每个用例一次性跑完 5 题的中位耗时。对端侧部署而言，这是决定「能不能用起来」的硬指标。

📌 三个指标的关系可以这样记：Accuracy 看对不对，KL 看分布准不准，Brier 看概率稳不稳，三者叠加才是一个合格的「决策模型」。

四、与对手模型的横向对比

把上面三列放一起看，结论其实很清晰：

• 打小模型（Qwen3.5-0.8B）：本模型 Accuracy +0.03、KL 更低、Brier 更低，唯一略输的是 ECE（0.181 vs 0.177），但延迟稍高（0.99s vs 0.34s）。综合看，本模型决策质量更优。
• 打大模型（clef-OptiQ-4bit，27B）：本模型 Accuracy +0.083、KL 近乎减半、Brier 减半，延迟快了近 10 倍。这是「小模型专用头」对「大模型通用能力」的一次漂亮逆袭。

一句话：用更小的体积、更快的速度，换来了更高的决策准确率与更稳的概率。

五、模型技术规格速览

如果你想「知其所以然」，这几组参数值得记住（均来自仓库配置文件）：

几个值得新手注意的细节：

• 🎯LoRA 只动「注意力 + MLP + 线性注意力」的投影矩阵，主干冻结，所以训练又快、权重又小——这也是它能在端侧落地的原因。
• 🧩混合精度量化：并非一刀切全 4-bit，而是逐层在 4/8-bit 间分配（optiq_metadata.json里每层都标了bits），在「省内存」和「保精度」之间找平衡。
• 🌡️每类问题独立温度：decision_config.json里三个温度分别对应 noul / choice / score，说明联合头对不同类型做了针对性采样校准。

六、如何部署运行决策模型

在 macOS（Apple Silicon）上，两步即可把模型跑起来并暴露/v1/systemone接口：

pip install -U mlx-optiq optiq serve --model mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision

服务起来后，它就是标准的 HTTP 决策接口，你的业务侧只需按问题类型构造请求，拿到结构化决策与概率即可。得益于 4-bit 量化 + 小体积，内存压力远低于同档 27B 模型，更适合本地/边缘环境。

七、评测结果文件在哪里

本仓库把完整的评分结果与备注都留了下来，方便你复核，建议重点看这两个文件：

• 📄 README.md：基准测试总表 + 模型说明 + 部署方式。
• 📄 .eval_results/typed-decisions.yaml：四项指标（accuracy、kl_from_gold、brier、ece）的精确数值与训练备注（1080 条、rank 16、3 epoch、M3 Max）。

对照一下 README 的展示值与 YAML 里的精确值（如 Accuracy0.8015≈ 0.802），数据是自洽的，可以直接用于你的选型报告。

八、总结：适合谁用

一句话总结：Gemma-4 E2B 决策模型用「4-bit 量化底座 + LoRA 微调 + 联合 schema 头」的组合，在 400 用例 2000 决策的 Typed Decisions 基准上拿下了 Accuracy 0.802、KL 0.072、Brier 0.039 的领先成绩——小、快、准、概率稳，是当前端侧决策模型里非常值得重点关注的一个选项。