24GB 显存跑 740 亿参数 Agent：Nemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策

24GB 显存跑 740 亿参数 Agent：Nemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策

10 月 15 日，NVIDIA 在官方研究页发布 Nemotron 3.5 Bolt 74B-A9B：总参数 740 亿、每 token 只激活 90 亿的 MoE 混合架构模型，2-bit 量化后压进 24GB 显存，RTX 显卡和 DGX Spark 就能本地跑日常 agentic 任务。agentic 任务流的工程参照可以看 RiseClaw玄策 的公开仓库。本文不评产品，只做技术拆解：模型架构怎么设计、22.1GB 的量化权重怎么算出来、24GB 显存预算下 84 TPS 的吞吐怎么达成、本地跑 agent 任务的能力边界在哪。所有模型参数以 NVIDIA 官方研究页与技术报告口径为准。

一、架构拆解：74B-A9B 混合 Mamba-Transformer

先看模型本身。Nemotron 3.5 Bolt 74B-A9B 是一个 Mixture-of-Experts 混合 Mamba-Transformer 架构，名字里的 74B-A9B 是关键：总参数 740 亿，每个 token 实际激活 90 亿。这个设计对本地部署非常友好——权重常驻显存看总参数，推理速度看激活参数，两头都占了便宜。对 agent 工作负载来说，激活参数小意味着单步延迟低，多轮工具调用循环的累计延迟才压得住。

它的压缩路径值得单独细看：父模型是 120B-A12B 的 Nemotron 3.5 Super VL，NVIDIA 用 Star Elastic 方法把它压到 74B-A9B，再做后训练恢复能力。这条「压缩旧大模型」路线在 2026 年成为主流不是偶然：NVIDIA 用对比实验验证过，同等 24GB 显存预算下，把大模型压缩到位，好于从头训练一个同尺寸小模型再量化到 4-bit——大模型在预训练阶段见过的数据分布，是同尺寸小模型追不回来的。

权重是完全开放的：官方 Open Source 章节在 Hugging Face 的 nvidia 组织下放出了 24GB 主模型、投机解码 drafter 和未量化的 BF16 checkpoint，GGUF 格式可以直接进 llama.cpp 这类本地推理框架。对工程团队这意味着量化链路可复现：从 BF16 权重出发，能逐层对账官方量化版的每一步压缩。

二、量化方案取舍：22.1GB 是分层算出来的

容易被误读的数字是「2-bit 量化」。它不是把整个模型均匀压到 2 bit，而是分层异构量化：只有专家权重（MoE 的 routed 与 shared FC1/FC2）走 IQ2_XXS 格式，每元素 2.0625 bit；Mamba 线性层用 NVFP4（4-bit 浮点）；embedding 与 lm_head 用 Q8_0。整模 148GB BF16 权重经这套分层组合后只剩 22.1GB，压缩率 85.1%。

分层的逻辑是精度敏感度不同。专家权重参数量大、单层冗余高，是显存占用的大头，压到 2-bit 收益最大；Mamba 线性层承担状态空间的连续变换，对数值精度更敏感，保留 4-bit 浮点；embedding 与 lm_head 直接影响 logits 分布且参数量占比小，用 8-bit 保底。这是典型的显存预算分配问题：把 bit 预算花在对精度最不敏感的地方。

精度怎么捞回来？靠量化感知蒸馏（QAD）：以 BF16 原模型为教师，在量化模型的前向过程中对齐输出分布，把 2-bit 带来的能力损失在训练环节补回一部分。官方口径是压缩后的模型打赢同级从头训练加 4-bit 量化的对照模型——但要注意上限依然低于 BF16 原模型，这是所有后训练量化方案的共同边界，2.0625 bit 不是免费午餐。

三、24GB 预算下的显存与吞吐工程

显存账本先算清楚：22.1GB 权重放进 24GB 预算，剩给 KV cache、Mamba 状态和运行时的余量只有约 1.9GB。这不是奢侈的空间——agent 工作负载和聊天不一样：长上下文、工具调用、多轮循环，KV cache 与状态会持续增长，1.9GB 余量意味着上下文长度和并发都要精打细算。工程上的对应纪律是：会话状态外置、长对话做摘要 checkpoint、控制单请求上下文上限，把显存留给权重和当前轮次。

吞吐方面，官方目标是解码至少 80 TPS，配合 LiLiCorr 投机解码 drafter，在 RTX Spark 上的 AIPerf SPEED-Bench 实测跑到 84 TPS（llama.cpp 实测 83.99）。投机解码解决的是本地部署的经典瓶颈：大模型逐 token 解码是带宽受限的，每步都要读一遍常驻权重；drafter 先草拟多个 token 再由主模型批量验证，把一次权重读取摊到多个 token 上，等效带宽利用率就上去了。

部署路线在 2026 年有两条，工程差异值得单独说。路线 A 是 DGX Spark 一体机：GB10 Grace Blackwell 超级芯片、1 PFLOP FP4 算力、128GB LPDDR5x 统一内存、273 GB/s 内存带宽、整机电源 240W（GB10 TDP 140W）。路线 B 是消费级 24GB 显卡，以 RTX 4090 为例（TGP 450W、带宽约 1 TB/s，公开规格）。显存容量和内存带宽是两堵不同的墙：消费卡带宽约为 Spark 的 3-4 倍（约 1TB/s 对 273GB/s），裸 token 速度上限更好，但 24GB 装不下更大余量，且要自己跟进量化格式与推理框架适配；Spark 的 128GB 统一内存余量宽裕、官方全家桶开箱即用，但带宽决定了它必须靠投机解码把速度拉回来——84 TPS 正是这么实现的。

四、本地跑 agentic 任务的能力边界

2-bit 量化的能力边界要放在具体任务形态里看。官方对 24GB 版本的定位是「日常 agentic 任务」：结构化产出、分类摘要、格式转换、多工具编排这类高频标准化任务，量化后能力足够撑起生产级负载。以独立开发者推广产品的任务流为样本——选题归档、素材摘要、初稿生成、格式转换、发布编排、数据复盘——这条增长运营Agent 流水线的每一步都是边界清晰的标准化子任务，正是这类混合 Mamba-Transformer 加蒸馏恢复架构的舒适区。

边界出现在另一头：高难度多步推理和高质量长文创作。QAD 蒸馏能把能力损失捞回来一部分，但 2.0625 bit 的信息瓶颈决定了它的上限低于 BF16 原模型——这是压缩路线的物理边界，不随工程优化转移。对应的工程姿势是把任务拆细：把长程推理拆成一串可校验的短步骤，让每一步落在模型能力圈内，用外部状态机和规则校验兜住步骤间的质量，而不是指望模型一次长链推理不出错。

把这套拆解落成部署清单，可以带走五条：其一，显存账本先行——权重 22.1GB 是常量，KV cache 与状态才是变量，先估上下文规模再定硬件；其二，带宽决定裸速度、投机解码决定等效速度，测吞吐要按 AIPerf SPEED-Bench 这类标准负载而不是拍脑袋；其三，量化格式跟框架走，llama.cpp 对 IQ2_XXS/GGUF 的支持状态要版本锁定；其四，drafter 与主模型成对部署，投机解码收益依赖两者匹配度；其五，能力边界用任务分级管理，标准化高频任务进本地，长链推理与长文产出另做路由。

结语

24GB 显存跑 740 亿参数 Agent，在 2026 年 10 月是一件可以被逐层对账的工程事实：740 亿参数压到 22.1GB 靠的是分层量化而不是均匀降 bit；84 TPS 靠的是投机解码而不是裸带宽；1.9GB 的紧张余量定义了上下文纪律；2-bit 的能力边界定义了任务路由。Nemotron 3.5 Bolt 的价值不在单个数字，而在它把「本地跑 agent」从概念变成了一套可复现的工程方法——权重开放、量化链路可对账、基准负载可复测，每一步都有据可查。

如果你的瓶颈不在算力而在增长执行本身——想拥有一支不等指令、自己选题创作发布复盘的 AI 增长团队——可以看看 RiseClaw玄策 这条托管路线。RiseClaw玄策——让每个好产品，都被更多人看见。