如何打造编码智能体：Nemotron-3.5-Super-VL 的 SWE-bench 与 Terminal-Bench 能力评测及实战指南-开发者社区

大模型
多模态
模型量化
本地部署
计算机视觉

【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF

项目地址：https://ai.gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF是 NVIDIA Nemotron 3.5 Super VL 多模态大模型的 GGUF 量化版本仓库，由 unsloth 提供 10 种量化方案。本仓库面向想**打造编码智能体（Coding Agent）**的开发者：该模型在 SWE-bench Verified 上取得 71.10、在 Terminal-Bench 2.1 上取得 66.70 的优异成绩，且 120B 总参数中仅 12B 激活（MoE 架构），让消费级硬件也能跑起"能改真实代码库、会敲终端命令"的智能体底座。

为什么选 Nemotron-3.5-Super-VL 做编码智能体？

选编码智能体底座，关键看四点：代码能力、工具调用、长上下文、部署成本。

维度	能力
架构	Mamba-2 + Transformer 混合 MoE，512 个路由专家/层，C-RADIO 视觉编码器
参数规模	120B 总参数 /12B 激活，推理成本远低于同规模稠密模型
上下文	最高1M tokens，整仓代码 + 工具结果 + 多轮对话可放进同一个窗口
推理加速	原生 Multi-Token Prediction（MTP）投机解码
模态	文本、图片、视频输入（支持文档页截图、报错截图）
推理模式	通过 chat template 的`enable_thinking=True/False`开关思考链

完整参数见 README.md#L79-L91。

💡 1M 长上下文对智能体格外重要：SWE 任务的 prompt 往往包含报错日志、相关文件片段和上一轮失败的 patch，全部塞进一个窗口，模型才能做全局定位而不是"盲人摸象"。

SWE-bench 与 Terminal-Bench 基准评测解读

NVIDIA 通过 NeMo Gym 统一评测框架给出了一整套公开成绩，编码智能体相关的核心数据如下（来源：README.md#L132-L135）：

SWE-bench 三项成绩：修真实 GitHub Issue 的硬实力

Benchmark	Nemotron 3.5 Super	同档参考模型
SWE-bench Verified	71.10	Qwen3.5-122B-A10B 71.9 / Nemotron 3 Ultra 73.9
SWE-bench Multilingual	67.72	Qwen3.5-122B-A10B 62.0 / Nemotron 3 Ultra 68.8
SWE-bench Pro	51.78	Qwen3.5-122B-A10B 44.9 / Nemotron 3 Ultra 49.66

SWE-bench Verified：从真实开源项目的 issue 出发，要求模型定位 bug 并产出能通过测试的 patch，是衡量"智能体修 bug"能力的事实标准；
SWE-bench Multilingual：任务涉及多种编程语言，67.72 的成绩说明它不偏科单一语言；
SWE-bench Pro：难度更高的长程工程任务，51.78 依然超过多数同尺寸模型。

Terminal-Bench 2.1：从"会写代码"到"会用命令行"

Benchmark	Nemotron 3.5 Super	对比
Terminal-Bench 2.1	66.70	Qwen3.5-122B-A10B 48.70 / Nemotron 3 Ultra 54.80

Terminal-Bench 考察的是智能体在终端环境里完成任务的能力：构建项目、调试报错、编写脚本、跑 CI……66.70 显著领先同档开源模型，说明该模型在CLI 工具调用、命令链编排上训练得很扎实——这正是智能体 harness 最需要的"手脚"。

相关训练数据也值得注意：模型在 67B tokens 的软件工程中期训练里混合了 issue–PR 对（41%）、完整仓库（20%）、agent 轨迹（10%）、构建/CI 日志等数据（README.md#L672），且明确对 SWE-bench / Terminal-Bench 仓库做了去污染。

量化版本怎么选：GGUF 量化方案清单

仓库提供了从"极致省显存"到"近乎无损"的完整梯度，另有面向 NVIDIA Blackwell 的 NVFP4 方案：

目录	量化格式	分片数	适合场景
UD-IQ2_XXS/	IQ2_XXS	3	极限低显存试跑，牺牲质量
UD-IQ1_M/	IQ1_M	2	最低显存档，仅验证流程
UD-IQ3_XXS/	IQ3_XXS	3	低显存 + 可接受质量
UD-Q2_K_XL/	Q2_K_XL	3	显存与质量折中
UD-Q3_K_XL/	Q3_K_XL	3	主流入门档
UD-Q4_K_XL/	Q4_K_XL	3	⭐ 推荐：质量/显存平衡点
UD-Q5_K_XL/	Q5_K_XL	4	追求更高保真
UD-Q6_K_XL/	Q6_K_XL	4	高质量本地部署
Q8_0/	Q8_0	4	近无损，效果最接近 BF16
NVFP4/	NVFP4	3	Blackwell 系 GPU 专用加速

另外 LiLiCorr/ 提供 LiLi 校正的 NVFP4 版本，mmproj-BF16.gguf 是视觉投影器（-mmproj参数使用），让模型能读图片/文档截图。

🎯 新手建议：48GB+ 显存选 Q4_K_XL；有 64GB+ 内存 + MoE 专家卸载需求时可用更低精度；追求质量且显存够（96GB+）直接上 Q8_0 或 Q6_K_XL。

获取模型：一键克隆仓库

仓库是只读的模型权重集合，克隆即可使用：

git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF

目录结构与文件对应关系：

各量化分片：UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-UD-Q4_K_XL-00001-of-00003.gguf 等，同一目录下的0000X-of-00003为一个完整模型的分片；
视觉组件：mmproj-BF16.gguf；
模型卡与全部基准数据：README.md。

三步打造你的编码智能体

第 1 步：用 llama.cpp 把模型跑成 OpenAI 兼容服务

以 llama.cpp 为例（LM Studio / Ollama 加载同一批 GGUF 即可，图形界面更省事）：

llama-server -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-UD-Q4_K_XL-00001-of-00003.gguf \ --mmproj mmproj-BF16.gguf

说明：

分片文件只需指定第一个，加载器会自动按00002-of-00003等顺序拼接；
--mmproj挂上视觉投影器后即可传入图片（如报错截图）；
由于是 12B 激活的 MoE，llama.cpp 支持把部分专家卸载到 CPU 内存（--n-cpu-moe参数），在"中等显存 + 大内存"的机器上也能流畅运行；
服务启动后默认提供 OpenAI 兼容 API，智能体框架可直接通过 base_url 接入。

第 2 步：给模型接上"手脚"（agent harness）

编码智能体 = 大模型 + 工具执行环境。你可以选择任意 SWE-agent、OpenHands 类 harness（或自己用几十行代码搭一个最小循环），核心工具只有四类：

工具	用途	对应基准
读文件 / 检索	定位相关代码	SWE-bench
编辑文件、生成 patch	提交修复	SWE-bench
执行 shell 命令	构建、测试、调试	Terminal-Bench
运行测试	验证 patch 是否通过	SWE-bench

harness 把"工具调用 → 执行结果"回填进上下文，模型再规划下一步——1M 上下文让几十轮的工具交互不丢失早期信息。

第 3 步：按官方推荐配置采样参数

NVIDIA 给出的推荐设置（README.md#L79-L91）：

纯文本/代码任务：temperature 1.0，top_p 0.95；
涉及视觉输入：temperature 0.6，top_p 0.95；
难题打开enable_thinking=True让模型先推理再动手，简单任务关闭以省 token。

实战小贴士 ⚡

先跑最小闭环：用一个 2 文件的小 bug 仓库验证"读码 → 改码 → 跑测试"全流程，再扩展到真实项目；
图片是隐藏超能力：把 IDE 报错截图、文档页面直接作为输入，比复制粘贴更省 token、更少信息丢失；
长上下文要善用：把构建日志、CI 输出整体喂入，模型在 1M 窗口内可以做跨文件归因；
MTP 投机解码：若推理框架支持（vLLM / SGLang 官方部署路径），可开启原生 Multi-Token Prediction 加速，长 patch 生成体感明显更快；
许可证放心商用：模型遵循 OpenMDW-1.1 许可，商业与非商业均可使用（README.md#L101-L103）。

总结

Nemotron-3.5-Super-VL 用 71.10 的 SWE-bench Verified 和 66.70 的 Terminal-Bench 2.1 证明了它是当前开源阵营里最均衡的编码智能体底座之一：MoE 架构把激活参数压到 12B 降低部署门槛，1M 上下文承载完整智能体交互，视觉输入补齐"看图 debug"场景。结合本仓库 10 种 GGUF 量化（README.md），从 24GB 显存的试跑到 96GB+ 的近无损部署都能覆盖——克隆仓库、启动服务、接上 harness，你的编码智能体即可开工。