GPT-OSS-120B_gpuep_1.0_gpu_128快速上手：3步在AMD GPU上跑通128K上下文大模型-开发者社区

【免费下载链接】GPT-OSS-120B_gpuep_1.0_gpu_128

项目地址：https://ai.gitcode.com/hf_mirrors/amd/GPT-OSS-120B_gpuep_1.0_gpu_128

GPT-OSS-120B_gpuep_1.0_gpu_128 是 AMD 官方针对 AMD GPU 深度优化的 120B 参数开源大模型，原生支持 128K 上下文。它基于 openai/gpt-oss-120b 的 ONNX 模型改造而来，采用 UINT4 量化并修复了归一化层精度问题，推理质量与基础量化版完全一致。本文将带你 3 步完成下载、配置与运行。

一、这个模型到底是什么？🤔

简单说，它是OpenAI gpt-oss-120b 的 AMD 官方"特调版"，专门为 AMD GPU（如 Ryzen AI 硬件）的推理部署做了优化：

改造点	说明
🧮 量化策略	所有线性层采用uint4 非对称分组量化（group_size=32），权重体积大幅缩小
🔬 精度修复	用 ShapeShifter 在 SkipSimplifiedLayerNormalization 周围插入 FP32 转换节点，让归一化层以 FP32 运行，消除量化带来的精度损失
⚡ 部署形态	交付标准 ONNX 模型 + ONNX Runtime GenAI 配置文件，无需 PyTorch 生态即可推理
📏 上下文窗口	原生131072（128K）token，可处理超长文档

在 Perplexity-wikitext2 基准上，它与基础量化版的得分同为2.35——这意味着精度修复是"零损失"的，可以放心使用。

💡 从项目名也能读出信息：gpuep= GPU Execution Provider（GPU 执行后端），1.0= 版本号，gpu_128= 面向 128K 上下文的 GPU 部署版本。

二、关键规格一览

模型的核心参数都记录在 genai_config.json 中，以下是新手需要知道的几个数字：

参数	数值	说明
`context_length`	131072	最大上下文长度（128K）
`num_hidden_layers`	36	Transformer 层数
`hidden_size`	2880	隐藏层维度
`num_attention_heads`	64	注意力头数
`num_key_value_heads`	8	KV 头数（GQA 架构，省显存）
`vocab_size`	201088	词表大小
默认采样参数	`top_k=50`,`top_p=1.0`,`temperature=1.0`	开箱即用的推理设置

默认采样配置可直接查看 genai_config.json 中的search字段。

三、3步快速上手指南 🚀

步骤 1：获取模型文件

模型权重文件 model.onnx.data 通过 Git LFS 存储，实际大小约64.5 GB，请确保磁盘空间充足：

git lfs install git clone https://gitcode.com/hf_mirrors/amd/GPT-OSS-120B_gpuep_1.0_gpu_128

⚠️硬件提示：仅权重就需约 64.5 GB，再加上 128K 上下文的 KV Cache 开销，建议使用80 GB 级大容量显存的 GPU或多卡环境。

步骤 2：核对模型配置

克隆完成后，快速确认三样东西就位即可：

model.onnx：ONNX 计算图（文件本身很小，是入口）
model.onnx.data：真正的 64.5 GB 权重数据
tokenizer.json：词表与分词器（约 27.8 MB）

再打开 genai_config.json 确认context_length: 131072，说明 128K 上下文配置无误。

步骤 3：用 ONNX Runtime GenAI 跑通推理

安装支持 AMD GPU 执行后端的 ONNX Runtime GenAI 后，一段极简的 Python 代码即可跑通：

import onnxruntime_genai as og model_dir = "./GPT-OSS-120B_gpuep_1.0_gpu_128" model = og.Model(model_dir) tokenizer = og.Tokenizer(model_dir) generator_params = og.GeneratorParams(model) prompt = "你好！请用一句话介绍你自己。" generator_params.update(tokenizer.encode(prompt)) generator = og.Generator(model, generator_params) while not generator.is_done(): generator.generate_next_token() print(tokenizer.decode(generator.get_sequence()))

看到模型流畅输出中文回复，恭喜——你就已经在 AMD GPU 上跑通了 128K 上下文大模型！🎉

四、仓库文件结构说明 📦

整个仓库非常精简，每个文件各司其职：

文件	作用
README.md	项目说明、量化策略与评估分数
model.onnx	ONNX 计算图定义
model.onnx.data	量化后的模型权重（约 64.5 GB）
genai_config.json	ONNX Runtime GenAI 的模型与推理参数配置
tokenizer.json	分词器词表
tokenizer_config.json	分词器配置，含`model_max_length: 131072`
special_tokens_map.json	特殊标记映射（如`<\|return\|>`作为 EOS）
chat_template.jinja	Jinja2 聊天模板，支持工具调用与推理强度设置

其中 chat_template.jinja 值得特别一提：它不仅处理普通对话，还支持builtin_tools（内置浏览器、Python 工具）和reasoning_effort（推理强度）参数，说明该模型具备工具调用与深度推理能力，可用于构建 Agent 应用。

五、新手常见问题 FAQ ❓

Q1：为什么用 ONNX 格式，而不是直接下载 PyTorch 权重？

ONNX 是开放的中立格式，配合 ONNX Runtime 可以在不依赖 PyTorch 生态的情况下高效推理，尤其适合在 AMD GPU 上做轻量级部署，环境更干净、启动更快。

Q2：128K 上下文一定要用满吗？

不用。131072是上限值，实际推理时上下文长短由你的输入决定。短对话的显存和速度开销都小得多。

Q3：推理时应该用什么解码参数？

仓库在 genai_config.json 中已内置一套开箱即用的默认参数（do_sample=true、top_k=50、top_p=1.0），新手直接使用即可；需要更确定性输出时，可把temperature调低。

Q4：这个模型可以商用吗？

可以。AMD 的修改部分采用MIT 许可证，基础模型采用Apache 2.0许可证，具体条款见 README.md 的 License 章节。

六、总结

GPT-OSS-120B_gpuep_1.0_gpu_128= OpenAI gpt-oss-120b 的 AMD GPU 优化版：UINT4 量化 + FP32 归一化修复 + 128K 上下文
3 步跑通：克隆仓库 → 核对配置 → ONNX Runtime GenAI 推理
唯一门槛是显存：权重约 64.5 GB，建议 80 GB 级显存或多卡环境
得益于内置的聊天模板与工具调用支持，它还适合进一步搭建自己的 AI Agent 应用

现在就可以动手试试，在 AMD GPU 上体验 128K 上下文大模型的长文本能力吧！💪