【免费下载链接】GPT-OSS-120B_gpuep_1.0_gpu_128
如果你正在做GPT-OSS-120B 本地部署,纠结于 OpenAI 官方版和这个 ONNX 版本怎么选,本文带你从许可证、量化方案、硬件适配三个维度快速看清GPT-OSS-120B_gpuep_1.0_gpu_128与官方版的差异。简单说:它由 AMD 将官方开源模型转换为 ONNX 格式,并用uint4 非对称分组量化(group_size=32)压缩所有线性层,专为 AMD Ryzen AI 硬件优化,许可证方面基底沿用 Apache-2.0、AMD 修改部分采用 MIT,商用友好。
📦 这个版本到底是什么?
GPT-OSS-120B_gpuep_1.0_gpu_128是对 OpenAI 开源的gpt-oss-120b的二次工程化处理版本,主要做了两件事:
- 转为 ONNX 格式:便于通过 ONNX Runtime GenAI 加载推理(配置见 genai_config.json);
- uint4 量化 + FP32 数值保护:所有线性层采用 uint4 非对称按组量化,同时用 ShapeShifter 在 LayerNormalization 前后插入 FP32 cast 节点,保证量化后精度基本无损(wikitext2 困惑度 2.35,与量化前一致)。
关键规格一览:
| 规格项 | 参数值 |
|---|---|
| 参数量级 | 120B(MoE 架构) |
| 上下文长度 | 131072(128K) |
| 隐藏层维度 | 2880,共 36 层 |
| 注意力头 / KV 头 | 64 / 8(GQA) |
| 词表大小 | 201088 |
| 权重精度 | UINT4(非对称,组大小 32) |
| 运行框架 | ONNX Runtime GenAI |
💡 量化后模型体积约 69GB(外部权重文件),显存/内存需求显著低于 BF16 原版,是消费级和高带宽内存设备跑 120B 级模型的主流选择。
⚖️ 许可证差异对比:Apache-2.0 与 MIT 到底差在哪?
这是很多新手选型时最容易踩坑的部分。两个版本的许可证结构如下:
| 对比维度 | OpenAI 官方版 gpt-oss-120b | 本仓库(AMD 优化版) |
|---|---|---|
| 基础许可证 | Apache License 2.0 | Apache License 2.0(继承自基底模型) |
| 修改部分 | — | MIT License(AMD 修改代码) |
| 商用许可 | ✅ 允许 | ✅ 允许 |
| 修改/再分发 | ✅ 允许 | ✅ 允许 |
| 归属声明要求 | ✅ 需保留版权声明 | ✅ 需保留版权声明 |
| 免责声明 | 无质量保证,作者不担责 | 同为 "AS IS",作者不担责 |
| 专利授权 | ✅ Apache-2.0 含明示专利授权 | 基底 Apache-2.0 部分含;MIT 部分无专利条款 |
📌实际影响总结:
- 两者都属于宽松型开源协议,商用、二次开发、分发都没问题;
- 本仓库采用双许可证叠加:底层权重受 Apache-2.0 约束,AMD 的优化代码受 MIT 约束,两者要求基本一致(保留版权声明即可);
- 唯一的细微差异在于专利条款:Apache-2.0 明确授予专利许可,而 MIT 不含专利条款。对绝大多数用户而言,这个差异不影响使用。
详细许可文本可在 README.md 的 License 章节查阅。
🗂️ 仓库文件结构拆解:部署前先看这 7 个文件
| 文件 | 作用 | 说明 |
|---|---|---|
| model.onnx | 模型计算图 | 约 370KB,定义网络结构 |
| model.onnx.data | 模型权重数据 | 约 69GB,通过 Git LFS 管理 |
| genai_config.json | 推理配置 | 上下文长度、采样参数(temperature=1.0、top_k=50 等) |
| tokenizer.json | 分词器 | 约 27MB,含完整词表与 BPE 规则 |
| chat_template.jinja | 对话模板 | 支持browser、python内置工具与reasoning_effort推理档位 |
| special_tokens_map.json | 特殊 token | <|startoftext|>、<|return|>等起止符 |
| tokenizer_config.json | 分词配置 | 补充 token 定义与行为开关 |
🔍 一个值得注意的细节:chat_template.jinja 继承自官方版,保留了 gpt-oss 的工具调用能力(浏览器检索、Python 执行)和推理强度档位(low/medium/high),这意味着 ONNX 版在功能上并未阉割,可无缝迁移官方版的 Agent 场景。
🖥️ 如何选型:官方版 vs ONNX 量化版怎么选?
| 使用场景 | 推荐选择 | 理由 |
|---|---|---|
| AMD Ryzen AI / 消费级 GPU 本地部署 | ✅ 本仓库 ONNX 版 | uint4 量化大幅降低显存需求,且针对 AMD 硬件调优 |
| NVIDIA 生态、追求极限性能 | 官方版(safetensors) | 可配合 vLLM 等主流推理框架 |
| 二次微调 / 训练 | 官方版 | 量化模型不支持直接微调 |
| 企业商用、分发 | 两者均可 | 均为宽松许可证,注意保留版权声明 |
| 128K 长文档推理 | 两者均可 | 本版本同样支持 131072 上下文 |
🚀 一键拉取本地部署步骤
仓库为只读,直接克隆即可,权重文件依赖 Git LFS,克隆前请先安装git-lfs:
git lfs install git clone https://gitcode.com/hf_mirrors/amd/GPT-OSS-120B_gpuep_1.0_gpu_128.git cd GPT-OSS-120B_gpuep_1.0_gpu_128 git lfs pull⚠️ 注意:git lfs pull需要下载约69GB的权重数据,请预留至少 80GB 磁盘空间,并建议在网络环境良好时执行。
部署要点:
- 运行时:使用 ONNX Runtime GenAI 加载 model.onnx,推理参数可直接沿用 genai_config.json 的默认值;
- 数值稳定性:本版本已将 LayerNorm 固定在 FP32 计算,无需像部分社区量化模型那样手动调精度;
- 内存规划:uint4 权重约 69GB,加上 KV Cache 开销,建议预留 80GB 以上可用内存/显存。
📝 总结:一句话选型结论
- 许可证:官方版与 ONNX 版都是宽松协议,商用无障碍,仅需保留版权声明;
- 性能:ONNX 版通过 uint4 量化 + FP32 关键算子保护,困惑度与原版持平(2.35);
- 硬件:AMD 设备用户首选本版本,NVIDIA 或需要微调的用户继续用官方版;
- 功能:128K 上下文、工具调用、推理档位均完整保留,迁移成本低。
对于想在本地跑起 120B 级开源模型的新手,GPT-OSS-120B_gpuep_1.0_gpu_128是目前门槛最低、文档最清晰的选择之一。
【免费下载链接】GPT-OSS-120B_gpuep_1.0_gpu_128
相关推荐
从零用ShapeUp做出第一个参数化3D模型:圆角盒体、平滑布尔运算与Blobby融合新手教程
从零用ShapeUp做出第一个参数化3D模型:圆角盒体、平滑布尔运算与Blobby融合新手教程 ShapeUp 是一款基于 构造实体几何(CSG) 的免费开源
GPT-OSS-120B 4bit量化版:本地部署新选择
导语 :OpenAI开源大模型GPT OSS 120B推出4bit量化版本,通过bnb 4bit技术大幅降低硬件门槛,使普通开发者也能在本地环境体验百亿参数模型
大模型深度学习OpenAI gpt-oss-20b GPU选型指南:性价比最优方案
OpenAI gpt oss 20b GPU选型指南:性价比最优方案 引言:为什么需要专门的GPU选型指南? 还在为部署gpt oss 20b模型而苦恼于GPU
人工智能基础模型大模型
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考