DeepSeek-R1-0528-MXFP4-v2震撼发布：AMD MI350平台上的终极MXFP4量化LLM方案

DeepSeek-R1-0528-MXFP4-v2震撼发布：AMD MI350平台上的终极MXFP4量化LLM方案

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2

DeepSeek-R1-0528-MXFP4-v2是基于DeepSeek-R1-0528模型，通过AMD-Quark工具进行MXFP4量化优化的先进大语言模型方案，专为AMD MI350/MI355平台打造，实现了高性能与高效率的完美平衡。该模型采用创新的OCP MXFP4量化技术，在保持卓越推理精度的同时，显著提升了AMD硬件平台上的运行效率。

🌟 核心技术亮点

🔹 突破性MXFP4量化技术

该模型采用静态权重量化与动态激活量化相结合的MXFP4量化方案，通过AMD-Quark V0.10优化工具实现：

• 权重量化：OCP MXFP4格式静态量化
• 激活量化：OCP MXFP4格式动态量化
• 量化分组大小：32
• 校准数据集：Pile验证集

🔹 专为AMD架构优化

深度适配AMD MI350/MI355硬件平台，配合ROCm 7.0软件栈实现最佳性能：

• 支持SGLang和vLLM推理引擎
• 优化的PyTorch 2.8.0和Transformers 4.53.0适配
• Linux操作系统环境

🚀 性能表现与评估

🔍 基准测试结果

在AIME24和GSM8K基准测试中，该模型展现了卓越的推理能力：

评估使用lm-evaluation-harness框架进行，MTP（Multi-Task Prompting）技术进一步提升了复杂推理任务的性能

⚡ 高效部署能力

通过SGLang服务部署可实现高并发推理：

• 支持8路张量并行
• 最大并发请求数：64
• 预填充块大小：131072
• 内存静态分配比例：0.8

📋 快速开始指南

🔧 模型准备

# 克隆仓库 git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2 cd DeepSeek-R1-0528-MXFP4-v2

🚀 启动SGLang服务

#!/bin/bash MODEL=/models/amd/DeepSeek-R1-0528-MXFP4-v2 LOG="sglang-serving.log" SGLANG_AITER_MLA_PERSIST=1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aiter 2>&1 | tee $LOG

🔬 运行评估示例

# AIME24评估 lm_eval --model local-completions \ --model_args model=/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=999999,timeout=999999,tokenized_requests=False,max_length=32000,temperature=0.6,top_p=0.95 \ --tasks aime24 \ --num_fewshot 0 \ --gen_kwargs "do_sample=True,temperature=0.6,top_p=0.95,max_tokens=32000" \ --batch_size auto 2>&1 | tee aime24.log # GSM8K评估 lm_eval --model local-completions \ --model_args model=/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=256,max_retries=10,max_gen_toks=2048,tokenized_requests=False \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto 2>&1 | tee gsm8k.log

🧩 技术架构解析

🔍 模型配置

该模型基于DeepseekV3架构，关键参数包括：

• 隐藏层维度：7168
• 注意力头数：128
• 隐藏层数量：61
• 中间层维度：18432
• MoE中间层维度：2048
• 路由专家数量：256
• 每token专家数：8
• 最大序列长度：4096

详细配置可参考configuration_deepseek.py文件。

🔧 量化流程

模型量化需先将原始FP8模型转换为BFloat16格式，可使用预转换模型amd/DeepSeek-R1-0528-BF16或转换脚本：

# 量化脚本示例 cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers="*lm_head model.layers.61.*" python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme w_mxfp4_a_mxfp4 \ --group_size 32 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --skip_evaluation \ --multi_gpu \ --model_export hf_format \ --output_dir amd/DeepSeek-R1-0528-MXFP4-v2

📄 许可证信息

修改部分Copyright(c) 2025 Advanced Micro Devices, Inc. 保留所有权利。 基础模型基于MIT许可证发布。

📚 相关资源

• 模型架构代码：modeling_deepseek.py
• 配置文件：config.json
• 量化工具：AMD-Quark
• 推理引擎：SGLang/vLLM

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2