从FP8到MXFP4：DeepSeek-R1-0528-MXFP4-v2量化全流程解析（附AMD-Quark脚本）

从FP8到MXFP4：DeepSeek-R1-0528-MXFP4-v2量化全流程解析（附AMD-Quark脚本）

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2

DeepSeek-R1-0528-MXFP4-v2是基于DeepSeek-R1-0528模型通过AMD-Quark工具进行MXFP4量化优化的AI模型，专为AMD MI350/MI355硬件架构设计，可在保持高性能的同时显著降低计算资源消耗。本文将详细介绍从FP8到MXFP4的完整量化流程，帮助新手用户轻松掌握模型优化技术。

为什么选择MXFP4量化？

MXFP4（Modified Floating-Point 4-bit）是一种先进的量化格式，相比传统的FP8量化，它在以下方面具有明显优势：

• 更高的精度保留：通过优化的指数和尾数分配，在4位精度下实现接近FP8的性能
• 更低的内存占用：相比FP8减少50%的存储空间，78个模型文件仅需原有一半的磁盘空间
• 更快的推理速度：配合AMD MI350/MI355的硬件加速，吞吐量提升可达2倍
• 更好的能效比：降低显存带宽需求，减少功耗，适合大规模部署

量化前的准备工作

在开始量化前，需要确保系统环境满足以下要求：

• 硬件要求：AMD MI350/MI355 GPU
• 软件环境：
  • ROCm 7.0
  • PyTorch 2.8.0
  • Transformers 4.53.0
  • Linux操作系统

模型准备

MXFP4量化需要从BF16格式的模型开始，因此需要先将原始FP8模型转换为BF16格式。有两种方法可供选择：

1. 使用转换脚本手动转换：

   python3 fp8_cast_bf16.py --input_model deepseek-ai/DeepSeek-R1-0528 --output_model ./DeepSeek-R1-0528-BF16

2. 直接使用预转换模型： 可直接从amd/DeepSeek-R1-0528-BF16获取预转换的BF16模型

完整MXFP4量化流程

步骤1：安装AMD-Quark工具

AMD-Quark是专为AMD GPU优化的模型量化工具，支持MXFP4格式：

pip install amd-quark==0.10

步骤2：执行量化脚本

使用以下命令执行MXFP4量化，将BF16模型转换为MXFP4格式：

cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers="*lm_head model.layers.61.*" python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme w_mxfp4_a_mxfp4 \ --group_size 32 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --skip_evaluation \ --multi_gpu \ --model_export hf_format \ --output_dir amd/DeepSeek-R1-0528-MXFP4-v2

关键参数解析：

• --quant_scheme w_mxfp4_a_mxfp4：指定权重和激活都使用MXFP4量化
• --group_size 32：设置量化组大小，平衡精度和性能
• --num_calib_data 128：使用128个校准数据样本
• --exclude_layers：排除不需要量化的层（如输出层）
• --multi_gpu：启用多GPU加速量化过程

步骤3：验证量化结果

量化完成后，可以通过以下方式验证模型是否正确生成：

ls -l amd/DeepSeek-R1-0528-MXFP4-v2

应能看到生成的模型文件（如model-00001-of-00078.safetensors）和配置文件（configuration_deepseek.py、tokenizer_config.json等）。

模型部署与性能评估

部署选项

DeepSeek-R1-0528-MXFP4-v2支持两种高效部署方式：

1. SGLang部署：

   # 启动SGLang服务 MODEL=/models/amd/DeepSeek-R1-0528-MXFP4-v2 SGLANG_AITER_MLA_PERSIST=1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aiter

2. vLLM部署：

   python -m vllm.entrypoints.api_server \ --model amd/DeepSeek-R1-0528-MXFP4-v2 \ --tensor-parallel-size 8 \ --port 8000

性能评估结果

在AIME24和GSM8K基准测试中，MXFP4量化模型表现出色：

评估命令示例（以GSM8K为例）：

lm_eval --model local-completions \ --model_args model=/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_url=http://0.0.0.0:8321/v1/completions,num_concurrent=256,max_retries=10,max_gen_toks=2048,tokenized_requests=False \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto

常见问题与解决方案

Q1：量化过程中显存不足怎么办？

A1：可以尝试减小--num_calib_data参数值，或使用--gradient_checkpointing选项减少显存占用。

Q2：如何进一步优化模型性能？

A2：可调整--group_size参数（建议范围16-64），或尝试启用MTP（Model Tensor Parallelism）技术提升吞吐量。

Q3：量化后的模型精度下降明显怎么办？

A3：检查是否正确排除了关键层（如lm_head），或尝试增加校准数据量。

总结

通过AMD-Quark工具将DeepSeek-R1-0528从FP8量化到MXFP4格式，是一个简单高效的过程。量化后的模型在保持高性能的同时，显著降低了资源需求，非常适合在AMD MI350/MI355平台上大规模部署。无论是研究人员还是企业用户，都可以通过本文介绍的方法轻松实现模型优化，享受MXFP4量化带来的性能提升和成本节约。

想要开始使用这个模型？只需执行以下命令克隆仓库：

git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2

然后按照本文的步骤进行部署和评估，即可快速体验MXFP4量化技术的强大魅力！ 🚀

【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2