DeepSeek-V4-Pro-MXFP4环境搭建完整指南：ROCm 7.2 + PyTorch 2.9 零基础避坑教程

DeepSeek-V4-Pro-MXFP4环境搭建完整指南：ROCm 7.2 + PyTorch 2.9 零基础避坑教程

【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4

本文是一份专为零基础用户准备的DeepSeek-V4-Pro-MXFP4环境搭建完整指南。DeepSeek-V4-Pro-MXFP4 是 AMD 官方基于 DeepSeek-V4-Pro 原始模型、使用 AMD Quark 量化工具压缩而来的 MoE 大语言模型，将全部专家层权重与激活量化为 MXFP4 格式，推理所需显存大幅下降，而 GSM8K 精度仍能保持原模型的99.0%。本教程将手把手带你完成 ROCm 7.2 驱动安装、PyTorch 2.9 环境配置、模型下载与权重转换，并给出 vLLM 与本地脚本两套推理方案，让你在 AMD MI350 系列显卡上顺利跑通这个模型。

一、DeepSeek-V4-Pro-MXFP4 是什么？

简单来说，它是一款面向 AMD 数据中心显卡的 MXFP4 量化版 DeepSeek 模型。它有以下几个关键特征：

• 架构：DeepseekV4ForCausalLM，纯 MoE（混合专家）架构，共61 层、384 个路由专家，每次激活 6 个专家。
• 量化方式：使用 OCP MXFP4 标准，权重静态量化、激活动态量化，每个 32 元素块共享一个缩放因子。
• 保留精度：注意力层、路由 Gate、LayerNorm、Embedding、输出头及 MTP 模块保持原精度不动，只量化专家投影，因此精度损失极小。
• 支持硬件：AMD MI355 / MI350（gfx950 架构），对应软件栈为 ROCm 7.2.0 + PyTorch 2.9.1。

量化后的模型以 64 个 safetensors 分片文件存放在仓库中，索引文件为model.safetensors.index.json，权重加载由 HuggingFace Transformers（5.13.1+）自动完成。

二、环境搭建前必看：软硬件要求清单

开始前，请先对照下表确认你的机器是否满足条件，这是DeepSeek-V4-Pro-MXFP4环境搭建最容易踩坑的第一步：

💡 提示：inference/requirements.txt中还要求tilelang==0.1.8与fast_hadamard_transform，这两个是 FP4 高性能算子库，缺一不可。

三、第一步：安装 ROCm 7.2 驱动环境

ROCm 是 AMD 的 GPU 计算平台，相当于 NVIDIA 的 CUDA。请务必使用7.2.0版本：

1. 访问 AMD ROCm 官方安装文档，选择与你 Linux 发行版匹配的仓库。
2. 执行安装命令安装rocm完整软件栈。
3. 安装完成后运行rocminfo确认能识别到 gfx950 设备。
4. 将 ROCm 的 bin 目录加入 PATH，并配置LD_LIBRARY_PATH。

避坑重点：如果之前装过其他版本 ROCm，务必先彻底卸载再重装；ROCm 版本与驱动内核模块不匹配时，rocminfo会报 "No devices found"，这是最常见的问题之一。

四、第二步：安装 PyTorch 2.9 与推理依赖

ROCm 装好后，接下来配置 Python 环境。建议使用 conda 创建干净环境：

conda create -n dsv4 python=3.11 -y conda activate dsv4 pip install torch==2.9.1 --index-url https://download.pytorch.org/whl/rocm7.2 pip install transformers==5.13.1 safetensors tilelang==0.1.8 fast_hadamard_transform

安装完成后，可用下面一行代码快速验证 PyTorch 是否认到 AMD 显卡：

import torch print(torch.cuda.is_available(), torch.cuda.get_device_name(0))

避坑重点：PyTorch 的 ROCm 版本必须与 ROCm 7.2 对应（即 rocm7.2 的 wheel），否则会出现 "no kernel image available" 错误。

五、第三步：下载模型与仓库代码

将仓库克隆到本地（内含全部 64 个权重分片与推理代码）：

git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4

克隆完成后，你会看到这些关键文件：

• config.json：模型结构配置（61 层、384 专家、量化参数等）
• model.safetensors.index.json：权重分片索引
• model-00001-of-00064.safetensors~model-00064-of-00064.safetensors：权重文件
• inference/：本地推理代码（模型定义、转换脚本、生成脚本）
• encoding/：DeepSeek-V4 专用 Prompt 编码器

六、第四步：转换权重格式（本地推理前必做）

如果你打算用仓库自带的inference/脚本做本地推理，需要先把 HuggingFace 权重转换成该工程格式。以 8 卡并行（MP=8）为例：

export EXPERTS=384 export MP=8 export CONFIG=config.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} --model-parallel ${MP}

• HF_CKPT_PATH：克隆下来的仓库目录
• SAVE_PATH：转换后输出目录
• 转换脚本位于inference/convert.py，它会将专家权重按模型并行度切分

💡 想改用 FP8 专家？只需把config.json中的"expert_dtype": "fp4"移除，并在转换时加--expert-dtype fp8即可。

七、第五步（推荐）：用 vLLM 快速部署

如果你不想折腾脚本，官方推荐的部署方式是用vLLM。基于 Docker 镜像rocm/vllm-dev:nightly_main_20260714启动服务，一条命令即可拉起 OpenAI 兼容接口：

export VLLM_ROCM_USE_AITER=1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS=1 vllm serve amd/DeepSeek-V4-Pro-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config '{"mode": 3, "cudagraph_mode": "FULL_DECODE_ONLY"}'

几个参数的作用：

• --tensor-parallel-size 4：4 卡张量并行，是官方评测配置
• --kv-cache-dtype fp8：KV Cache 用 FP8 存储，进一步省显存
• --tokenizer-mode deepseek_v4等：启用 DeepSeek-V4 专属的 tokenizer 与推理/工具调用解析器

服务启动后，就得到了一个标准的/v1/completions接口，可无缝接入各类应用。

八、第六步：本地交互式推理（generate.py 方案）

不想用服务化方案的话，也可以直接用工程自带的生成脚本inference/generate.py和模型对话：

torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} --interactive

进入对话后输入问题即可，输入/exit退出。也支持批量推理：

torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} --input-file ${FILE}

多机推理（如 2 节点 8 卡）只需补充--nnodes、--node-rank、--master-addr参数。Prompt 的组装与多轮对话、工具调用、思考模式的编码由encoding/encoding_dsv4.py完成，生成的答案格式与 DeepSeek 官方协议完全一致。

九、性能与精度验证：GSM8K 恢复率 99.0%

AMD 官方在 GSM8K（8-shot）基准上对比了量化前后效果：

也就是说，将 MoE 专家权重压到 MXFP4 之后，几乎感知不到精度下降，却能换来显著的显存节省与推理加速，这正是DeepSeek-V4-Pro-MXFP4环境搭建的价值所在。想复现评测，可在 vLLM 服务启动后运行lm_eval框架的 gsm8k 任务。

十、零基础避坑清单：6 个高频问题

1. ROCm 版本不对：一律使用 7.2.0，先rocminfo确认设备再继续。
2. PyTorch 装错源：必须装 rocm7.2 对应的 wheel，否则 GPU 不可用。
3. 忘记装 tilelang：FP4 算子依赖tilelang==0.1.8，版本锁死。
4. 权重没转换就 generate：使用inference/脚本前必须先跑convert.py。
5. 显存不足：--kv-cache-dtype fp8+--tensor-parallel-size 4是官方标配。
6. tokenizer 报错：务必带--trust-remote-code --tokenizer-mode deepseek_v4启动 vLLM。

十一、相关文件快速索引

• 模型总配置：config.json
• 推理环境依赖：inference/requirements.txt
• 权重格式转换脚本：inference/convert.py
• 交互式推理入口：inference/generate.py
• 模型与算子实现：inference/model.py、inference/kernel.py
• 推理用模型配置：inference/config.json
• Prompt 编码参考实现：encoding/encoding_dsv4.py

总结

到这里，一条完整的DeepSeek-V4-Pro-MXFP4环境搭建路线已经清晰：确认硬件 → 安装 ROCm 7.2 → 配置 PyTorch 2.9 → 克隆仓库 → 转换权重 → 选择 vLLM 或本地脚本推理。只要严格对照版本清单，避开文中提到的 6 个高频坑位，新手也能在一两个小时内跑通这个 AMD 官方 MXFP4 量化模型。祝你的 AMD MI350 之旅顺利！

【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4