简介：面向具备机器学习基础的研究人员与开发者，这份 PDF 是 Qwen2.5-7B-Instruct 大模型微调实战指南。内容以 AutoDL 4090 云 GPU 环境为主，说明如何创建实例并利用社区镜像快速准备环境；随后覆盖 hf-mirror 预训练模型下载、LLaMA-Factory 可视化界面训练配置、数据集接入、LoRA 微调以及 wandb 外部记录面板启用，适合自然语言处理任务优化和模型性能提升等实际项目。整个流程围绕一次完整的微调实验展开，便于按图索骥地完成部署。资源包仅 1 个 PDF 文件，压缩后大小 2.28MB，轻量便于随时对照查阅；目前已有 12471 人学习下载。文档不只罗列命令，还结合具体界面操作讲解检查点生成、显存监控和实验结果记录方法，读者可按照步骤在 4090 实例上完成从环境搭建到微调输出的完整闭环，并对参数调整、数据集格式与实验可追溯性形成清晰思路。
1. 大模型微调没那么玄：一份能直接复现的 Qwen2.5-7B 落地链路
如果你手头有一个垂直场景，想让模型按你的业务话说事，又不想从零预训练，那 LoRA 微调基本是当前性价比最高的路子。这篇笔记记录的是一套基于 Qwen2.5-7B-Instruct 的完整微调流程，从租卡、下模型、配环境到真正跑起来，所有操作都在 AutoDL 的 4090 上验证过。适合两类人：一是刚入门、还没完整跑通过一次微调的开发者，照着走一遍就能看到 loss 下降；二是已经在用大模型 API、想自己掌握训练环节的算法工程师，这套流程能帮你把 LLaMA-Factory 的 webui 用顺手，后续换模型换数据都走同一套动作。
2. 环境搭建与模型准备：AutoDL 选卡、SSH 连接与 HF 镜像下载
2.1 为什么选 AutoDL 的 4090 作为微调测试环境
微调 7B 模型的显存门槛大概在 20GB 以上，如果用 3090 或 4090 这类消费级显卡，LoRA 训练时留足 batch size 和序列长度的余量是完全够用的。相比之下，A100 一小时的价格要高出一截，对大多数实验验证场景来说并不划算。AutoDL 的算力市场按小时计费，4090 的性价比优势在于：显存 24GB，能跑 7B 模型的 LoRA，同时支持训练完关机省费用，这在多次调试参数的阶段是个很实在的功能。
选卡时不必盯着最高配置，重点看显存和租用方式。第一次做实验，选一张 4090 即可；如果打算同时跑多个并行实验，再考虑多卡实例。平台规则里有一点值得留意：实例关机后数据会保留一段时间，但长时间不使用的数据盘有被释放的风险，所以关键代码和数据集不要只放在本地，养成同步的习惯比较好。
2.2 创建实例与镜像选择：社区镜像替你省掉一半依赖坑
在算力市场选定 GPU 后，单击进入创建实例页面，配置项里最关键的是镜像。我用的镜像是 agiclass/fine-tuning-lab/finetune-lab-v8，这是社区封装好的环境，里面已经装好了 PyTorch、transformers、accelerate 以及微调相关的依赖包。选最新版本即可，创建成功后实例状态变为“运行中”就开始计费，不用的时候点关机，下次点开机继续用。
这里有个隐藏的坑：如果自己从空白镜像开始搭环境，光是解决 CUDA、torch、transformers 版本之间的匹配问题就能耗掉半天，而且很容易出现“在别的机器上能用、换到这台就报错”的玄学问题。社区镜像相当于把别人踩过的坑提前填平了，省下的时间足够你把训练流程完整跑两遍。
提示：官方对实例的开关机、数据保留有一定限制策略，长时间不用时建议把重要产出下载到本地。
2.3 从 SSH 到 VSCode 远程连接：两种连法的适用场景
创建实例后，在控制台可以看到 SSH 连接信息和端口转发配置。推荐的方式有两种：一是用本地 SSH 客户端登录，Windows 下我用 FinalShell，macOS 用户用 Termius 比较多；二是在 VSCode 里装 Remote - SSH 扩展直接远程连接。前者适合快速传文件、看日志，后者适合写训练脚本和调试，因为 VSCode 能把本地编辑器和远端环境无缝串起来。
有一点要注意：用 SSH 客户端连接时，如果想在本地浏览器打开 LLaMA-Factory 的 webui 界面，需要到 AutoDL 控制台的“自定义服务”里配置端口转发；而用 VSCode 连接时，可以直接在 VSCode 的端口面板做转发，它会自动映射到本地端口，打开效率更高。这个细节经常被人忽略，导致界面打不开，误以为训练服务没启动。
2.4 下载 Qwen2.5-7B-Instruct：git lfs 与 hf-mirror 的配合
预训练模型从 HuggingFace 下载，考虑到国内网络访问 hf.co 容易超时，这里使用 hf-mirror 镜像站。登录实例后执行：
cd /root/autodl-tmp git lfs install git clone https://hf-mirror.com/Qwen/Qwen2.5-7B-Instruct下载完成后进入目录，清理掉.git目录：
cd Qwen2.5-7B-Instruct rm -rf .git第一段命令里的git lfs install是注册 git 的 LFS 钩子，否则大文件不会真正拉取下来只会存一个指针文件。存放路径选/root/autodl-tmp是因为它对应数据盘，容量比系统盘大，装模型文件更充裕。第二段命令的rm -rf .git很多人不理解，实际上模型仓库的.git目录里保存着完整的版本历史，积攒下来可能占几个 GB，删掉不影响模型文件本身，但能避免数据盘空间不够的尴尬。下载过程耗时较长，耐心等即可，如果中途断线，重新执行 clone 一般是安全的。
3. 微调主流程：LLaMA-Factory 的安装、界面配置与训练启动
3.1 LLaMA-Factory 是什么，以及 llamafactory-cli 的参数矩阵
LLaMA-Factory 是一个封装了大模型微调全流程的开源工具，它把数据加载、LoRA/全参微调、推理、评测、导出合并这些步骤统一成一套命令行入口：llamafactory-cli。同一个命令通过不同参数切换到不同功能，理解了这个设计，后面所有操作就不再是点按钮，而是明白每个动作背后在调哪个接口。
它在训练部分支持 LoRA、QLoRA、全参数微调等不同策略，并且内置了 WebUI 界面。参数枚举包括：version显示版本、train命令行训练、chat命令行推理、export模型合并导出、api启动推理 API、eval跑 mmlu 等标准评测、webchat网页端纯推理、webui启动 LlamaBoard 可视化面板。
刚开始用的时候，很容易把webchat和webui弄混。webchat只是拿来聊天测试模型效果的，页面非常简陋；webui才是那个包含训练、预测、模型合并多个子页面的 LlamaBoard 面板。微调阶段的操作主要集中在 webui 里，命令行参数主要用于自动化脚本和批处理。
3.2 创建 conda 环境并安装依赖：pip install -e 的解读
下载 LLaMA-Factory 源码并配置 Python 环境的完整命令：
git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python=3.10 conda activate llama_factory cd LLaMA-Factory pip install -e '.[torch,metrics]'这段命令做了四件事：克隆源码、创建 python 3.10 的 conda 环境、激活环境、以可编辑模式安装项目及其依赖。-e参数很关键，它让安装的包源码指向本地目录，改代码不需要重新安装；.[torch,metrics]表示安装主项目的同时带上 torch 和 metrics 两个 extras。如果网络不稳定，可以换用国内 pip 镜像源加速。
安装完成后，建议先验证一下llamafactory-cli version是否正常输出，这步能提前暴露依赖缺失问题，而不是等到训练跑到一半才报错。实际使用中我一般会在同一台机器上保留这个 conda 环境，多个微调项目共用，因为整个依赖体系构建一次的成本不低。
3.3 LlamaBoard 界面逐项解读：模型路径、数据集、轮次与检查点
执行llamafactory-cli webui启动 LlamaBoard，界面加载后默认是英文，可以在右上角切换语言。界面里需要重点理解几个字段：
- 模型名称输入
Qwen2.5-7B-Instruct，如果界面上出现 Qwen2.5-7B-Chat 的选项，本质是同一份权重在不同时期的命名，不影响使用 - 模型路径填本地下载的完整路径，即上一步
/root/autodl-tmp/Qwen2.5-7B-Instruct - 微调方式默认选
lora，新手不要轻易改成 full，显存压力和训练时间完全不是一个量级 - 检查点路径初始为空，每训练一次会生成一个新的 checkpoint，一个 checkpoint 加上原始模型才等于本次微调的结果模型
- 数据集从下拉框选择，可以多选，选中后能在预览区看到具体的训练样本
- 训练轮次默认 20，实际业务数据通常不需要这么多，过拟合风险也低，建议从 3 一轮开始试
设置完毕后，按界面上标注的顺序点击即可开始微调。训练过程中观察 loss 的变化，如果前几个 step 数值急剧下降后趋于平缓，说明数据和参数基本正常；如果 loss 不降或者直接报错，优先回头检查数据格式。
3.4 微调启动与显存观察：nvidia-smi 的三种用法
训练过程中需要实时观察 GPU 占用，三种常用命令：
nvidia-smi nvidia-smi -l watch -n 5 nvidia-smi第一种只执行一次，适合快速确认当前显存占用；第二种每秒刷新一次，方便观察连续变化；第三种是我用得最多的，每 5 秒刷新一次，不占终端焦点，也不会因为刷新太快看不清。
显存占用如果接近 24GB 上限，说明 batch size 或序列长度需要调小；如果只占了一半，说明数据量太小或 batch size 保守了，可以适当加大。这里有个容易被忽略的点：4090 跑 LoRA 时峰值显存往往出现在反向传播瞬间，光看训练启动初期的显存数值会误判余量。
4. 训练过程中的常见问题排查：显存、数据集与检查点
4.1 显存翻车：OOM 现象与 batch size 调整方向
现象：训练跑到几个 step 后直接报 CUDA out of memory，日志里出现显存申请失败的堆栈。
原因：LoRA 虽然比全参微调省显存，但 7B 模型在 24GB 显卡上仍然有极限。初始 batch size 设得过大、序列长度过长、或者训练数据里有超长样本，都会导致峰值显存超限。
解决：第一步把 batch size 减半，同时把梯度累积步数翻倍，这样总 batch 不变但峰值显存明显下降；第二步检查数据中的最大长度，Qwen 系列有长度上限，过长的样本要么截断要么过滤。这两个调整配合watch -n 5 nvidia-smi观察显存曲线，基本能解决九成以上的 OOM。如果还不行，就换成 QLoRA 的 4bit 量化方案，显存占用能再降一大截，代价是训练速度略慢。
4.2 数据集格式不对导致训练直接报错
现象：开始训练后立刻报数据解析错误，界面提示找不到字段或者格式校验不通过。
原因：LLaMA-Factory 要求数据文件在data/dataset_info.json里有显式声明，文件路径、格式类型、对话字段映射都要对上。不少人直接在 data 目录扔一个 json 文件就去界面里选，结果下拉框里根本看不到自己的数据集。
解决：把自定义数据集放到/root/autodl-tmp/LLaMA-Factory/data目录下，然后在dataset_info.json的datasets数组里追加一条记录，声明file_name、format和列名映射。界面里要选择的是这个声明里配置的dataset_name，不是实际文件名。这里最容易踩的坑是复制官方示例时漏改file_name，导致加载了错误的文件。
4.3 模型下载中断与 .git 目录占用：数据盘不足的隐性杀手
现象：训练启动后提示 cache 写入失败或者磁盘空间不足，但模型文件明明已经下载完成。
原因：git clone下载模型时会把.git目录一并拉下来，里面存了 LFS 指针和版本对象，日积月累可能占掉好几 GB。数据盘一旦满了，LLaMA-Factory 和训练过程中的临时缓存全都会出问题。
解决：下载完成后立刻rm -rf .git，释放这部分空间。另外，训练产生的 checkpoint 也会占用大量空间，一个 7B 模型的 LoRA checkpoint 大约几 GB，多次实验后要及时清理不需要的旧 checkpoint，只保留最终要用的那几份。
4.4 检查点不等于最终模型：LoRA 合并导出的必要性
现象：训练完成后直接用新模型做推理，发现效果和原模型没有任何区别。
原因：LoRA 训练产出的是低秩增量权重（adapter），它不能脱离基础模型独立使用。很多人以为训练完界面里的 checkpoint 就是新模型，实际上推理时需要的base_model + adapter的合成体。
解决：使用llamafactory-cli export做模型合并和导出操作，把 LoRA 权重合并进原始 Qwen2.5-7B-Instruct，生成一个完整的可部署模型。这一步在 webui 的“模型合并”子页面也能做，选好基础模型路径和 adapter 路径，执行后导出的目录才是真正能拿去部署的东西。建议每次实验结束后立即合并导出并命名清晰，否则过几个星期再回来看，面对一堆 adapter 检查点会非常痛苦。
提示：不要为了省空间直接删原始模型，合并操作需要同时读取 base model 和 adapter，原始权重是合并的必要输入。
5. 实验结果管理：wandb 接入与多轮实验对比
5.1 要不要接 wandb：什么规模的项目值得花这个时间
训练跑一次不觉得，跑三五次就明显感受到问题了：每个轮次的 loss、学习率、显存占用这些指标散落在终端输出里，想翻回去对比哪一次跑得好，只能凭记忆。wandb 的价值在于把每次实验的曲线自动记录下来，并在网页端形成时间线，所有训练过程按时间排列，点击任意一次就能看到完整指标。如果只是跑一两次验证，用不用 wandb 无所谓；但如果数据在迭代、参数在调优，它在后续复盘时省下的时间远大于接入成本。
5.2 注册与安装：wandb 包与登录 token
使用 wandb 前需要先注册账号并完成本机授权。
pip install wandb wandb login执行wandb login后终端会提示输入 API Key，这个 Key 在自己的账号设置页面可以找到。授权成功后会在用户目录生成凭证文件，后续训练上传指标时不再需要重复登录。云端同步本身用的是公网，内网环境下的连接稳定性需要自己测试一下。
5.3 LLaMA-Factory 里启用外部记录面板：yaml 配置与界面勾选
在 LlamaBoard 界面训练参数区域勾选“启用外部记录面板”，同时在项目配置 yaml 文件中补充 wandb 相关配置项：
use_wandb: true wandb_project: qwen2.5-finetune wandb_run_name: lora-bs8-lr2e4wandb_project决定在 wandb 工作区里归到哪个项目下，wandb_run_name则标记这一次实验的名称。这里有个习惯值得借鉴：run name 里把关键参数直接写进去，比如lora-bs8-lr2e4，这样从曲线列表里一眼就能看出哪条是哪次跑的，避免打开每条记录去查配置。开始训练后，wandb 面板会实时出现 loss 和其他指标曲线。
5.4 多轮实验的横向对比：用图表挑 checkpoint 的视角
跑完几轮实验后，回到 wandb 工作区，把需要对比的几次 run 勾选出来，系统会叠加显示 loss 曲线、验证集准确率、学习率变化等。对比的核心视角不是“谁的最终 loss 最低”，而是在验证集上的表现。训练 loss 降到很低但验证集指标变差，基本可以判断过拟合了。从这个角度看，早期做对比的价值比后期调参更大：选好基础策略，再针对性地微调学习率和训练轮次。
6. 改造思路：把业务数据格式化成 Qwen 微调模板并完成部署
这套流程跑通之后，真正的价值在于换自己的数据。Qwen2.5-Instruct 系列的指令微调数据格式通常是对话结构，每一条样本包含多轮"conversations"，内部是role和content的交替。以 LLaMA-Factory 推荐的sharegpt格式为例：
{ "conversations": [ {"from": "human", "value": "请把下面的句子翻译成英文：今天天气很好"}, {"from": "gpt", "value": "The weather is nice today."} ] }字段说明：from表示角色，human是用户输入，gpt是模型输出；value是对应的文本内容。训练时 LLaMA-Factory 会把这种结构拼接成带特殊 token 的指令序列，所以角色标记不能写错，否则拼接出来的上下文和 Qwen 预训练时的格局不一致，效果会受影响。
在dataset_info.json中按以下方式声明数据集：
{ "my_translation_data": { "file_name": "my_translation_data.json", "format": "sharegpt", "columns": { "messages": "conversations" } } }声明内容的含义是：数据集名为my_translation_data，实际文件名指向同一目录下的 json 文件，格式用sharegpt，训练时从conversations字段读取对话。注意columns的配置用于映射字段名，如果你的 json 顶层字段不叫conversations，需要在这里改成实际字段名。
训练结束后执行模型合并导出：
llamafactory-cli export \ --model_name_or_path /root/autodl-tmp/Qwen2.5-7B-Instruct \ --adapter_name_or_path /root/autodl-tmp/LLaMA-Factory/output/checkpoint-500 \ --template qwen \ --finetuning_type lora \ --export_dir /root/autodl-tmp/qwen-finetuned \ --export_size 4上面命令的参数含义：model_name_or_path指定基础模型，adapter_name_or_path指向训练完成的 checkpoint，template设置为 qwen 以匹配原始模型的对话格式，finetuning_type必须与训练时一致，export_dir是导出目录，export_size是指定导出后的分片大小，4 表示每个分片约 4GB。导出完成后得到的是一个完整的、可直接用于推理的模型目录。
从那以后我每次做完微调实验，都强制走一遍“数据声明检查 → 训练 → wandb 记录 → 合并导出 → 本地对话测试”的完整流程，哪怕只是改了一个学习率参数也不跳过。检查点本身只是半成品，只有合成后的完整模型才真正具备业务价值。希望这份操作笔记能帮你少走一些弯路，把时间花在数据和质量迭代上。
本文还有配套的精品资源，点击获取
