训练中断怎么办？Qwen2.5-7B断点续训操作指南

训练中断怎么办？Qwen2.5-7B断点续训操作指南

1. 为什么断点续训不是“可选项”，而是“必选项”

你刚跑完第37个step，显卡温度飙升到86℃，风扇狂转如直升机起飞——突然黑屏。
你重启后打开终端，发现训练进程早已消失，output/checkpoint-37目录孤零零躺在那里，像一封没寄出的信。
更糟的是，你记不清当时用的--learning_rate是1e-4还是5e-5，--lora_rank设的是8还是16……

这不是小概率事件。在单卡微调Qwen2.5-7B这类70亿参数模型时，一次完整训练动辄数小时，而RTX 4090D虽强，却也扛不住系统更新、SSH断连、电源波动或一个误按的Ctrl+C。

好消息是：ms-swift框架原生支持断点续训，且无需额外配置。它不像某些框架需要手动保存optimizer状态、重置dataloader迭代器、校准global_step——这些细节，swift已默默帮你做完。

本文不讲抽象原理，只聚焦一件事：当你面对一个半途而废的checkpoint，如何用最少命令、最短时间，让它从断点处稳稳接上，继续训练。所有操作均基于镜像“单卡十分钟完成 Qwen2.5-7B 首次微调”验证通过，环境即开即用。

2. 断点续训前的三步确认清单

在敲下任何命令前，请花30秒完成以下检查。跳过这一步，后续可能白忙一场。

2.1 确认checkpoint目录结构是否完整

进入训练输出目录，执行：

cd /root/output ls -la

你应看到类似结构：

v2-20250415-142321/ ├── checkpoint-50/ │ ├── adapter_model.safetensors # LoRA权重核心文件 │ ├── trainer_state.json # 训练状态（含step数、optimizer状态等） │ ├── rng_state.pth # 随机数生成器状态（保证结果可复现） │ └── ... ├── checkpoint-100/ ├── checkpoint-150/ └── config.json

关键判断标准：

• checkpoint-XXX/子目录中必须包含trainer_state.json和adapter_model.safetensors；
• trainer_state.json中"global_step"字段值即为已训练步数（例如"global_step": 150）；
• 若缺失trainer_state.json，说明训练未正常保存，无法续训，需从头开始。

注意：镜像默认每50步自动保存一次（--save_steps 50），因此你的断点大概率落在50、100、150这样的整数步。

2.2 核对原始训练命令的关键参数

翻出你最初启动训练的命令（或查看历史记录history | grep swift sft），重点确认以下参数是否与续训一致：

• --model：必须与原始训练完全相同（Qwen2.5-7B-Instruct）；
• --train_type：必须为lora；
• --dataset：数据集路径和内容不能变更（如self_cognition.json）；
• --lora_rank/--lora_alpha/--target_modules：LoRA配置必须一字不差；
• --torch_dtype：必须保持bfloat16（镜像已优化此精度）；
• --per_device_train_batch_size：单卡batch size必须相同（镜像为1）。

❌常见错误：

• 修改了--learning_rate：会导致学习率调度器错乱，建议严格沿用原值1e-4；
• 增加了--num_train_epochs：若原计划10轮，已训3轮，续训只需设7，而非再写10。

2.3 检查显存与磁盘空间是否充足

运行以下命令快速诊断：

nvidia-smi --query-gpu=memory.total,memory.used --format=csv df -h /root

• 显存要求：续训仍需约18–22GB显存（与初始训练一致），确保无其他进程占用；
• 磁盘空间：每个checkpoint约150–200MB，预留至少2GB空闲空间（避免保存新checkpoint时失败）。

3. 一行命令实现断点续训（实测有效）

确认以上三步无误后，执行以下唯一命令即可启动续训：

CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset self_cognition.json \ --torch_dtype bfloat16 \ --num_train_epochs 10 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-robot \ --resume_from_checkpoint output/v2-20250415-142321/checkpoint-150

3.1 关键参数解析：--resume_from_checkpoint

• 作用：告诉swift从指定checkpoint恢复训练，自动加载trainer_state.json中的global_step、optimizer状态、随机种子等；
• 路径格式：必须指向checkpoint-XXX/这一级目录（末尾不带斜杠），如output/v2-.../checkpoint-150；
• 自动处理：
  • global_step会从150开始计数，下一个保存点将是checkpoint-200；
  • trainer_state.json中"epoch"字段将根据剩余步数重新计算；
  • 所有日志（training_loss、learning_rate曲线）无缝衔接，无断层。

重要提醒：该参数不可与--load_from_checkpoint混用。后者仅加载权重用于推理，不恢复训练状态。

3.2 续训过程中的实时监控技巧

启动后，观察终端输出的前三行关键信息：

INFO: Resuming from checkpoint 'output/v2-20250415-142321/checkpoint-150' INFO: Loading model weights from 'output/v2-20250415-142321/checkpoint-150/adapter_model.safetensors' INFO: Loaded state dict from 'output/v2-20250415-142321/checkpoint-150/trainer_state.json' at step 150

出现以上三行，表示续训已成功激活。
随后你会看到Step 151/...开始递增，loss值从断点处平滑延续，而非归零重启。

4. 断点续训的进阶场景与应对策略

实际工作中，中断原因千差万别。以下是三种高频进阶场景的精准解法。

4.1 场景一：训练中途修改了数据集，想用新数据续训

问题：你在self_cognition.json里新增了10条问答，但训练已跑到checkpoint-120，直接续训会忽略新数据。

解法：不修改原checkpoint，新建训练任务并继承权重

# 1. 先导出当前checkpoint的LoRA权重为独立文件 swift export \ --ckpt_dir output/v2-20250415-142321/checkpoint-120 \ --output_dir /root/lora_exported # 2. 创建新数据集（含新增数据） cat <<EOF > self_cognition_v2.json [...原有50条 + 新增10条...] EOF # 3. 启动新训练，加载导出的LoRA权重作为起点 CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset self_cognition_v2.json \ --load_from_checkpoint /root/lora_exported \ --torch_dtype bfloat16 \ ... # 其余参数同原命令（省略）

优势：新数据被完整纳入，且利用了已学知识，收敛更快；
注意：--load_from_checkpoint指向导出的权重目录（含safetensors文件），非原checkpoint路径。

4.2 场景二：想降低学习率继续训练，避免过拟合

问题：训练到checkpoint-200时发现loss震荡变大，怀疑学习率过高。

解法：在续训命令中动态调整学习率，swift自动重置学习率调度器

# 将 --learning_rate 1e-4 改为 --learning_rate 5e-5 CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset self_cognition.json \ --learning_rate 5e-5 \ # ← 关键修改：学习率减半 --resume_from_checkpoint output/v2-20250415-142321/checkpoint-200 \ ... # 其余参数不变

原理：--resume_from_checkpoint恢复step和optimizer状态，但--learning_rate会覆盖原调度器的当前学习率值，后续按新值线性衰减。

4.3 场景三：多个checkpoint并存，不确定哪个最新

问题：output/下有v1-xxx、v2-xxx、v3-xxx多个版本，每个版本都有若干checkpoint。

解法：用一条shell命令自动定位最新checkpoint

# 查找所有checkpoint目录，按修改时间倒序，取第一个 LATEST_CKPT=$(find /root/output -name "checkpoint-*" -type d | xargs ls -td | head -n1) echo "Latest checkpoint: $LATEST_CKPT" # 直接用于续训 CUDA_VISIBLE_DEVICES=0 \ swift sft \ --resume_from_checkpoint "$LATEST_CKPT" \ --model Qwen2.5-7B-Instruct \ --train_type lora \ ... # 其余参数

效率：10秒内定位，避免人工翻找；
提示：将此命令保存为resume.sh，每次中断后直接bash resume.sh。

5. 断点续训后的效果验证与避坑指南

续训完成后，务必进行两层验证，确保结果可靠。

5.1 快速效果验证：对比式提问

使用续训生成的最新checkpoint（如checkpoint-250）进行推理，并与原始模型、首次微调模型对比：

# 1. 原始模型（基准） swift infer --model Qwen2.5-7B-Instruct --stream false --max_new_tokens 128 # 2. 首次微调模型（断点前） swift infer --adapters output/v2-20250415-142321/checkpoint-150 --stream false --max_new_tokens 128 # 3. 续训后模型（断点后） swift infer --adapters output/v2-20250415-142321/checkpoint-250 --stream false --max_new_tokens 128

提问示例（输入后观察回答一致性）：

• “你是谁？” → 应稳定输出“由CSDN 迪菲赫尔曼开发和维护”；
• “你能联网吗？” → 回答不应随续训轮次变化，保持逻辑一致；
• “请用Python写一个快速排序” → 代码质量应比原始模型更优，且不因续训退化。

5.2 避坑指南：三个高危操作红线

6. 总结：把断点变成训练的“自然节奏”

断点续训不是补救措施，而是现代大模型微调的标准工作流。在Qwen2.5-7B的单卡微调中，它意味着：

• 时间成本可控：一次意外中断，3分钟内恢复，不损失已训练的150步；
• 结果可复现：rng_state.pth确保每次续训结果完全一致；
• 决策更灵活：可随时暂停观察loss趋势，再决定是否调参、换数据或终止。

你不需要记住复杂的API，也不必手写状态保存逻辑。只要记住这个公式：
swift sft [原参数] --resume_from_checkpoint [你的checkpoint路径]

然后，放心去喝杯咖啡。当你回来时，模型已在checkpoint-200安静等待验收。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。