在服务器或 Docker 容器中跑深度学习训练时，nohup几乎是标配操作：（可以参考之前写的文章【在容器中运行长时间 Python 任务：SSH 断开也不怕】
nohuppython scripts/frozen_backbone_train.py>logs/frozen_finetune.log2>&1& 但问题也随之而来：这个后台跑起来的 Python 进程，到底该怎么安全、彻底地停掉？
本文结合一次PyTorch 训练 + DataLoader 多进程的真实排查过程，完整记录正确的 kill 思路。
一、先找到真实在跑的进程
第一步永远不是kill -9，而是确认进程结构：
psaux|grephomo_with_vit_frozen.py 可能会看到类似输出：
root1652... python frozen_backbone_train.py root2424... python frozen_backbone_train.py root2425... python frozen_backbone_train.py root2426... python frozen_backbone_train.py... 这时候很多人会懵：为什么同一个脚本会有一堆 Python 进程？
二、为什么会有多个 python 进程？
这是PyTorch 非常典型的行为。
2.1 主进程（训练主逻辑）
root1652... python frozen_backbone_train.py- 负责：模型 forward / backward / optimizer.step
- 通常：
- 运行时间很长
- CPU / GPU 占用明显
- 这是你真正要 kill 的进程
2.2 子进程（DataLoader workers）
root2424~2431... python frozen_backbone_train.py 这些通常是：
DataLoader(..., num_workers > 0)- 拉起的数据加载子进程，特征非常明显：
- 一次性出现一串
- PID 连号
- CPU 占用相近
- 内存结构几乎一样
- 结论：多进程 ≠ 多个训练任务，而是一个训练任务 + 多个数据加载 worker
三、正确的 kill 姿势（推荐）
3.1 方式一：只 kill 主进程（最干净）
kill1652大多数情况下：主进程退出，所有 DataLoader 子进程会被自动回收
如果进程没有立刻退出：
kill-91652
3.2 方式二：直接按脚本名全部清场
当你确认这个脚本已经不需要了，可以直接：
pkill-9 -f frozen_backbone_train.py-f：匹配完整命令行会同时 kill 主进程 + 所有子进程
注意：如果你同时跑了多个同名脚本，这一招会“一锅端”。
四、如何确认真的 kill 干净了？
4.1 再查一次进程
psaux|grepfrozen_backbone_train.py如果只剩下：
grep--color=auto frozen_backbone_train.py说明进程已经全部退出
4.2 如果使用 GPU，确认显存释放
nvidia-smi- 没有 python 占用显存 → OK
- 有残留 → 继续
kill -9 <pid>
五、小结
nohup启动的 Python 进程 ≠ 只有一个进程- PyTorch 的
DataLoader(num_workers > 0)会产生多个子进程 - 正确做法是：
- 优先 kill 主进程
- 或使用
pkill -f一次性清理
- 养成记录 PID 的习惯，可以极大降低维护成本
)
