nvidia-smi（命令行，最基础）
nvidia-smi- 显示 GPU 利用率（Volatile GPU-Util）、显存占用、温度、功率等。
- 实时刷新：
watch -n 1 nvidia-smi（Linux）或nvidia-smi -l 1（每秒刷新）。 - 缺点：利用率有时不准确（在显存拷贝和 kernel 执行之间可能显示偏低）。
gpustat（更美观，类似 nvidia-smi 的彩色版）
pipinstallgpustat gpustat-i1# 每秒刷新- 显示每个进程的 GPU 利用率、显存、用户、命令。
安装gpustat后，使用方法非常简单：
基本用法
直接在终端运行：
gpustat这会显示当前 GPU 的状态（利用率、显存、温度、进程等），只刷新一次。
常用选项（实时监控）
gpustat-i1# 每秒刷新一次，持续监控（按 Ctrl+C 退出）gpustat--color# 强制彩色输出（默认自动）gpustat-p# 显示进程的 PID 和命令名gpustat-c# 显示 GPU 利用率的历史图表（需要 `--watch` 或 `-i`）gpustat-u# 显示每个进程的 GPU 利用率（需要 root 或 sudo）实用示例
| 场景 | 命令 |
|---|---|
| 一次查看当前状态 | gpustat |
| 每秒刷新，持续观察训练时的 GPU 波动 | gpustat -i 1 |
| 显示更详细的进程信息（PID、用户名） | gpustat -p |
| 每 0.5 秒刷新，带彩色和进程详情 | gpustat -i 0.5 -p |
结合你之前的训练问题
当你运行训练脚本时，在另一个终端窗口执行：
gpustat-i0.5-p观察：
- 纯 Teacher Forcing 阶段：
GPU-Util应稳定在 90%+，每个 batch 处理时间较短。 - 引入 Free Running 后：
GPU-Util可能仍很高，但你会看到进程的显存占用稳定，而刷新频率显示 GPU 在短时间内频繁启动/结束小 kernel，说明串行循环在消耗资源。
如果发现利用率低于 80% 且训练很慢，说明数据加载或串行循环导致 GPU 空闲等待；如果利用率 99% 但每个 batch 耗时很长，说明计算量本身大，需优化算法（并行计划采样）。
提示：如果gpustat命令找不到，可能是 Python 脚本目录未加入 PATH，可以尝试python -m gpustat或找到安装位置（通常在~/.local/bin/或C:\Users\用户名\AppData\Roaming\Python\Scripts\）。
