性能优化实战：6个技巧让stable-diffusion-1.5-amdnpu-medusa在NPU上推理更高效

stable-diffusion-1.5-amdnpu-medusa 是 AMD 面向 NPU 场景适配的 Stable Diffusion 1.5 文生图模型，借助 medusa NPU 推理运行时，可以摆脱对高端 GPU 的依赖，在国产/边缘 NPU 设备上完成 AI 绘图推理。很多新手第一次跑起来之后，普遍遇到的问题是：出图慢、内存占用高、反复加载模型，甚至因为权重没下全而直接报错。

本文面向新手，总结 6 个实用技巧，帮你把 stable-diffusion-1.5-amdnpu-medusa 的 NPU 推理性能调得更顺、更稳。

一、先认识模型与运行环境

• Stable Diffusion 1.5：经典的开源文生图大模型，原生分辨率为 512×512。
• NPU（Neural Processing Unit）：专为神经网络推理设计的加速芯片，能效比通常优于通用 CPU/GPU。
• medusa：AMD 推出的 NPU 推理运行时框架，负责把模型部署、算子调度和推理执行托管给 NPU 硬件。

在开始优化之前，请先确认模型已经完整下载。仓库 README.md 中给出了两种官方方式：

# SDK方式下载（推荐，自动处理权重文件） pip install modelscope from modelscope import snapshot_download model_dir = snapshot_download('amd/stable-diffusion-1.5-amdnpu-medusa')

# Git方式下载（需安装 git-lfs） git clone https://gitcode.com/hf_mirrors/amd/stable-diffusion-1.5-amdnpu-medusa

二、技巧1：用 LFS 完整拉取权重，避免"假下载"

这是新手最容易踩的坑。仓库的 .gitattributes 中配置了 Git LFS 规则，所有.safetensors、.bin、.ckpt等权重文件都走 LFS 通道存储。

👉 如果本地没有安装git-lfs，直接 clone 只会拉到几百字节的"指针文件"，而不是几 GB 的真实权重，后续推理会直接加载失败或出乱码图。

优化做法：

• 优先使用上面的snapshot_downloadSDK 方式，它会自动识别并下载真实权重；
• 使用 Git 方式时，先执行git lfs install，并用git lfs ls-files核对权重文件是否为完整实体。

文件完整是一切优化的前提——这一步没做好，后面的技巧都没有意义。

三、技巧2：先用"低配参数"跑通冒烟测试

不要一上来就用最高分辨率和 50 步采样去试。建议按下面的梯度逐步放大：

512×512 是 SD 1.5 的原生分辨率，超出这个尺寸（如直接上 768）会让 NPU 显存和耗时成倍增长，而画质提升有限。把基线数据记下来，后面每一步优化都能量化对比。

四、技巧3：控制采样步数与 guidance，别盲目堆参数

出图速度 ≈ 步数 × 单步耗时，二者是线性关系，所以这是收益最大的一处调参：

• 采样步数（steps）：20~30 步即可达到接近满画质，超过 40 步的边际收益很低，却会让总耗时接近翻倍；
• 引导系数（guidance_scale）：建议 7~9，过高会导致反复"过拟合"提示词，反而增加生成时间与伪影；
• 固定 seed 对比测试：调参时用同一 seed 反复测试，才能排除随机性干扰，判断参数是否真的有效。

五、技巧4：模型常驻 + 预热，消除重复加载开销

NPU 上加载几 GB 的 SD 1.5 权重需要数秒到数十秒。如果你的脚本每生成一张就load → infer → unload，那么 90% 的时间都浪费在了加载上。

优化做法：

1. 进程级常驻：把模型加载放在会话初始化阶段，一次加载、多次生成；
2. 预热（warmup）：正式批量任务前，先用一张小图跑一遍完整流程，触发 medusa 运行时的算子编译、内核缓存与内存池初始化。第二张图开始，耗时通常会明显下降并趋于稳定——这是评估 NPU 吞吐时的正确姿势。

六、技巧5：使用半精度与合理批大小，压住内存水位

• fp16 推理：在 NPU 上启用半精度（float16）权重与计算，内存占用大约减半，计算带宽压力更小，多数 SD 1.5 场景画质损失肉眼不可见；
• 批大小（batch size）保持 1：SD 1.5 单图就占用可观内存，盲目开 batch=2/4 容易触发 OOM，导致推理中断。需要多图产出时，用串行循环逐张生成更稳；
• 及时释放：批量任务结束时主动释放运行时会占用的内存，避免长驻进程内存缓慢上涨。

七、技巧6：用监控数据定位瓶颈，而不是靠猜

优化到最后一步，需要数据说话：

• 看 NPU 利用率：如果单步推理中 NPU 利用率很低，瓶颈往往在数据搬运或 CPU 预处理（如 prompt 编码、VAE 解码），可考虑把相关步骤并行化或预计算；
• 分阶段计时：把一次出图拆成"文本编码 → 扩散采样 → VAE 解码"三段分别计时。SD 1.5 中扩散采样占大头，但小分辨率下 VAE 解码占比会上升，优化方向要跟着数据走；
• 对比基线：每次改动（步数、精度、分辨率）后重新跑一次"512×512 / 20 步"基线，把单张耗时记录下来，形成自己的优化清单。

八、总结

🎯 回顾一下 stable-diffusion-1.5-amdnpu-medusa 在 NPU 上提速的 6 个关键动作：

1. 权重完整——LFS 拉取真实权重，排除"假下载"；
2. 冒烟测试——低分辨率低步数先跑通链路；
3. 参数克制——20~30 步 + 合理 guidance，不堆无效步数；
4. 常驻预热——一次加载多次生成，首张热身摊薄初始化开销；
5. 精度内存——fp16 半精度 + batch=1 串行，稳住内存水位；
6. 数据驱动——分阶段计时 + NPU 利用率监控，让每次优化都有依据。

这套流程从"能跑"到"跑得快"，每一步都可以独立落地。建议新手按顺序逐项验证，配合 README.md 中的下载说明完成环境准备，就能在 NPU 设备上获得流畅稳定的 AI 绘图体验。