显存最多省47%：SAM-Audio-GGUF的BF16与Q8_0量化权重质量、速度、内存全对比

SAM-Audio-GGUF 是 Meta SAM Audio 音频分离模型的 GGUF 权重包，专为 audio.cpp 原生推理设计。本文将完整对比 Small / Base / Large 三种规格在 F32、BF16、Q8_0 三种精度下的显存占用、推理速度和输出质量差异，帮你在本地跑音频分离时选到最合适的版本。

SAM-Audio-GGUF 是什么？

SAM Audio 是一个"按描述分离声音"的模型：给定一段录音，再用文本（如 "man speaking"）、打掩码的图片/视频或正负时间区间指定目标，它就能从混合音频中把对应的声音单独抽出来，输出目标声target.wav和剩余声residual.wav。

本仓库把这些模型转成了 GGUF 格式，供 audio.cpp 在 CUDA / Vulkan / Metal 上直接推理。每个 GGUF 文件是"全家桶"——包含 SAM 权重、T5 文本编码器、tokenizer 和模型配置，不需要单独准备文本编码器。

仓库结构非常直白：

说明：Q8_0 是"混合量化存储"，并非每个张量都做了量化——偏置、归一化向量、scale/shift 表仍保持 F32。

文件体积：量化能省多少空间？

以仓库内文件的实际大小计算：

对下载和磁盘友好度来说，Q8_0 几乎是"买一送一"级别的压缩。

显存对比：Q8_0 为什么能省最多 47%？

以下数据来自 README.md 中 RTX 5090（32 GB）的实测，输入为 14.975 秒录音、16 步 midpoint 扩散、文本提示man speaking。峰值显存覆盖加载与全部请求：

规律很清晰：模型越大，量化省显存越明显。Large 版本用 Q8_0 后，峰值显存从 17.8 GB 降到 9.4 GB——差值接近一张中端显卡的全部容量，这也是很多用户从"跑不动 Large"到"轻松跑通"的关键一步。

速度对比：量化后反而更快

同一批测试中（C++ 实现、--seed -1、5 次请求取后三次中位数）：

RTF（推理时间 / 音频时长）全部远低于 1，即推理速度远超实时。Base 和 Large 上量化带来的提速尤为可观：Large + Q8_0 处理近 15 秒音频只要约 1 秒。

质量对比：量化漂移有多大？

这是新手最关心的问题。测试方法：固定 seed 42、关闭 TF32，每种精度输出与同规格 F32波形做余弦相似度（1 为完全同向，越接近 1 越好）：

所有组合都保持在 0.999 以上。参考一下：F32 与官方 Python 实现之间的相似度也在 0.9999 量级，两者量级相当——量化引入的漂移很小，但确实存在，属预期行为。

需要诚实地提醒：以上只是短时文本条件分离的检查，不代表对每条录音、视觉提示或长音频都有同等质量保障。追求最严格复现时，F32 仍是官方参考。

怎么选？一张表给结论

快速上手

权重下载后，用 audio.cpp 的命令行即可推理（以 Small Q8_0 为例）：

audiocpp_cli --task s2s --family sam_audio \ --model /path/to/SAM-Audio-GGUF/sam-audio-small-q8_0.gguf --backend cuda \ --audio input.wav --text "man speaking" --seed -1 \ --out-dir outputs/separation --log

输出target.wav与residual.wav（单声道 48 kHz）。需要按时间区间分离时，可加--request-option 'anchors=[["+",0.5,2.0],["-",3.0,4.0]]'；视觉提示则用reference_image_path或reference_video_path。完整参数见 README.md 的 Usage 一节。

长录音提示：Base / Large 的 GGUF 内置了 bounded-memory 实验选项，可减少长录音的 GPU 工作区占用（测试中 180 秒输入下 Large 峰值显存仅 16.2 GB，而官方 Python 实现直接 OOM）：

--session-option sam_audio.memory_bounded=true

该模式默认关闭，Small 旧版 GGUF 需额外传--model-spec-override，细节见 README.md。

许可说明

SAM Audio 权重遵循 LICENSE（SAM License，2025-11-19）；内置的 T5 编码器来自 Google T5 Base，保留 LICENSE-T5 中的 Apache-2.0 许可。格式转换不改变上游许可条款，商用前建议自行确认。

总结

• 省显存：BF16 省 13%~32%，Q8_0 省 20%~47%，模型越大收益越高；
• 更快：Large 上 Q8_0 比 F32 快约三分之一，RTF 仅 0.07；
• 质量稳：量化后余弦相似度全部 ≥ 0.999，日常分离几乎无感；
• 一句话建议：显存够用选 F32，想跑 Large 或显卡偏小就直接上 Q8_0。