10GB常驻、26GB峰值：MOSS-Image-Base-bf16内存与速度优化实战（附int8量化方案）

• 人工智能
• 大模型
• 基础模型
• 媒体生成
• 本地部署

MOSS-Image-Base-bf16是 OpenMOSS-Team/MOSS-Image-Base 文本生成图像（text-to-image）扩散模型的 MLX bf16 转换版，专为 Apple Silicon（M5 Max 等芯片）优化。它搭配 5B 单流 DiT 扩散网络、Qwen3.5-9B 文本编码器和 FLUX.2 VAE 解码器，本文带你搞清它的内存占用构成、实测生成速度，以及一套能显著省内存的int8 量化方案——让 10GB 常驻、26GB 峰值的负载在更小内存的 Mac 上也能稳定跑图。

模型架构速览：权重都在哪些目录

这个模型采用标准 diffusers 目录结构，下载后你可以直接对照下面这张表理解每个模块的作用和精度：

总入口是 model_index.json，它声明了整条 pipeline 的类名（MOSSImagePipeline）以及各子模块的加载类，README.md 里也有完整的架构说明。

几个值得注意的架构参数（来自 transformer/config.json）：

• num_layers: 42、dim: 3072、ffn_dim: 8192——典型的 5B 级 DiT 规格
• latent_channels: 128——潜通道数比常见 16/32 通道模型高得多，这也是分辨率越高越吃内存的原因之一
• 4 轴 RoPE 位置编码 + SiTU-GLU FFN + 单共享 adaLN 调制

而 text_encoder/config.json 显示文本编码器是 32 层、hidden_size 4096 的 Qwen3.5-9B，支持 262144 超长上下文，并且 4 层里混入 3 层linear_attention——这正是它擅长处理长提示词、中英文混排文本的原因。

内存与速度实测：10GB 常驻、26GB 峰值怎么来的

官方在M5 Max、1024² 分辨率、50 步采样条件下给出的实测数据如下（引自 README.md 的 "Memory and speed" 一节）：

几个关键结论，帮你理解这两个数字：

1. 常驻 10.3 GB 主要是 DiT 权重本身。5B 参数在 bf16 下约 10 GB，加上 VAE 和调度器开销，构成常驻基线。
2. 峰值 26.2 GB 不是 DiT 造成的，而是 bf16 文本编码器——9B 的 Qwen3.5 编码器前向时占约 16.8 GB，叠加常驻部分形成峰值。
3. 每个采样步要跑两次 transformer 前向（CFG 正/负两支，CFG=3），但负支会跳过第 22 个 block，省掉一部分计算。
4. 好消息是：MLX 移植版按请求加载文本编码器、去噪前释放，也就是说编码器占的那 16.8 GB 是"瞬时"的，不是长期驻留。

速度方面，1024² 图 50 步约 113 秒（2.27 秒/步）。分辨率从 256² 到 1456² 均可，宽高只需是16 的倍数即可。

int8 量化方案：常驻内存砍掉近一半

对于统一内存小于 36GB 的 Mac（如 M 系 32GB 机型），bf16 档 26GB 峰值加系统占用可能偏紧。这时推荐 int8 量化方案：

• 量化时机：加载时量化（quantized at load），权重落盘仍是 bf16 分片（见 transformer/ 下的diffusion_pytorch_model-0000X-of-00003.safetensors分片，索引文件为 transformer/diffusion_pytorch_model.safetensors.index.json），读入内存时压成 int8。
• 收益：常驻内存从 10.3 GB 降到5.6 GB，峰值从 26.2 GB 降到21.5 GB。
• 代价：几乎没有——官方实测去噪耗时"about the same"，速度基本无损。

在 Swift / MLX 端口（MLXMossImage）中，量化档位通过配置项选择，例如MossImageBasePackage(configuration: MossImageConfiguration(quant: .bf16))中把.bf16换成 int8 档位即可，其余加载与run(T2IRequest(...))调用流程不变。

怎么选？

• 内存 ≥ 64GB：直接跑 bf16，质量上限最高；
• 内存 32GB~48GB：优先 int8 量化档，体验差异很小；
• 需要微调训练（LoRA）：Base 版是 SFT 版微调的起点，训练场景建议保留 bf16 权重。

采样参数：默认配置已经够用

scheduler/scheduler_config.json 定义了MOSSImageScheduler的核心参数，其中shift: 5.0是最关键的出图参数。官方推荐采样设置：

想快速出图可以先降到 20~30 步看效果，正式出图再拉回 50 步。

新手快速上手与内存排查清单

获取模型权重（本地只读镜像可先浏览结构，完整权重需自行获取）：

git clone https://gitcode.com/hf_mirrors/mlx-community/MOSS-Image-Base-bf16

常见内存问题排查，按顺序检查：

1. 峰值爆内存→ 先切 int8 量化档，峰值立刻降 4.7 GB；
2. 分辨率超限→ 确认宽高都是 16 的倍数，且面积在 256²~1456² 区间；
3. 提示词过长→ 编码器支持超长上下文，但超长 prompt 会抬高编码器阶段峰值，复杂布局建议用 JSON bbox 排版（bbox_format: "yxyx"、bbox_coord_space: "abs_centized"的items写法，README 有说明）；
4. 出图风格与预期不同→ 注意 Base 版是"预训练底座"，构图精炼度不如 SFT 版；正式出图推荐优先使用 SFT 微调版本，Base 版更适合做 LoRA 训练的起点。

💡 提示：MLX 移植版与 PyTorch 参考实现在 fp32 下逐组件对齐过——编码器 relL2 4.8e-6、DiT 单次前向 relL2 1.1e-6~5.3e-6、调度器 sigmas 位级一致，所以 Mac 上的出图质量与参考实现基本无差。

小结：不同内存档位的选择建议

掌握"常驻看权重、峰值看编码器、量化砍常驻"这三条规律，你就能在 Apple Silicon 上把 MOSS-Image-Base-bf16 跑出既快又稳的体验。

• 人工智能
• 大模型
• 基础模型
• 媒体生成
• 本地部署