提升超长上下文本推理吞吐，百度百舸 ESS 技术报告新鲜奉上

【问题】长文本推理被「显存墙」卡住 在 32K 至 128K 超长上下文场景中，DeepSeek-V3.2-Exp 的 Decode 阶段需维护一个随序列长度线性增长的 Latent Cache。该 Cache 在 128K 下可占用数十 GB GPU 显存，迅速耗尽资源。
结果：
- Batch Size 无法扩大
- GPU 算力大量闲置
- 吞吐上不去，成本下不来

【策略】ESS 以「卸载 + 预取」 为核心：
- 将 Latent Cache 主体卸载到 CPU 内存
- 仅在 GPU 动态保留小而精的热点子集
- 在每步 Decode 前主动预取所需数据回 GPU
完全无损精度，打破 Batch Size 对 GPU 显存的依赖。

【方案】三层协同实现高效「卸载 + 预取」：
1. 高带宽传输，让数据「搬得快」🚀
挑战：Latent Cache 仅 656 字节、访问离散，传统拷贝带宽 <1 GB/s
方案：
- 基于 UVA，GPU 直访 CPU pinned memory
- 自研 FlashTrans 算子，聚合小请求、消除调度开销
效果：H2D/D2H 带宽达 37–43 GB/s 📈

2. 智能预取，让数据「搬得准」🎯
挑战：预取不准 → 无效搬运 → 性能反降
方案：
- 利用 Latent Cache 的强时间局部性
- GPU 用 LRU 管理 Sparse Memory Pool
- Prefill 阶段末尾 Top-K 条目预热缓存（LRU-Warmup）
效果：显著降低 Cache Miss

3. 计算通信重叠，让搬运「不挡路」🔄
挑战：Decode 计算量小，难掩传输延迟
方案：
- DA Overlap：用 Attention 前置计算掩盖 Latent Cache 预取延迟
- DBA Overlap：长上下文下沿 Batch 拆 Indexer，扩大重叠窗口
效果：数据搬运隐藏于计算流水线，关键路径无阻塞

【价值】吞吐显著提升 ✨
基于高精度模拟器测试结果，数据如下：
- 32K 上下文：吞吐提升 69.4%
- 128K 上下文：吞吐提升 123%
→ 显著降低长文本推理成本💰

更多详细内容，请阅读 ESS 技术报告全文：https://arxiv.org/abs/2512.10576。