news 2026/8/13 0:02:41

page KV-tail浪费核Prefix命中粒度

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
page KV-tail浪费核Prefix命中粒度

这两个概念都与大模型推理框架(如 vLLM、SGLang)在用分页管理(PagedAttention)分配显存时的“页/块(Block)大小”密切相关。


1. Tail 浪费少(减少尾部内部碎片)

  • 背景:显存是以固定大小的Block(内存页)分配的(比如一个 Block 规定存 16 个或 64 个 Token 的 KV Cache)。

  • 什么是 Tail 浪费:用户的 Prompt 长度很难刚好是 Block 大小的整数倍。

  • 举个例子:假设一个 Block 存64 个 Token。如果用户的请求正好是65 个 Token,框架就必须分配2 个 Block(总共能存 128 个 Token)。

  • 此时第 2 个 Block 里只装了 1 个 Token,剩下的 63 个 Token 存储空间就被空置浪费了。这种序列末尾没装满的 Block 造成的空间闲置,就叫Tail 浪费(尾部碎片)

  • “少”的意思

  • 如果把 Block 设得更小(如 16 个 Token),或者使用了MLA使得单 Token 占用的字节数极小,那么最后一个 Block 就算没装满,浪费的绝对字节数也极微小,显存利用率大幅提升。


2. Prefix 命中粒度细(更精细的前缀缓存复用)

  • 背景:Prefix Caching(前缀缓存)的作用是让不同请求复用相同的 Prompt(比如 System Prompt、提示词模板或多轮对话历史),避免重复计算。

  • 原理:框架通常以 Block 为单位去做哈希对比,只有整个 Block 内的数据完全一致才能算“命中缓存”。

  • 粒度粗 vs 粒度细

  • 粒度粗(如 Block = 64):两个请求的前 63 个 Token 完全一样,但第 64 个 Token 不同。因为凑不齐一整个 64 尺寸的 Block,这 63 个 Token完全无法复用缓存(命中率为 0)。

  • 粒度细(如 Block = 16,甚至 Token 级):前 63 个 Token 一样,就能直接打卡命中 3 个完整的 16-Token Block(前 48 个 Token 完全复用)

  • 核心优势:命中粒度越细,系统对各种微小差异、短 Prompt 复用的灵敏度就越高,Prefix Cache 的总体命中率和首字延迟(TTFT)优化就越显著。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/13 0:00:06

Visual Studio新建项目解决方案为空:系统性排查与修复指南

1. 问题现象与本质剖析如果你是一位.NET开发者,或者正准备踏入这个领域,那么Visual Studio(后面简称VS)绝对是你绕不开的伙伴。但有时候,这个伙伴会跟你开一个不大不小的玩笑:你满怀期待地点击“创建新项目…

作者头像 李华
网站建设 2026/8/12 23:50:51

Mac M1 Rosetta 2故障排查与优化指南

1. Mac M1 Rosetta 2 故障排查指南 作为苹果M1芯片用户最常遇到的兼容性问题解决方案,Rosetta 2的稳定性直接影响着x86应用的运行体验。当这个转译层出现异常时,从基础办公软件到开发工具都可能突然罢工。本文将系统梳理七类典型故障现象及其对应的排查方…

作者头像 李华
网站建设 2026/8/12 23:48:45

终极指南:如何用 Lively Wallpaper 打造个性化动态桌面

终极指南:如何用 Lively Wallpaper 打造个性化动态桌面 【免费下载链接】lively Free and open-source software that allows users to set animated desktop wallpapers and screensavers powered by WinUI 3. 项目地址: https://gitcode.com/gh_mirrors/li/live…

作者头像 李华
网站建设 2026/8/12 23:40:25

终极指南:使用Rufus轻松制作Windows 11启动盘并绕过硬件限制

终极指南:使用Rufus轻松制作Windows 11启动盘并绕过硬件限制 【免费下载链接】rufus The Reliable USB Formatting Utility 项目地址: https://gitcode.com/GitHub_Trending/ru/rufus 在Windows 11时代,许多用户面临一个共同的挑战:他…

作者头像 李华
网站建设 2026/8/12 23:39:10

SQL Server连接加密实战:从TLS/SSL原理到自签名证书配置与排错

1. 为什么你的SQL Server连接可能正在“裸奔”? 如果你负责的SQL Server数据库里存着用户信息、订单数据或者任何敏感的业务记录,而你的应用程序连接字符串里还是简单的 ServermyServer;DatabasemyDb;User IdmyUser;PasswordmyPass; ,那情况…

作者头像 李华
网站建设 2026/8/12 23:38:37

MySQL安装配置全攻略:从my.ini详解到生产环境调优

1. 项目概述:为什么MySQL的安装配置值得深究每次接手一个新项目,或者在新电脑上搭建开发环境,MySQL的安装配置总是绕不过去的一道坎。表面上看,不就是下载、安装、点几下“下一步”吗?但真正做过的人都知道&#xff0c…

作者头像 李华