为什么要做大模型粘性调度？

大模型推理的成本核心在于Prefill——就像每次做饭都得从头切菜备料。而KV Cache就是那些可以复用的“半成品”。传统负载均衡像随机分配顾客去不同窗口，每位顾客都得重新“自我介绍”，造成了巨大的算力浪费。

粘性调度的本质，不是死板地固定机器，而是让请求优先去“最可能有缓存”的地方，这直接带来四大改善：TTFT更低、Cache Hit更高、GPU更省力、吞吐更稳。

不同场景的选型：

• 多轮聊天机器人，首选会话粘性，实现简单，上下文连续。

• RAG/模板化问答，优先前缀哈希，最大化复用系统提示和模板缓存。

• 大规模在线服务，则需缓存感知调度，动态平衡命中率与实时负载。