1 项目背景
业务场景
客服系统在大促期间面临极限压力——QPS 从日常的 30 飙升至 300，推理服务的 P95 延迟从 80ms 飙升到 5 秒，GPU 利用率 100% 但吞吐反而下降了（排队过长导致超时重试增多）。运维团队的临时扩容方案是加机器——开 8 个 GPU 实例才勉强扛住，单日成本超过 2 万元。
CTO 下了死命令：“下次大促前，推理成本至少降低 70%，单卡 QPS 提升 5 倍。不准只靠堆机器。”
技术团队对比了三种推理引擎：
- 原生 Transformers（当前方案）：QPS 30, 显存 14GB
- INT4 量化 + Transformers：QPS 60, 显存 4GB
- vLLM（专用推理框架）：QPS 200+, 显存 12GB
差距如此之大，根因在于原生 Transformers 使用的是静态 batch（每个请求独立推理），而 vLLM 用的是Continuous Batching（完成的请求立即返回，新请求立即加入）。
痛点
生产级 LLM 推理面临三重瓶颈：
瓶颈 1: KV Cache 爆炸 生成长度 4096 × 14B × 2(FP16) × 2(K+V) ≈ 450MB per sequence 10 个并发 × 450MB = 4.5GB KV Cache 专用 瓶颈 2: 静态 Batching 效率低
