让贵重的显卡一刻不闲：谁算完谁让位，新请求立刻补上。
1. 它到底在说什么
连续批处理（Continuous Batching）是一种大模型在线服务的调度方式。你可以把它想象成一辆不停靠站的微循环小巴：乘客（请求）一上车就出发，谁到了目的地（生成结束）立刻下车，空出的座位下一站马上补上新乘客；车从不空着等在起点。
对应的反面是“包车式”的静态批处理（Static Batching）：调度员非得等凑满一车、全部送到终点，才肯发车接下一批。只要车上有个要去远处的乘客，其余近处的人就得干等。显卡也一样——它最贵的就是那一片算力，空等就是纯亏钱。
2. 为什么现在这个词很热
这个想法的源头是 2022 年 OSDI 会议上发表的 Orca 系统（Yu 等人），论文里把它叫做“迭代级调度”（iteration-level scheduling），报告相比 NVIDIA FasterTransformer 在同等时延下吞吐提升可达约 36.9 倍。真正把它推到台前的是 2023 年 UC Berkeley 开源的 vLLM，沿用了“连续批处理”这个更直白的名字，并配合分页注意力（PagedAttention）把显存浪费一起压下去。NVIDIA 在自己的 TensorRT-LLM 里叫它“在途批处理”（in-flight batchin
