模型已经训练好了,为什么还需要一个“推理框架”?直接调用一次 model.generate(),与把同一个模型交给 vLLM、SGLang 或 TensorRT-LLM,有什么实质区别?
一个很好的切入点是同时想象三个用户:第一个人发来一句短问题,第二个人让模型总结一篇长文,第三个人正在进行多轮 Agent 任务,提示里包含历史、工具结果和系统说明。它们在不同时间到达,输入输出长度也不同。即使模型完全一样,系统仍要决定谁先算、谁和谁一起算、显存怎样分、哪些计算可以复用,以及什么时候把结果返回。
推理框架研究的,正是模型变成可用服务时出现的这些问题。这篇文章以 vLLM、SGLang 为主线,从一次请求开始,逐步连接 GPU 内核、KV Cache、批处理、并行、分布式服务和推测解码。后半部分整理代表论文与技术博客,并给出可以动手验证的学习路线。
阅读范围: 本文讨论大模型的推理执行与服务系统。资料核对截至 2026 年 10 月 29 日。原论文描述的是当时的设计与实验版本,当前框架通常已经吸收多项共同技术。正文中的教学例子不代表论文新增实验;自绘图用于解释机制,论文截图保留原始来源。
如果刚进入这个方向,可以先读第 1—4 节,弄懂一次请求怎样经过系统;再读第 5—7 节,看计算、通信和缓存如何协同。第 8—9 节补充算法与 MoE 综合案例,第 10—12 节负责实验判断、阅读路线与资料索引,不必第一次就记住文末所有论文。
1. 从一次请求开始:为什么推理是一个系统问题?
1.1 请求到达之后,系统并不是立刻执行一次矩阵乘法
一个常见的在线服务流程包括接收请求、构造聊天模板、分词、排队与调度、分配运行状态、执行模型、采样、反分词和流式返回。工具调用、结构化输出与多模态输入,还可能引入额外的处理环节。
这些工作分布在 CPU、GPU、网络和存储之间。GPU 在等待下一批输入时,CPU 可能正在调度或处理 token;缓存已经存在,但还在另一个节点;模型计算很快,客户端却可能因为队列积压迟迟看不到第一个 token。因此,优化模型计算只是其中一部分。vLLM 架构文档

本文教学示意,使用图像生成工具辅助绘制。左侧处理已知输入并产生首 token,右侧继续逐步生成;图中的一个 KV 条目概括新增 token 在各层的缓存状态。下方时间线只解释 TTFT 与 TPOT,不表示实测时间比例。
可以把推理系统看成四类协作对象:模型规定要做哪些计算;内核决定这些计算怎样在硬件上执行;引擎组织请求、批次与显存;服务系统再处理路由、多机资源和对外接口。研究者可以在不同层切入,但必须说明一项优化最终改变了哪段路径。
1.2 Prefill:处理已经知道的输入
假设用户发送“请总结下面的文章”,后面附了几千个 token。由于这些输入已经全部给定,系统可以在满足因果注意力关系的前提下,并行处理输入位置,计算各层表示并建立 KV Cache。这一阶段通常称为 prefill。
Prefill 不只是“把输入存一下”。输入仍然要经过模型各层的注意力、前馈网络等计算。长输入往往能形成较大的矩阵运算,让 GPU 的计算资源得到较充分利用。若系统命中了可复用的前缀,则只需要处理尚未缓存的部分,而不是无条件从头计算。
1.3 Decode:把新生成的内容接回模型
首个输出产生后,模型需要根据之前的内容继续生成。普通自回归解码中,每一步会处理新增 token,并把对应的 K、V 追加到缓存,重复这个过程,直到结束符或长度限制。
严格地说,一轮前向处理的是上一轮已经采样出的 token:本轮计算写入这个输入 token 的 KV,并产生下一个 token 的分布。刚刚采样出的下一个 token,要到后续前向时才获得自己的 KV。把这层时序分清,就不会把“生成了文字”与“这些文字的缓存已经全部写好”混为一谈。
对单条序列而言,后续生成依赖前面的结果,因此存在串行链条。GPU 可能只为每条序列处理很少的新 token,却需要读取大量模型权重与历史 KV。在常见的小 batch 工作区间,这很容易受到显存带宽限制。推理计算与数据搬运分析
这也是“输入很长”和“输出很长”不能混为一谈的原因:长输入主要增加 prefill 工作,长输出主要延长 decode 链条,而且不断增长的上下文还会影响后续注意力读取。实际瓶颈也会随模型、batch、上下文、精度与硬件变化,不能把“prefill 一定算力受限、decode 一定带宽受限”当成不需要测量的定律。
1.4 吞吐与用户等待,并不是同一个目标
离线生成一百万条数据,我们可能更关心总任务多久完成;在线聊天则需要同时关心第一个字多久出现、输出是否持续流畅、少数慢请求有没有长时间卡住。系统设计中的“更快”,需要先说清楚是对谁、在哪种负载下更快。
| 指标 | 含义 | 常见误读 |
|---|---|---|
| TTFT | 从相应计时起点到首个输出的时间 | 直接把客户端 TTFT 当成纯 prefill kernel 耗时 |
| TPOT | 一个请求首 token 之后的平均每输出 token 时间 | 与每次流式输出的间隔不加区分地混用 |
| ITL | 相邻输出 token 之间的时间间隔;部分工具按流式事件采集或估计 | 一次返回多个 token 时,直接把块间隔当作逐 token 间隔 |
| 端到端延迟 | 从请求开始到完成的总时间 | 只看生成速度,漏掉排队、CPU 与传输 |
| Throughput | 单位时间处理的请求数或 token 数 | 不说明统计输入 token、输出 token 还是二者之和 |
| Goodput | 满足规定服务目标时可承载的有效处理能力 | 直接用没有延迟约束的峰值吞吐替代 |
| P95 / P99 | 较慢请求或事件对应的分位数 | 只报平均值,掩盖尾部等待 |
对输出至少两个 token 的请求,在按 token 计时且口径一致时,可以用下面的关系帮助理解:
它提醒我们,减少首 token 等待与加快后续生成,都可能改善总体验。但客户端、服务端、流式分块与统计工具的定义需要对齐,实际分析应查对应实现。vLLM 指标说明
1.5 常见项目分别位于哪一层?
初看资料时,最容易把“优化同一个模型”的项目都当成直接竞争者。下面这张表更适合建立位置感,学习重点是本文的建议,不是性能排名:
| 项目 | 主要定位 | 适合观察什么? |
|---|---|---|
| vLLM | 推理引擎与服务框架 | 请求生命周期、调度、KV 管理与多卡执行 |
| SGLang | 推理与服务框架 | 前缀复用、缓存感知调度、结构化调用与并行 |
| TensorRT-LLM | 面向 NVIDIA 平台的推理库与运行时 | 内核、低精度执行、执行器与分布式组织 |
| llama.cpp | C/C++ 推理实现 | 本地部署、量化与不同硬件后端 |
| MLC LLM | 编译与部署引擎 | 跨平台编译、优化与模型部署 |
| NVIDIA Dynamo | 分布式推理运行时 | 路由、资源、KV 状态与不同推理后端的协作 |
| LMCache | KV Cache 基础设施 | KV 存储、加载、共享、压缩与引擎连接 |
FlashAttention、FlashInfer 更适合放到计算组件一层理解;Dynamo、LMCache 也不能只按一个模型前向函数来理解。它们可以进入同一套部署,在不同位置共同影响最终延迟。先分清层次,后面就更容易判断某篇论文改进了什么。
2. 显存里有什么:权重、KV Cache 与运行时空间
2.1 模型能装进去,不代表还能服务很多用户
显存不能只按参数量计算。除了模型权重,还需要存储 KV、计算中的临时张量,以及执行图、通信和内核工作区等运行时对象。具体分配方式因模型与框架而异,但“权重刚好放得下”与“可以容纳长上下文和高并发”是两件事。
权重由许多请求共同使用,KV 则与请求的上下文状态紧密相关。增加并发通常意味着更多活跃序列;输入更长或生成更久,则意味着更多历史 token。没有相应复用或压缩时,这些都会增加 KV 容量需求。
2.2 KV Cache 保存的是什么?
在因果自注意力中,新 token 需要关注历史 token 的 Key、Value。历史位置的这些投影可以保存下来,后续无需为每一步重新处理整个前缀。查询向量 Q 通常只用于当前计算,因此常规自回归缓存重点保存 K、V。从头实现 KV Cache
KV Cache 是模型计算的中间状态。文本层面相同的一句话,如果处于不同前文或位置,它在模型中的状态可能不同。这一点会在后面的文档块复用中变得非常重要。
2.3 一个可以自己算的容量例子
对于常规 MHA/GQA,假设所有活跃序列等长,KV 容量可以粗略写成:
| 记号 | 含义 |
|---|---|
| 模型层数 | |
| 活跃序列数 | |
| 每条序列已经缓存的 token 数 | |
| KV 头数,GQA 下不必等于查询头数 | |
| 每个头的维度 | |
| 一个缓存元素占多少字节 |
前面的 2 表示 K、V 两份。实际长度不等时,可以把
下面是一个教学算例,不指代某个具体模型的实测配置:32 层、8 个 KV 头、头维度 128、BF16、8192 token,单条序列的 KV 大约为:
这个结果还不包含权重和其他运行时开销。MLA、滑动窗口与混合注意力等结构需要按自己的缓存形式重新分析,不能机械套用。Transformer 的计算与存储分析
2.4 PagedAttention:先把空间管理好
传统实现如果为每条序列提前预留一大段连续空间,可能浪费尚未生成的部分;不断增长与释放的序列,也会让管理变得困难。PagedAttention 将 KV 按固定大小分块,通过块表把逻辑位置映射到物理空间,支持非连续存放和按需分配。

本文教学示意,使用图像生成工具辅助绘制。左图回答“存在哪里”,右图回答“复用什么”;两者可以组合。映射编号仅用于举例,与后面的原论文截图不是同一个请求实例。分页管理、前缀共享与量化分别解决不同问题。
可以借用操作系统页表的直觉:程序看到连续的逻辑地址,不要求所有物理页相邻。但这里讨论的是推理引擎的 KV 管理,并不是说 GPU 会自动借助操作系统替框架完成所有换入换出。
共享也是重要的一部分。多个生成分支可以暂时共享没有改变的缓存块,只有需要写入不同内容时才分配独立空间。分页降低了空间浪费和重复存储,进而可能允许系统承载更多请求。它不会凭空消除每个独立 token 需要保存的信息。

来源:vLLM / PagedAttention 原论文 v1,PDF 第 6 页,Figure 6。左边是请求的逻辑 KV 块,中间是块表,右边是 GPU 物理块。图中逻辑 Block 0、1、2 分别映射到物理 Block 7、1、3;生成推进时,块表还记录各块已填充的槽位。截图保留完整原图及图注。
读图时应区分三件事:请求自己的逻辑 token 顺序、GPU 上块的实际存放位置,以及多个序列是否共享了某些块。理解这一层之后,才更容易看懂框架里的 block manager、引用计数与缓存淘汰。
3. 一个引擎怎样运转:调度器、缓存管理器与执行器
3.1 不必一开始就从模型层源码读起
阅读大型框架时,一个常见困难是入口很多:HTTP 服务、异步队列、多进程通信、模型加载和 CUDA 内核混在一起。比较有效的方法,是先跟踪“一条请求从进入到完成”的状态变化,再看每个组件负责的决策。
以下分工是便于阅读的概括,具体类名、进程边界和接口需对照框架版本:
| 组件 | 它主要决定什么? | 阅读时寻找的证据 |
|---|---|---|
| 前端与输入处理 | 怎样把用户请求变成模型输入 | 模板、分词、参数校验、取消与返回路径 |
| 调度器 | 本轮执行哪些请求、处理多少 token | 等待/运行队列、优先级、token budget、抢占 |
| KV 管理器 | 运行状态放在哪里、哪些能复用 | 块分配、命中、引用、释放、淘汰、加载 |
| 执行器与 worker | 怎样把一批工作送到设备 | 多进程/多卡控制、输入准备、执行与同步 |
| Model runner | 怎样调用模型并组织执行 | 模型前向、注意力后端、执行图、输出处理 |
| 内核与通信库 | 底层运算和数据交换怎样完成 | 算子选择、数据布局、通信与计算重叠 |
调度器决定算什么,缓存管理器决定状态怎样提供,执行路径决定这些工作怎样变成硬件操作。 它们不是完全独立的:缓存不足会限制调度,调度方式会改变每轮形状,形状变化又影响内核效率。
3.2 用三个请求追踪一次决策
下面继续使用教学例子。请求 A 已经在生成短回答;B 刚送来一篇长文章;C 与先前请求共享一段较长系统提示。
调度器可能希望让 A 继续 decode,同时给 B 分配一部分 prefill 预算。KV 管理器发现 C 的相同前缀仍然存在,于是 C 不必完整重算。执行路径把本轮选中的工作组织成适合内核处理的输入,再运行前向、采样并更新状态。
若显存不够,系统还需要决定暂缓哪些请求、是否抢占已有请求,以及采用什么恢复方式。不同版本和配置可能选择重算、卸载或其他策略,不能仅凭“有分页”就推断具体行为。
因此,源码阅读时不要只找一个叫 scheduler 的文件。还应观察决策如何影响块分配、张量形状、CPU/GPU 同步与下一轮状态。Inside vLLM 是把这些组件串起来的良好入口。
3.3 CPU 开销也可能成为瓶颈
当 GPU 工作较短、模型较小或执行已经高度优化时,CPU 准备批次、处理队列和搬运元数据的时间可能变得显著。重叠调度尝试在 GPU 执行当前批次时,让 CPU 准备下一批,减少设备等待。
Mini-SGLang 的价值之一,就是用相对精简的实现展示这种协作。读代码时可以问:CPU 何时知道下一步需要什么?哪些信息必须等待 GPU 结果?通过什么机制避免 CPU 的下一轮准备与设备状态不一致?这些问题也提醒我们,“GPU 利用率低”未必只需要更快的数学内核。
4. 请求怎样一起算:连续批处理、分块 Prefill 与前缀缓存
4.1 Orca:把调度粒度推进到生成迭代
固定 batch 的困难在于输出长度事先未知。若一个请求很快结束,另一个还要生成几百个 token,新请求仍等待整个 batch 结束,就可能同时浪费吞吐与增加排队。
Orca 用 iteration-level scheduling 改变这一点:每一轮生成之后,系统都有机会移出完成请求、加入新请求。其原设计还通过 selective batching 区分适合共同执行的运算与按请求处理的注意力部分。
理解它时,重点不是背术语,而是看调度边界从“一段完整生成”变成“一次迭代”之后,哪些资源能被重新安排。连续批处理的收益,也来自能够更及时地让有用工作填补空闲位置。
4.2 连续批处理之后,长输入仍会打断流式输出
现在加入 B 的长文章。如果系统一次做完 B 的全部 prefill,A 虽然已经在 decode,也可能要等待较长的一轮计算才能产生下一个 token。用户看到的就是回答突然停顿。
这正是 Sarathi-Serve 研究的重要问题。它将 prefill 切成较小的块,结合受控的 token budget 与已有 decode,调节每轮工作量。它还讨论流水并行中工作量差异带来的空泡。

来源:Sarathi-Serve,OSDI 2024,PDF 第 7 页,Figure 7。A、B、C、D 是不同请求;下标 d 表示 decode,p 表示完整 prefill,p 后的数字表示同一请求的不同 prefill 分块。TBT 衡量相邻输出 token 之间的等待。最后一行展示把输入块与已有 decode 组合的调度思路。截图保留完整原图注;基线名称指论文当时的实现与对照配置。
这张图可以从“一个长 prefill 到来时,已有 decode 有没有被拖住”开始读,再看不同阶段能否被更均衡地放进执行轮次。它解释调度机制;图中基线属于论文当时的实现与实验环境,不能据此判断当前版本框架缺少什么功能。
具体可以沿着 A、B 两个已经在生成的请求看:前两行中,C、D 的长输入进入之后,A、B 的下一次输出要等待较长工作结束;第三行优先完成旧请求,新输入则要等;最后一行把长输入切成小块,持续与 decode 组合。图里的“No stalls”指论文讨论的调度现象,不表示每个请求从此没有排队、抖动或其他开销。
分块不是免费午餐。块过大,可能仍然带来明显 decode 干扰;块过小,也可能增加启动、访存或管理开销。新请求自己的 prefill 还会被分散到多轮,TTFT 与已有请求的流畅度之间需要协调。
读这类论文,建议把“本轮处理的输入 token 数”和“本轮活跃请求数”分开。相同 batch size 不代表相同计算量,token budget 往往更接近实际执行粒度。
4.3 SGLang:相关请求之间,哪些前缀已经算过?
SGLang 的出发点还包括结构化的多次模型调用:一个程序可能生成多个分支、多轮对话或带约束的输出。这些调用不一定相互独立,往往共享系统提示、示例或历史。
RadixAttention 用 radix tree 等机制组织 token 前缀及其 KV,并与缓存感知调度配合。一个请求到来时,系统寻找已有匹配前缀,让后续计算从未缓存的部分继续。早期论文还包含面向语言模型程序的前端表达与约束生成机制,不能把整篇工作缩成“一个 trie”。
例如,十个问题都以相同的产品手册开头,前缀复用就可能减少重复 prefill。但若把同一手册放到不同前文之后,或者对内容重新排序,不能仅凭文本片段相同就断言旧 KV 仍然等价可用。
4.4 三种技术,三个不同的问题
| 技术 | 直接目标 | 它不会自动解决什么? |
|---|---|---|
| 连续批处理 | 在迭代之间加入、移出请求,维持有效工作 | 长 prefill 对 decode 的干扰、跨请求重复计算 |
| 分块 prefill | 控制一次输入处理的执行粒度 | 相同前缀是否已缓存、缓存应该保存多久 |
| 前缀缓存 | 复用已经计算过的相同 token 前缀 | 显存容量无限增长、所有新输入的调度冲突 |
| 分页 KV 管理 | 按块分配、映射与共享运行状态 | 任意文档块的跨上下文无损复用 |
现代框架通常把多种机制组合起来。vLLM 与 SGLang 的早期论文帮助我们理解设计动机,但当前版本不能用互斥标签概括。一个更好的比较方式,是画出两者当前的请求路径,再定位某项机制落在哪个组件。
5. Attention 怎样算得更快:FlashAttention 与 FlashInfer
5.1 少搬数据,有时比少做几次加法更重要
普通注意力会涉及 QK 相乘、softmax,再与 V 相乘。如果把完整分数矩阵写入显存、再读回来继续处理,会产生很大的中间存储与数据搬运。
FlashAttention 从 IO 角度重新组织计算:把数据分块放进较快的片上存储,结合在线 softmax,尽量不把完整注意力中间矩阵落到 HBM。它计算的仍然是相应的精确注意力形式,重点在数据流,而非把 dense Attention 的二次运算直接变成线性。
可以把它理解成在工作台上一次处理一小批材料,及时汇总结果,而不是把所有中间材料搬到远处仓库再搬回来。这个比喻只能帮助理解数据移动,真实内核还涉及精度、并行、布局和同步。
5.2 FlashAttention-2 与 3:算法之后,还有工作划分与硬件协同
FlashAttention-2 进一步减少非矩阵运算,改善 thread block 和 warp 之间的工作划分。即使已经减少 HBM 读写,GPU 仍可能因为并行度不足、共享内存通信等原因没有充分运行。
FlashAttention-3 则利用 Hopper 的异步计算与数据搬运能力,研究重叠执行与低精度处理。它适合放到第二轮阅读:先理解 FA1 的 IO 动机,再看 FA2 的并行划分,最后看新硬件怎样影响算法实现。
这些工作也说明,某个内核在特定 GPU 上有效,不表示它会在所有硬件、模型和形状上获得相同比例的收益。
5.3 为什么还需要 FlashInfer?
服务系统面对的不只是整齐的训练张量:各请求长度不同,KV 可能分页存放,prefill、decode、追加输入的查询长度不同,还存在 GQA 等注意力变体。FlashInfer 围绕这类服务负载提供可定制的注意力引擎,处理布局适配、动态负载均衡、执行计划和内核效率。
面向一个规则形状的高效运算,与面向许多动态请求持续组织高效运算,需要处理不同问题。框架可能根据硬件、模型和执行阶段选择不同后端。
| 阅读对象 | 首先理解的层次 |
|---|---|
| FlashAttention | 一次注意力计算的数据流与 IO |
| FlashAttention-2 / 3 | GPU 工作划分、异步执行与硬件能力 |
| FlashInfer | 动态服务形状、KV 布局和可定制注意力执行 |
| vLLM / SGLang | 请求、缓存、调度与模型执行的整体组织 |
所以,PagedAttention 与 FlashAttention 可以配合,FlashInfer 也可以成为完整引擎调用的组件。看到 benchmark 前,先确认比较对象是不是同一层。
6. 从单卡到集群:并行、通信与 P/D 分离
6.1 “用了多张卡”,可能是完全不同的事情
模型太大、请求太多、上下文太长,都可能需要多卡,但相应拆分方式不同。
| 方式 | 主要怎样拆? | 需要关注的代价 |
|---|---|---|
| 数据并行 / 多副本 | 多份模型分别处理请求 | 请求路由、负载不均、缓存局部性 |
| 张量并行 TP | 把层内矩阵等计算分到多个设备 | 层间或层内通信、通信频率与拓扑 |
| 流水并行 PP | 不同设备负责不同层或阶段 | 流水空泡、各阶段工作量是否均衡 |
| 专家并行 EP | 把 MoE 专家分布在不同设备 | token 路由、跨设备交换、专家负载不均 |
| 上下文相关并行 | 把长序列相关工作或状态分散处理 | 注意力与 KV 的交换、切分和同步策略 |
它们可以组合。增加设备一方面提供更多容量与计算,另一方面引入通信、同步与调度成本。单看 GPU 数量,很难解释为什么某个配置更快。推理并行分析
6.2 P/D 分离:让两种工作分别配置资源
Prefill 与 decode 的执行特征不同,把它们长期混在同一资源池中,可能使长输入影响正在输出的请求,也限制两阶段独立选择并行方式。
DistServe 将两者分开,分别优化资源与并行配置,并把同时满足 TTFT、TPOT 目标的 goodput 放到中心。Splitwise 也研究阶段分离,更突出不同机器配置带来的吞吐、成本与功耗权衡。

本文教学示意,使用图像生成工具辅助绘制。图中的设备数量仅表示资源池,不对应等资源性能实验;KV 传输、排队和容量配置会影响实际收益。
分离以后,一个阶段可以采用更适合自己的 batch 和并行策略,也可以分别扩容。但 prefill 产生的状态必须送到 decode 一侧,网络不够快时,节省的计算干扰可能被传输与等待抵消。

来源:DistServe,OSDI 2024,PDF 第 11 页,Figure 8。三列依次为 OPT-13B、66B、175B 在 ShareGPT 聊天负载上的结果;上排改变每 GPU 请求到达率,下排改变 SLO Scale。原图、坐标轴、图例和图注均完整保留。
读这张图应先看资源是否对齐,再看服务目标、到达率和网络条件。它用 SLO 满足率展示:负载增加时,有多少请求仍能满足规定的延迟要求;图中的 90% 参考线用于讨论相应可承载负载。不同子图的约束和横轴需要分别阅读,不能只比较曲线最高点。这里呈现的是论文当时的版本与负载,不是 2026 年框架排名。
上排横轴是每 GPU 的请求到达率,纵轴是满足 SLO 的请求比例;在给定服务要求下,曲线与 90% 水平参考线对应的边界,帮助判断系统能够承受的负载。下排横轴的 SLO Scale 从左到右减小,表示延迟要求逐渐收紧。它问的是“同样负载下,要求还能严格到什么程度”,不是 token 生成速度。
原论文 §6.1 使用 FP16 OPT、ShareGPT 请求内容与 Poisson 到达过程;测试床为 4 节点、32 张 A100-80GB,节点内 NVLink、节点间 25 Gbps。各列与各方法按自己的配置使用设备,上排请求到达率按所用 GPU 数归一化。90% 是这一组实验选择的满足率目标;更换目标、模型、负载或网络后,需要重新比较。
把无延迟约束的离线吞吐,直接当成在线服务能承受的负载,会错过这类研究真正要解决的问题。
6.3 分离之后,KV 成为跨节点资源
Mooncake 进一步把 KV 放在系统中心:利用 CPU 内存、SSD 与网络组织分布式缓存池,让调度考虑缓存在哪、能复用多少、节点负载如何以及是否满足服务目标。
如果请求的历史 KV 在节点 X,把请求发到空闲节点 Y,可能需要重新计算或搬运;留在 X,又可能排队更久。最少排队、最少传输和最高缓存命中,未必总指向同一个节点。
这让“请求路由”从简单的均匀分配,变成带状态的资源决策。缓存命中率也不能单独代表系统收益:命中了远端但加载缓慢的缓存,可能不如本地重算;热门缓存集中在少数节点,还可能加剧负载不均。
6.4 多轮 Agent 又带来新问题
第一轮长输入与后续仅追加少量内容的请求,未必应该采用相同路径。PPD 研究 append-prefill:当 decode 节点已经有历史 KV,后续轮次是否可以在那里处理新增输入,避免反复传输。
DualPath 则提醒我们,高缓存命中并不一定消除瓶颈。计算被省掉后,从外部存储加载大量 KV 可能成为主要成本;其设计利用不同节点的数据路径分摊存储带宽。该工作按本次核对信息仍列为预印本。
所以,分布式推理不只是把单卡引擎复制许多份,还要管理状态位置、数据通路和请求关联。NVIDIA Dynamo 架构与分离式服务实践可以帮助把论文概念连接到实际运行时。
7. 从前缀到文档块:缓存如何连接 RAG 与 Agent?
7.1 相同文档,不一定对应相同 KV
假设知识库有文档 A、B。一个问题的提示按 A→B 组织,另一个按 B→A 组织。文本块 A 虽然没有修改,但它所处的位置和前文已经改变。模型的因果依赖、位置编码与层间表示会影响其 KV,因此不能简单把各文档独立计算后的缓存任意拼接。
这是教学例子,但它恰好概括了从前缀复用迈向文档块复用时的困难:前缀匹配通常要求相应 token 历史一致;RAG 则经常让相同知识以不同组合出现。
7.2 CacheGen:复用以后,搬运可能变贵
CacheGen 研究 KV 压缩与流式传输。缓存状态比原始文本大得多,从远端取缓存不一定便宜。系统需要比较加载与解码压缩状态的成本,以及把文本交给 GPU 重算的成本,再结合带宽调整策略。
因此,“有缓存就用”不是足够的资源策略。真正关心的是省下多少计算、付出多少存储与传输,以及压缩是否影响质量。GPU 更强、网络相对更慢时,重算的吸引力可能增加。
7.3 CacheBlend:重算一部分,恢复块之间的关系
CacheBlend 关注非前缀文本块的 KV 复用,通过选择一部分 token 重算,修复跨块注意力,并将重算与缓存加载流水重叠。
可以把它理解成:已有文档块状态仍有利用价值,但需要花一些工作让它适应新的组合。哪些 token 值得重算、重算多少才够、加载与计算能否重叠,都是具体设计问题。实验质量接近完整 prefill,不等于每个浮点值和生成 token 都严格相同。
7.4 Cache-Craft:缓存本身也需要管理
Cache-Craft 在文档块复用基础上,进一步讨论可复用性判断、选择性修复、缓存变体与存储淘汰。一个文档块可能在不同上下文中留下多个版本,系统要决定保存哪个、用哪个、何时加载,以及修复到什么程度。
这很适合连接数据库与系统思维:缓存不是只有“命中/没命中”两个状态,也包含状态质量、重算成本、更新频率、存储层级和使用收益。
| 路线 | 首先回答的问题 | 需要一起报告的代价 |
|---|---|---|
| 相同前缀复用 | 已经计算过的前缀还能用吗? | 命中、缓存容量、淘汰与路由 |
| KV 压缩与传输 | 如何更便宜地保存和搬运状态? | 编解码、网络、精度与质量 |
| 文档块融合 | 前文变化后怎样修复旧 KV? | 选择性重算、加载、输出质量 |
| 缓存变体管理 | 多个旧状态中哪个更值得复用? | 判断、元数据、存储与管理成本 |
7.5 与 Agent Memory 的连接点
可以分成两层理解:语义层决定哪些事实、经验与历史值得进入上下文;计算层决定这些内容进入模型时,哪些已有状态可以复用。前者产生的摘要、更新和重排,会改变后者的可复用条件。
因此,一个自然的研究问题是:记忆条目更新后,怎样识别需要失效和重算的部分?另一个问题是:资源有限时,应优先保存语义价值高、复用频繁的内容,还是重算成本高的状态?这些是本文的研究思考,不代表前述论文已经解决了所有动态记忆场景。
设计实验时,应把过期知识造成的错误,与近似 KV 复用造成的偏差分开。只测缓存命中率,既不能证明回答可靠,也不能充分解释端到端延迟。
8. 两条容易混在一起的加速路线:量化与推测解码
8.1 量化:每个值更小,怎样转化成执行收益?
量化减少表示精度,可能降低权重容量、内存读取和运算成本,但具体收益取决于量化对象与硬件支持。权重量化、激活量化和 KV 量化改变的对象不同,不能把“用了 4 bit”当成整个系统所有张量都是 4 bit。
AWQ 利用激活统计识别重要通道,通过通道缩放保护它们,研究低比特权重量化与相应执行实现。SmoothQuant 则通过离线缩放处理激活异常值带来的困难,支持权重和激活的 W8A8 计算。
把它们对读,有助于区分“少读权重”和“利用低精度矩阵运算”。前者可能对带宽敏感的 decode 很重要,后者在矩阵计算较充分的场景有不同价值。实际仍要结合 kernel、反量化、batch 与模型精度测量,不能用理论字节压缩比直接代替实测加速比。
8.2 推测解码:多做一些便宜工作,减少昂贵的串行步骤
经典推测解码论文 的基本思路,是先由较便宜的模型提出多个候选 token,再由目标模型并行验证。适当的接受与修正采样规则能够保持目标分布,同时尝试一次推进多个 token。
可以用一个教学比喻理解:助手先起草一小段,负责最终标准的人一次检查多个位置。关键不是“草稿大概像就直接通过”,而是存在明确的验证与采样机制;草稿若经常被拒绝,额外工作反而可能拖慢系统。
EAGLE-3 利用目标模型不同层的特征,训练草稿模型并在训练中考虑连续生成时的行为。阅读时应看草稿质量怎样影响接受长度,也要看草稿本身增加了多少计算、存储和实现复杂度。
8.3 为什么单请求收益不能直接外推到高并发?
低并发时,大模型每一步可能没有把所有计算资源用满,额外的草稿与并行验证有机会提高利用率。高并发下,原本的 batch 已经更充分,额外工作可利用的余量会改变。相同方案的低延迟收益与系统吞吐收益,可能差别很大。
这说明“减少一次串行生成的时间”与“单位时间服务更多用户”需要不同对照。还要区分基础解码算法、草稿模型训练和生产框架实现:算法上成立的分布保持性质,并不能代替具体实现的正确性测试。
9. 把它们放进一个真实系统:MoE、模型结构与硬件
MoE 模型只让每个 token 进入部分专家,可以减少相应计算,但专家分布在不同设备时,会带来 token 路由、发送与汇聚、专家负载不均等问题。总参数量、每 token 激活量、模型存储容量与跨设备通信,需要分别考虑。
DeepSeek-V3 系统分析 是一个综合案例:MLA 改变注意力状态的存储,MoE 改变计算与通信组织,P/D 分离允许两阶段采用不同配置,计算通信重叠与网络拓扑又影响最终效率。它展示的不是某一个开关,而是模型与硬件协同设计。
读这种工业经验,最好把三类内容分开记录:已经测量的系统结果、对瓶颈的分析,以及对未来硬件的建议。特定模型与集群上的配置,也不自动成为所有 MoE 的最优配置。
这也解释了为什么推理框架很难用一个数字排名。换成另一种注意力结构、另一种专家数量、另一组网络,原来的瓶颈可能移动,后端与调度策略也可能需要改变。
10. 怎样读实验:确认“更快”的含义
10.1 先找相同条件,再看结果曲线
一篇系统论文的性能结果,至少需要放回以下条件中理解:模型与版本、精度、设备数量、输入输出分布、请求到达方式、缓存状态、服务目标,以及基线版本与配置。
| 如果条件变了 | 可能影响的判断 |
|---|---|
| 输出长度变短 | 端到端延迟下降,但不一定说明 decode 每步更快 |
| 共享前缀变多 | 缓存收益提高,不能直接外推独立请求 |
| 从冷缓存变成热缓存 | TTFT 可能明显变化,需要分别报告 |
| GPU 数量增加 | 吞吐提高,仍需比较资源与单位成本 |
| 到达率降低 | 排队减少,不能直接证明调度更好 |
| 基线缺少关键优化 | 得到的优势可能来自配置差异 |
| 质量标准降低 | 速度提升需要与输出退化一起报告 |
这里并不是要求每项工作覆盖所有情况,而是帮助我们判断结论适用于什么范围。不同论文的“若干倍”通常不能横向拼成排行榜。
10.2 负载要覆盖不同瓶颈
一个学习用实验可以固定模型与硬件,分别构造三组请求:短输入长输出、长输入短输出、相同长前缀加不同问题。它们分别帮助观察 decode、prefill,以及跨请求复用。
再逐步增加并发或到达率,记录 TTFT、TPOT/ITL、端到端 P95/P99、吞吐、KV 使用与命中情况。输入、输出与命中条件都应固定或明确控制,才能看到系统从一个瓶颈转向另一个瓶颈。
若做 P/D 分离,还应记录 KV 传输字节与时间、两侧队列和资源利用率;若做近似缓存或量化,则必须加入任务质量。只给 GPU 利用率或命中率,往往不足以解释最终体验。
10.3 消融要能回答具体问题
| 想验证什么? | 可以设置的对照 | 主要排除的混淆 |
|---|---|---|
| 前缀缓存是否有用 | 相同请求序列,开关缓存,并区分冷/热状态 | 收益是否来自重复输入与预热条件 |
| 分块是否改善干扰 | 不同块大小,同样到达流与资源 | 只是改变了调度预算,还是确实改善权衡 |
| 分离是否值得 | 相同总 GPU 下比较混合与分离执行 | 多用了资源、换了硬件或基线过弱 |
| KV 复用是否值得 | 完整重算、前缀复用、文档块复用 | 传输与修复成本是否抵消了计算节省 |
| 推测解码是否有效 | 同样目标模型和请求,统计接受长度与总成本 | 只报告最有利 batch 下的单请求结果 |
| 量化是否改善系统 | 同样质量评估与可比硬件,拆开容量和延迟收益 | 字节更少是否真的变成更快执行 |
一个好的负结果同样有价值:缓存命中却因为传输变慢,分离后尾延迟改善但 TTFT 恶化,或量化节省显存却没有提高吞吐,都能帮助定位设计成立的条件。分离式服务实践就提供了这种从收益与代价两侧看系统的视角。
11. 阅读与动手路线:从会用框架到能解释设计
第一阶段:弄懂执行与资源
先读 Prefill/Decode 博客、KV Cache 教程与连续批处理教程。这一阶段不用记住很多论文,应该能画出普通自回归生成循环,说明权重和 KV 的区别,并自己算一个容量例子。
可以用小型 PyTorch 代码追踪张量形状:输入序列在 prefill 时是什么长度,decode 时新增了什么,缓存在哪一层追加。目标是理解机制,而不是一开始就复现大型框架的速度。
第二阶段:理解单机引擎
按 Orca → PagedAttention → Sarathi-Serve → SGLang 阅读,再结合 Inside vLLM。每篇只做一张小笔记:原先瓶颈是什么、改变了哪个组件、带来什么新开销、用什么对照证明。
之后读 Mini-SGLang,沿着一条请求找入口、队列、调度、KV 管理、执行和返回。它是教育与原型实现入口,不必把精简代码视为生产系统所有边界条件的完整替代。
第三阶段:选择内核或分布式支线
若更喜欢 GPU 与编译,读 FlashAttention 系列、FlashInfer,并学习内存层次、算术强度、线程工作划分和 profiling。若更喜欢操作系统、网络与资源管理,读 DistServe、Splitwise、Mooncake,重点看通信与状态如何影响调度。
两条支线可以相互连接,但不必同时从最深处开始。一个针对注意力形状的内核优化,最终仍需要进入服务负载测试;一个优秀调度策略,也需要知道它产生的形状在硬件上怎样执行。
第四阶段:接到具体负载与自己的问题
关注 RAG 与 Agent,可以继续读 CacheGen、CacheBlend、Cache-Craft、PPD 与 DualPath;关注低延迟生成,可以读经典推测解码与 EAGLE-3;关注本地部署或资源约束,可以对读 AWQ 与 SmoothQuant。
做第一个小实验时,选择现有硬件能稳定运行的模型,固定条件,先验证一条明确问题,例如“相同前缀比例如何改变 TTFT 和可承载负载”。保留配置、版本、到达流、原始记录与质量结果。先得到可信的曲线,再决定是否需要提出新机制。
如果暂时只读三篇博客、四篇论文
博客选 Prefill/Decode → Inside vLLM → Mini-SGLang;论文选 Orca → PagedAttention → Sarathi-Serve → SGLang。这是本文偏系统实现的入门建议,之后再根据兴趣分支。
若主要目标是理解缓存与 Agent Memory 的交叉,我会优先接上 Mooncake → CacheBlend → Cache-Craft。它们分别帮助理解状态在哪、跨上下文怎样复用,以及缓存如何被长期管理。
12. 资料索引:论文、博客与文档各用来做什么?
论文帮助理解问题定义、设计与证据;博客帮助建立直觉、连接实现;当前文档负责确认接口与支持范围。下面采用已核对的正式标题或常用简称,首次公开年份与正式会议可能不同,不把两者混成一个日期。
12.1 服务引擎、调度与注意力内核
| 资料 | 年份与正式信息 | 本文中的位置 |
|---|---|---|
| Orca: A Distributed Serving System for Transformer-Based Generative Models | OSDI 2022 | 迭代级调度与批处理 |
| Efficient Memory Management for Large Language Model Serving with PagedAttention | SOSP 2023 | vLLM 的分页 KV 管理 |
| SGLang: Efficient Execution of Structured Language Model Programs | 2023 首稿,NeurIPS 2024 | 结构化调用、RadixAttention 与前缀复用 |
| Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve | OSDI 2024 | 分块 prefill 与混合调度 |
| FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness | NeurIPS 2022 | 注意力 IO 与分块 |
| FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning | 2023 首稿,ICLR 2024 | GPU 工作划分 |
| FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision | NeurIPS 2024 | 异步执行与硬件协同 |
| FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving | MLSys 2025 | 动态服务负载下的注意力执行 |
12.2 分布式、缓存与算法路线
12.3 综述与近期多轮负载研究
| 资料 | 年份与状态 | 适合怎样使用? |
|---|---|---|
| A Survey on Efficient Inference for Large Language Models | 2024 | 覆盖数据、模型与系统层的广泛地图 |
| Taming the Titans: A Survey of Efficient LLM Inference Serving | INLG 2025 | 补全单实例与集群服务视角 |
| Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization | Findings of ACL 2026 | 梳理 KV 调度、放置、迁移、表示与保留 |
| Not All Prefills Are Equal: PPD Disaggregation for Multi-turn LLM Serving | 2026,页面标注 ICML 2026 | 多轮追加输入与 KV 位置 |
| DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference | 2026 预印本 | 多轮负载下的 KV 存储带宽 |
12.4 博客与在线教材
下表用中文短名提示主题,原始标题与实现细节可从链接继续查阅。
| 资料 | 来源与日期 | 建议读法 |
|---|---|---|
| Prefill / Decode:并发请求的性能 | TNG 作者团队,2025-04-16 | 入门,先看阶段、并发与指标;发布于 Hugging Face 平台 |
| 从零实现 KV Cache(nanoVLM) | Hugging Face,2025-06-04 | 入门至中级,跟踪张量与生成循环 |
| 连续批处理:从原理理解执行 | Hugging Face,2025-11-25 | 中级,理解不等长序列与动态调度 |
| vLLM 首发:PagedAttention | vLLM 团队,2023-06-20 | 分页 KV 的直观教材,实验属于历史版本 |
| Inside vLLM:源码导读 | Aleksa Gordić,官方收录 2025-09-05 | 源码主线,分析 V1 与 2025 年提交 42172ad |
| SGLang 首发:RadixAttention | LMSYS,2024-01-17 | 理解早期 SGLang 的问题与复用模式 |
| Mini-SGLang:精简引擎实现 | LMSYS,2025-12-17 | 精简代码入口,适合追踪请求与重叠调度 |
| vLLM:分离式服务实践 | Martin Hickey / IBM Research,2026-09-29 | P/D 实践与代价,文中面向 vLLM v0.31.0+ |
| FlashAttention-2 作者解读 | Tri Dao / Stanford CRFM,2023-07-17 | 进入 GPU 内核与数据流 |
| FlashInfer:服务中的注意力 | FlashInfer 团队,2024-02-02 | 理解不同查询长度、KV 布局和算术强度 |
| Transformer 推理详解 | How To Scale Your Model,2025-02-04 | 更完整的推理计算、内存与并行分析 |
其中 Inside vLLM 的作者原发版本日期为 2025 年 8 月 29 日,表中链接是 vLLM 官方收录版本。学习源码时最好固定提交;真正部署时再查询当前文档,不直接照搬旧文参数。
12.5 当前项目文档入口
- vLLM 架构与生产指标。
- SGLang 文档。
- TensorRT-LLM 架构。
- llama.cpp 仓库。
- MLC LLM 文档,用于了解编译与跨平台部署路线。
- NVIDIA Dynamo 总体架构。
- LMCache 文档,用于连接 KV 存储、复用与引擎集成。
留给下次回看的几句话
Orca 看调度粒度,PagedAttention 看空间管理,Sarathi 看 prefill/decode 干扰,SGLang 看前缀复用,FlashAttention 看数据流,DistServe 看阶段分离,Mooncake 看跨节点状态,Cache-Craft 看文档块缓存管理。
读懂推理框架,最终是能沿着请求、计算与状态三条线解释系统:本轮为什么选择这些工作,KV 为什么放在这里,数据为什么需要搬运,以及这项优化怎样改变质量、等待和资源成本。把每个技术放回它解决的瓶颈,再通过受控实验判断收益,论文和源码就更容易连成一张可用的地图。