TK的小站

“大模型推理”

大模型推理框架导读:从一次请求到 vLLM、SGLang 与分布式服务

模型已经训练好了,为什么还需要一个“推理框架”?直接调用一次 model.generate(),与把同一个模型交给 vLLM、SGLang 或 TensorRT-LLM,有什么实质区别? 一个很好的切入点是同时想象三个用户:第一个人发来一句短问题,第二个人让模型总结一篇长文,第三个人正在进行多轮 Agent 任务,提示里包含历史、工具结果和系统说明。它们在不同时间到达,输入输出长度也不同。即使模型完全一样,系统仍要决定谁先算、谁和谁一起算、显存怎样分、哪些计算可以复用,以及什么时候把结果返回。 推理框架研究的,正是模型变成可用服务时出现的这些问题。这篇文章以 vLLM、SGLang 为主线,从一次请求开始,逐步连接 GPU 内核、KV Cache、批处理、并行、分布式服务和推测解码。后半部分整理代表论文与技术博客,并给出可以动手验证的学习路线。