标签：KV Cache

大模型推理是自回归逐 token 生成，显存带宽是瓶颈。本文讲清 Prefill/Decode 两阶段、KV Cache 的作用与开销，再逐个聊连续批处理、PagedAttention（vLLM）、量化（INT8/INT4）、投机解码、FlashAttention 与并行策略，以及延迟与吞吐怎么权衡。