EXPERIMENT 01
LOGICAL → PHYSICALPagedAttention
大模型推理进阶 · 中文 / EN
vLLM Explorer
让每一块显存,都用在生成上。
从 KV 缓存的浪费出发,亲手拆解 PagedAttention、写时复制与连续批处理。沿着一条可回放的执行轨迹,看懂大模型推理引擎。
8 个互动章节 · 可逐步回放开始探索
✳ A PLAYGROUND FOR UNDERSTANDING
把论文里的原理,变成眼前的实验。
改一个参数,走一步执行,看清每一次变化。
一个请求需要 4 块空间。试试换一种分配方式。
LEARN BY CHANGING THINGS.
THE EXPLORER COLLECTION
每个教程,都是一间可以反复实验的工作室。
01 个教程
让每一块显存,都用在生成上。
从 KV 缓存的浪费出发,亲手拆解 PagedAttention、写时复制与连续批处理。沿着一条可回放的执行轨迹,看懂大模型推理引擎。
试试“vLLM”“内存”或“PagedAttention”。
FOLLOW YOUR CURIOSITY
THE WORKSHOP METHOD
探索工坊把开源项目与技术论文,拆解成可操作、可回放的学习过程。带着疑问进来,带着自己的解释离开。
在点击播放前,预测系统会怎样行动。让下一帧来检验你的直觉。
调整参数、切换策略,在状态图和事件流里找到变化的原因。
区分教学示意与实测结果,沿原始论文或代码的出处继续阅读。