跳到正文
vLLM 官方博客· vLLM Team·· 14 天前AI 评分58

vLLM 详解 GLM-5.3 在 16 张 H200 上的 PCP、DCP 与 Hybrid HiSparse 优化

GLM-5.3 Optimizations, Part 2: PCP, DCP, and Hybrid HiSparse on 16 H200s

AI 导读

vLLM 团队发布 GLM-5.3 优化第二部分,在 16 张 H200 上采用一节点预填充、一节点解码的分离部署,用 PCP 按 token 切分预填充、DCP 按 token 切分 KV cache,使 1M 上下文可以装下。

来源:vLLM 官方博客 · vllm.ai