vLLM 官方博客· Itay Alroy (NVIDIA)·· 18 天前AI 评分71
vLLM 如何用 NIXL EP 实现 Elastic EP 近零停机扩缩容
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
AI 导读
vLLM 团队介绍通过异步准备与 NIXL EP 实现 Elastic EP 近零停机扩缩容,在 DeepSeek V4 Pro 的 GB200 基准中,从 16 扩到 20 GPU 的停机时间由 99.62 秒降至 0.82 秒,缩回 16 GPU 由 56.25 秒降至 1.96 秒。
来源:vLLM 官方博客 · vllm.ai