vLLM 官方博客· Inferact and Recursive·· 16 天前AI 评分58
vLLM 为 Recursive 的 Flint 模型提供 day-0 支持
Day-0 Support for Flint on vLLM
AI 导读
vLLM 宣布从 day 0 支持 Recursive 的 Flint,NVFP4 与 BF16 两个 checkpoint 均可单卡运行,单请求在单张 GB200 上、10 万 token 上下文下解码约 500 tokens/s。
来源:vLLM 官方博客 · vllm.ai