vLLM 官方博客· Ant Group and the vLLM Community·· 16 天前AI 评分68
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 之后的 NVIDIA GPU 架构以及平头哥镇岳 810E 等 CUDA 兼容设备。
来源：vLLM 官方博客 · vllm.ai