MarkTechPost· Asif Razzaq·· 13 小时前AI 评分55
NVIDIA 介绍在 DGX Spark 上加速 MoE 推理的三种方法，Ling-3.0-flash 吞吐提升 42.5%
NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
AI 导读
NVIDIA 技术博客展示了在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三种优化：换用 Humming MXFP4 MoE kernel、将 LM head 在线量化为 FP8、启用模型内置 NEXTN 层的 MTP 投机解码。
来源：MarkTechPost · marktechpost.com