得物技术·· 15 天前精选AI 评分55
得物技术详解昇腾 910C 大模型推理优化上篇:镜像更新与参数调优使 Qwen3.5-35B-A3B TPOT 下降 45%
国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术
AI 导读
得物技术发布昇腾 910C 在线推理优化上篇,聚焦无需改源码的镜像版本与参数调优。vllm-ascend 升级到 0.23.0rc1 使 Qwen3.5-35B-A3B 的 c=1 TPOT 从 14.2ms 降至 12.0ms;叠加 HCCL AIV、静态 kernel 预编译、HBM 分配器与 jemalloc 等调优后 TPOT 降至 7.8ms,下降 45.1%。
推荐理由
作者给出昇腾 910C 在线推理的参数级优化清单与十余项避坑记录,可直接迁移到国产算力部署实践。
来源:得物技术 · mp.weixin.qq.com