80aj.com· Toy·· 22 小时前AI 评分58
开发者开源 1600 行 MoE 推理引擎 LiteMoE,称测试吞吐超 vLLM
1600行代码开源MoE推理引擎LiteMoE,测试吞吐超vLLM
AI 导读
开发者 ZhuLinsen 在 Linux.do 社区发布开源 MoE 推理引擎 LiteMoE,代码约 1600 行并已在 GitHub 完整开源。作者称在其测试场景下吞吐量超过 vLLM,但项目定位是教学而非替代生产级框架,并附中文教程与逐步演示页面。若社区反馈良好,后续计划推进多卡并行和 CPU 版本。
来源:80aj.com · 80aj.com