Apple Machine Learning Research·· 20 天前精选AI 评分66
Apple 详解如何用 MLX 与 RDMA 在 Mac Studio 上本地及分布式推理大模型
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 介绍如何用今日发布的 MLX 新版本，在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open，四台 M5 Ultra 集群解码速度超过 36 tokens/s。
推荐理由
原文给出多台 Mac Studio 运行 816B MoE 模型的实测数据与启动命令，可据此评估本地部署大模型的可行边界。
来源：Apple Machine Learning Research · machinelearning.apple.com