四台 Mac Studio 跑 1 兆数模型

javacomhk

这场长达 90 分钟的特别讲座于 WWDC 期间在乔布斯剧院（Steve Jobs Theater）现场录制，内容涵盖 Xcode 27 的 AI 辅助开发、Apple Foundation Models 框架、Core AI 框架以及升级后的 MLX 框架。其中最引人注意的是使用四台 512GB RAM 的 Mac Studio（M3 Ultra）串成丛集运行原始规模无量化的超大模型，这在以往是必须花费数百万以上才能办到的。

能将 4 台 Mac Studio 串联为 AI 运算丛集的关键，是 Apple 在 macOS Tahoe 26.2 中导入的 RDMA-over-Thunderbolt（远端直接记忆体存取透过 Thunderbolt 介面）技术。这项技术允许多台 Mac 之间以微秒级延迟直接读写记忆体，大幅降低跨节点通讯的开销，使分散式推理成为可能。

joe0joe

四台Mac Studio都要廿几三十万