四台 Mac Studio 跑 1 兆數模型

javacomhk

這場長達 90 分鐘的特別講座於 WWDC 期間在喬布斯劇院（Steve Jobs Theater）現場錄製，內容涵蓋 Xcode 27 的 AI 輔助開發、Apple Foundation Models 框架、Core AI 框架以及升級後的 MLX 框架。其中最引人注意的是使用四台 512GB RAM 的 Mac Studio（M3 Ultra）串成叢集運行原始規模無量化的超大模型，這在以往是必須花費數百萬以上才能辦到的。

能將 4 台 Mac Studio 串聯為 AI 運算叢集的關鍵，是 Apple 在 macOS Tahoe 26.2 中導入的 RDMA-over-Thunderbolt（遠端直接記憶體存取透過 Thunderbolt 介面）技術。這項技術允許多台 Mac 之間以微秒級延遲直接讀寫記憶體，大幅降低跨節點通訊的開銷，使分散式推理成為可能。

joe0joe

四台Mac Studio都要廿幾三十萬