Mac Studio M3 Ultra кластер с Exo

источник ↗ ·

Тестирование кластера из четырёх Mac Studio M3 Ultra с 1,5 ТБ Unified Memory и ПО Exo 1.0 для запуска гигантских AI-моделей через RDMA.

mac-studio m3-ultra unified-memory rdma exo distributed-inference ai-clustering llm-inference

privacy

Эта заметка участвует в semantic memory.

AI Summary

  1. Краткий обзор сути: исследователь Джефф Гирлинг собрал 4-узловой кластер Mac Studio M3 Ultra (два по 512 ГБ + два по 256 ГБ) для объединения 1,5 ТБ Unified Memory и запуска моделей, не помещающихся в один компьютер.

  2. Ключевые тезисы: общая стоимость ≈ 40 000 $; для соединения использован Thunderbolt (50–60 Гбит/с) без свитчей, поэтому каждый Mac соединён с каждым; максимум 4 узла; бенчмарк HPL показал 3,7 TFLOPS.

  3. Важные детали и нюансы: Exo 1.0 задействует RDMA (команда rdma_ctl enable), в отличие от RPC в llama.cpp; прирост скорости с добавлением узлов, а не падение; результаты: Qwen3 235B — 31,9 т/с, DeepSeek v3.1 671B — 32,5 т/с, Kimi K2 Thinking 1T — 28,3 т/с; в среднем 2× быстрее llama.cpp.

  4. Практические выводы/следующие шаги: Exo позволяет запускать модели >600 ГБ на Mac-кластере; для масштабирования нужны Thunderbolt-коммутаторы и надёжные кабели; текущая схема ограничена четырьмя узлами и паутиной проводов.

Мои мысли

graph

Карта связей