Кластер из MacBook Pro M5 Max: распределённый инференс на практике
В эксперименте используются три MacBook Pro с M5 Max для создания вычислительного кластера, который демонстрирует, что локальные вычисления могут конкурировать с датацентрами. Тестирование небольшой модели Q34B и дальнейшее использование более крупных моделей показывают, что кластеризация становится не просто ускорителем, а необходимостью для запуска гигантских моделей локально.
Что забрать из ролика в дело
Введение
Эксперимент демонстрирует создание вычислительного кластера из трех MacBook Pro с M5 Max для вычислений, которые обычно выполняются в датацентрах.
Идея эксперимента
Эксперимент挑战传统观念 о вычислительной инфраструктуре, показывая, что серьёзные задачи могут быть решены на портативных устройствах.
Тестирование модели Q34B
Автор начинает с тестирования модели Q34B на одном ноутбуке, а затем объединяет три ноутбука для проверки коммуникационных каналов.
Протокол RDMA и MLX
Протокол RDMA и фреймворк MLX от Apple используются для обеспечения прямого доступа к памяти и использования общего пула памяти.
Результаты тестов
Тесты показали ускорение на 22% при подключении второго ноутбука, что является архитектурной победой, несмотря на небольшой прирост.
Оператору входа в AI buyanov.io может применить опыт кластеризации для создания более мощных локальных вычислений, что позволит разрабатывать и тестировать большие модели AI без зависимости от датацентров.