Apple превращает простаивающие Mac в GPU-облако

Исследователи Apple описали внутреннюю систему Minions, которая превращает простаивающие Mac на базе Apple Silicon в виртуальный GPU-кластер для выполнения задач AI-инференса. Статья опубликована на arXiv и на сайте Apple Machine Learning Research. Система позволяет перенаправлять застрявшие в очереди задачи с корпоративных GPU на свободные Mac в сети, сокращая время ожидания с более чем 10 часов до нескольких минут.

Архитектура Minions включает три компонента: Minion Server, Minion Executor и Minion Watchdog. Сервер разбивает поступившую задачу на подзадачи и сохраняет их в базе PostgreSQL. На каждом Mac запускается Executor, который по REST API забирает следующую подзадачу, читает входные данные из Amazon S3, при необходимости загружает модель, выполняет вычисления на собственном GPU и возвращает результат обратно в S3. Центрального планировщика нет — используется pull-модель.

Система поддерживает два типа задач: создание эмбеддингов с помощью открытых трансформеров Hugging Face и генерацию текста через большие языковые модели с использованием Ollama, установленной на каждом участвующем Mac. Minion Watchdog отслеживает heartbeat-сигналы, которые машины отправляют каждые пять минут. Если Mac засыпает, теряет сеть, выключается или пользователь останавливает Executor, незавершённые подзадачи возвращаются в очередь.

Владелец Mac может управлять приоритетами заданий с помощью динамического связывания задач, например отдавая предпочтение проектам своей команды, или полагаться на стандартную очередь FIFO. Участие в системе неформальное: сотрудники могут попросить коллег через Slack временно запустить Executor для конкретного проекта. Вопросы конфиденциальности решаются развёртыванием в рамках команд и подразделений с отдельными базами данных и пулами Mac.

Помимо сокращения очередей, авторы отмечают, что запросы через Minions не требуют новых GPU, инфраструктурные затраты обнуляются, а масштабирование становится органическим. Однако в статье не учитываются расходы на электроэнергию и износ оборудования. Кроме того, каждый Mac выполняет модель целиком на своём оборудовании с унифицированной памятью, а не разбивает её на части — это перекликается с подходом volunteer computing, таким как SETI@home и Folding@home.

Появление статьи совпало с ростом дефицита вычислительных ресурсов для AI. В июльском квартальном отчёте Apple признала зависимость от доступа к достаточным мощностям в условиях ограниченного предложения, длительных сроков поставки и растущих цен. Риск нехватки ёмкости даже при наличии собственных дата-центров и сторонних облаков делает подход Minions более практичным. Ранее Apple объявила, что Private Cloud Compute для Apple Intelligence теперь работает на GPU Nvidia в Google Cloud, а спрос на Mac для локального AI привёл к нехватке Mac mini и Mac Studio.

В будущем авторы планируют расширить Minions на распределённое обучение моделей. Они также пишут, что если простаивающие Mac по всей организации или даже в глобальном сообществе удастся безопасно объединить в федерацию, они смогут сформировать общий пул GPU. Пока же система действует только внутри Apple как резервная AI-мощность.