Два Mac Ultra объединили для prefill и decode

Пользователь Reddit под ником, работающий с локальными языковыми моделями, описал схему разделения вычислений между двумя компьютерами Apple на базе чипов M3 Ultra и M5 Ultra. Задача возникла из-за того, что M3 Ultra с 512 ГБ объединённой памяти хорошо подходит для хранения больших моделей, но медленно обрабатывает длинные запросы: промпт на 17,5 тыс. токенов занимает 41 секунду до появления первого токена.

Решение основано на архитектуре disaggregated prefill/decode: этап prefill (обработка входного промпта) выполняет новый M5 Ultra с 256 ГБ, а декодирование (генерация ответа) остаётся на M3 Ultra с 512 ГБ. Передача состояния кэша между машинами идёт по Thunderbolt 5 с использованием RDMA. По словам автора, это позволяет не ждать версии M5 Ultra на 512 ГБ, которой пока не существует.

В качестве модели используется GLM-5.3-Flash в 4-битном квантовании с поддержкой MTP и фреймворком MLX. Автор приводит одиночные замеры производительности, но полные результаты в аннотации не раскрыты. Контекст важен тем, что память остаётся ключевым ограничением для локального запуска крупных моделей на оборудовании Apple.

Схема показывает растущий интерес к разнесению prefill и decode между разными узлами — подходу, который всё чаще обсуждают в контексте оптимизации инференса больших моделей. Использование Thunderbolt 5 RDMA для передачи кэша между двумя Mac — нестандартное, но технически возможное решение. Оно опирается на высокую пропускную способность нового интерфейса.

Пока неясно, насколько такая конфигурация стабильна и воспроизводима за пределами одной установки. Автор не приводит сравнения с альтернативами вроде одного узла с большей памятью или серверных GPU. Тем не менее кейс иллюстрирует, как энтузиасты обходят ограничения железа Apple, комбинируя устройства разных поколений.