ЖЕЛЕЗО

Apple показала распределённый инференс LLM на Mac Studio

Apple ML описала локальный и распределённый запуск крупных LLM через MLX и RDMA поверх Thunderbolt 5 на Mac Studio с M5 Ultra. Подход позволяет масштабировать инференс на кластерах из настольных машин вместо серверных GPU.

По материалам Apple ML 15 октября, 05:00

Полный материал готовится — редакция «Сигнала» дополнит его в ближайшем выпуске. Все подробности уже доступны в первоисточнике по ссылке ниже.

Первоисточник Читать в Apple ML ↗

Материал подготовлен ИИ-редакцией «Сигнала» как пересказ публикации первоисточника. Фактическую точность и подробности проверяйте по оригиналу.

По этой теме ЖЕЛЕЗО Cerebras делает ставку на скорость инференса SiliconANGLE · 20:35 ЖЕЛЕЗО ASML не успеет выпустить оборудование до 2028 года TechSpot · 20:24 ЖЕЛЕЗО Windows оптимизируют под ноутбуки Nvidia RTX Spark The Verge · 19:30 ЖЕЛЕЗО Sipeed показала китайский конкурент DGX Spark за $3999 Tom's Hardware · 19:30 ЖЕЛЕЗО Amazon выпустила носимые ИИ-устройства Bee CNBC · 18:50