Apple представила тримодальные диффузионные модели

Исследователи из Apple ML представили первую тримодальную модель на основе маскированной диффузии (Masked Diffusion Models, MDM), обученную с нуля на текстовых, текстово-изображенческих и текстово-аудиоданных. Работа опубликована под заголовком The Design Space of Tri-Modal Masked Diffusion Models и описывает систематический анализ мультимодальных законов масштабирования, пропорций смешивания модальностей, расписаний шума и эффектов размера батча. Авторы утверждают, что это крупнейшее открытое систематическое исследование мультимодальных дискретных диффузионных моделей на сегодняшний день.

В отличие от предыдущих подходов, где базовая унимодальная модель инициализировалась и дообучалась для двух модальностей, новая работа обучает тримодальную MDM с нуля. Это позволяет унифицировать генерацию текста, преобразование текста в изображение (T2I) и текста в речь (T2S) в рамках одной архитектуры. Предварительная модель масштаба 3B параметров, обученная на 6,4 трлн токенов, демонстрирует сильные результаты во всех трёх задачах.

Ключевым техническим вкладом стала новая перепараметризация на основе стохастического дифференциального уравнения (SDE), которая устраняет необходимость подбирать оптимальный размер батча. Она разделяет физический размер батча, выбираемый исходя из вычислительных ограничений (загрузка GPU, FLOP-эффективность, время выполнения), и логический размер батча, определяющий баланс дисперсии градиентов при стохастической оптимизации. Это упрощает масштабирование обучения и снижает затраты на настройку гиперпараметров.

Авторский коллектив включает более 20 исследователей, среди которых Louis Béthune, Victor Turrisi, Bruno Kacper Mlodozeniec, Pau Rodriguez Lopez, Devon Hjelm, Josh Susskind, Marco Cuturi и Jason Ramapuram. Работа связана с другим исследованием той же группы — Target Concrete Score Matching (TCSM), представленным на конференции ICML 11 июля 2025 года. TCSM предлагает общий объектив для обучения и дообучения дискретных диффузионных моделей, поддерживая предобучение напрямую на выборках данных.

Дискретные диффузионные модели рассматриваются как серьёзная альтернатива авторегрессионным языковым моделям. Они позволяют генерировать данные итеративно, снимая ограничения последовательного декодирования, что особенно важно для мультимодальных задач. Работа Apple ML показывает, что единая архитектура способна конкурировать со специализированными моделями в тексте, изображениях и речи.

Практическая ценность исследования — в предоставлении оптимизированных настроек сэмплирования по умолчанию и понимании поведения моделей при масштабировании. Это снижает порог входа для команд, желающих строить мультимодальные генеративные системы на дискретной диффузии. Однако пока речь идёт о предварительной модели, а не о готовом продукте, и полные результаты требуют независимой проверки.