inclusionAI выложила модель Ling-3.1-flash

На платформе Hugging Face появилась карточка модели Ling-3.1-flash от организации inclusionAI. Публикация привлекла внимание сообщества r/LocalLLaMA, где пользователи обсуждают параметры новинки.

Согласно аннотации, модель насчитывает 560 млрд общих параметров при 25 млрд активных параметров на токен. Это указывает на архитектуру Mixture-of-Experts, где на каждом шаге генерации задействуется лишь часть весов — подход, позволяющий снижать вычислительные затраты при сохранении общей ёмкости модели.

Отдельно заявлено контекстное окно размером 1 млн токенов. Такой объём позволяет обрабатывать крупные массивы текста — длинные документы, кодовые базы или многочасовые транскрипты — без разбиения на фрагменты.

Сочетание большой общей ёмкости, умеренного числа активных параметров и длинного контекста характерно для актуальной гонки открытых моделей: разработчики стремятся дать пользователям возможность запускать системы локально или на собственной инфраструктуре.

Детали обучения, лицензии и результаты бенчмарков в доступном фрагменте не раскрыты. Оценить реальные возможности Ling-3.1-flash можно будет после появления полной карточки модели и независимых тестов.