JetBrains выпустила Mellum 2.1 12B MoE

На форуме Reddit LocalLLaMA пользователь Shadow_s_Bane опубликовал отзыв о новой модели JetBrains Mellum 2.1 с архитектурой MoE (mixture of experts) на 12 млрд параметров, из которых активны лишь 2,5 млрд. По его словам, модель показывает около 60 токенов в секунду на Apple M4 при полном контексте 130 тыс. токенов. Это делает её пригодной для локального запуска на компактном оборудовании.

Автор отмечает, что при наличии GPU с 16 ГБ памяти можно без проблем запустить квантованную версию Q8. На видеокарте 9070 XT ему удалось достичь 140 токенов в секунду. Благодаря MoE-архитектуре модель должна работать и на картах с 8–12 ГБ, выдавая 30–40 токенов в секунду.

По оценке пользователя, Mellum 2.1 способна писать код, но для сложных задач её лучше использовать в связке с более крупной моделью, которая будет детально планировать действия. Тогда она хорошо подойдёт для быстрого выполнения уже поставленных задач.

JetBrains — известный разработчик сред разработки, таких как IntelliJ IDEA, и ранее не выпускала крупных открытых языковых моделей. Mellum 2.1 продолжает тренд на компактные MoE-модели, которые конкурируют с решениями вроде Mistral и Qwen по эффективности на потребительском железе.

Пока неизвестно, будет ли модель доступна в открытых весах или только через API. Официальных комментариев от JetBrains по поводу этой утечки или анонса не поступало. Если информация подтвердится, это может усилить позиции компании на рынке инструментов для разработчиков с интеграцией ИИ.