llama.cpp добавила поддержку моделей Nemotron

В репозитории ggml-org/llama.cpp появился пул-реквест №30520, который добавляет поддержку двух новых моделей семейства Nemotron: Nemotron Super 3.5 VL и Nemotron Bolt 74B A9B. Автором изменений указан пользователь frozenblade1224. Публикация привлекла внимание сообщества LocalLLaMA на Reddit.

llama.cpp — открытый проект инференс-движка для больших языковых моделей, поддерживающий запуск на потребительском железе через форматы GGUF и бэкенды вроде CUDA, Metal и Vulkan. Добавление новых архитектур в него означает, что модели можно будет запускать локально без привязки к проприетарным API.

Название Nemotron Super 3.5 VL указывает на мультимодальность: суффикс VL обычно обозначает поддержку зрения (vision-language), то есть обработку изображений вместе с текстом. Обозначение 74B A9B у Nemotron Bolt, вероятно, описывает разреженную архитектуру MoE: 74 млрд параметров всего при примерно 9 млрд активных на токен.

Обе модели связаны с NVIDIA — Nemotron является её открытым семейством моделей, которое компания выкладывает для исследователей и разработчиков. Точные характеристики, лицензия и дата релиза в доступном тексте не раскрываются.

Если пул-реквест будет принят, поддержка появится в основной ветке llama.cpp, а значит — в десктопных и серверных сборках, построенных на этом движке. Для локального сообщества это расширяет набор доступных мультимодальных и MoE-моделей.

Пока рано говорить о сроках слияния: пул-реквесты в llama.cpp проходят ревью и тестирование, а часть из них отклоняется или дорабатывается месяцами. Следить за статусом можно на GitHub в обсуждении PR #30520.