Basalt ускоряет инференс Qwen 3.8 на Blackwell

В сообществе LocalLLaMA на Reddit появился анонс проекта Basalt — нового inference-движка, ориентированного на ускорители Nvidia архитектуры Blackwell. Автор поста заявляет, что движок обеспечивает быстрый вывод для модели Qwen 3.8 Flash Next. Подробности реализации и замеры производительности в доступном фрагменте не раскрываются.

Отдельно в заголовке упоминается, что поддержка обработки изображений (vision) была получена «бесплатно». Это указывает на то, что мультимодальные возможности достались движку без дополнительных оптимизаций или переработки архитектуры — вероятно, как побочный эффект уже заложенных в модель механизмов. Конкретный технический механизм в аннотации не описан.

Название Qwen 3.8 Flash Next не соответствует публично известным линейкам моделей Alibaba — там фигурируют Qwen2.5, Qwen3 и варианты Flash. Возможно, речь идёт о внутренней или экспериментальной сборке, либо о неточности в названии. Это стоит учитывать при оценке практической применимости движка.

Basalt позиционируется именно под Blackwell — новейшее поколение GPU Nvidia, которое пока ограниченно доступно в дата-центрах. Это сужает круг потенциальных пользователей до тех, у кого уже есть такое железо, и объясняет интерес аудитории LocalLLaMA к подобным проектам.

Появление кастомных inference-движков под конкретные архитектуры GPU — устойчивый тренд: сообщество стремится выжать больше токенов в секунду и снизить задержки там, где стандартные решения вроде vLLM или llama.cpp не оптимальны. Однако без опубликованных бенчмарков и кода оценить реальный выигрыш Basalt невозможно.

Пока материал ограничивается анонсом: нет данных о лицензии, поддержке квантизации, требованиях к памяти и совместимости с другими моделями. Дальнейшее развитие проекта будет зависеть от того, выложит ли автор код и воспроизводимые замеры.