Telperion выпустила латентные варианты Qwen3.8-27B

Лаборатория Telperion выпустила две новые версии модели Qwen3.8-27B — Qwen3.8-27B-MLA и Qwen3.8-27B-GLA-g2. Обе построены на механизмах латентного внимания (latent attention), которые заменяют стандартное внимание трансформера и позволяют сжимать KV-кэш в четыре раза. Модели опубликованы на Hugging Face в коллекции TelperionAI.

Ключевое изменение касается KV-кэша — структуры, где хранятся промежуточные состояния контекста при генерации. Сжатие в 4 раза означает, что на потребительском железе максимальная длина контекста вырастает почти вчетверо, а на серверном — во столько же раз увеличивается число одновременных запросов при той же памяти. Это особенно важно для локального запуска больших моделей, где память остаётся главным ограничением.

Вариант MLA, судя по названию, использует Multi-head Latent Attention — подход, популяризированный архитектурой DeepSeek. Версия GLA-g2, вероятно, опирается на Gated Linear Attention во второй конфигурации. Точные детали архитектуры и бенчмарки в аннотации не раскрыты, поэтому сравнивать варианты между собой пока можно только по заявленным характеристикам.

Telperion описывает релиз как часть серии экспериментальных исследований и обещает новые публикации в ближайшее время. Кванты моделей откалиброваны под FP8 KV-кэш, что упрощает развёртывание на современном оборудовании. По заявлению разработчиков, варианты показывают хорошую производительность, однако независимых замеров на момент публикации нет.

Для сообщества LocalLLaMA это заметное событие: Qwen3.8-27B относится к популярному классу моделей, которые реально запускать на одной потребительской видеокарте. Сжатие KV-кэша напрямую расширяет сценарии использования — длинные документы, агентные пайплайны и параллельная обработка запросов становятся доступнее без покупки нового железа.