vLLM Semantic Router выпустил Decision 3.0

Команда vLLM Semantic Router выпустила Decision 3.0 — семейство мультимодальных решающих моделей, которые читают текст, JSON и изображения, а затем отвечают на типизированные вопросы о них. Все пять моделей распространяются под лицензией Apache-2.0, их размеры варьируются от 0,8 до 27 млрд параметров. Для разработчиков это быстрый способ классифицировать, маршрутизировать и фильтровать запросы без разбора сгенерированного текста.

В отличие от обычных LLM, Decision 3.0 возвращает не текст, а вероятности. На вход подаётся состояние (текст или JSON), опциональные изображения и именованные вопросы — каждый из них относится к типу Choice, Yes/No или Score по шкале. Модель отвечает на все вопросы за один вызов и выдаёт вероятность для каждого варианта. Это реализация паттерна «система один» для роутеров и guardrails: вместо промптинга и парсинга ответа разработчик получает калиброванные оценки, к которым можно применить порог.

Каждая модель — это файнтюн на базе Qwen. Флагманская 27B d3 построена на Qwen3.8-27B, а четыре меньшие — на чекпоинтах Qwen3.5 размером 0,8B, 2B, 4B и 9B. Все размеры оснащены визуальным энкодером: 0,10B в d3-lite, 0,33B в d3-nano и d3-mini, 0,46B в d3-flash и d3. Запросы принимают несколько изображений в форматах PNG, JPEG или WebP, каждое читается с разрешением до 1,6 мегапикселя, и каждый вопрос видит все изображения.

По данным карточки модели, команда использует Jev Decision Index 0.3.1 — публичный рейтинг открытых воспроизведений решающей системы TypeSafe Jev. На текстовых задачах d3 набирает 64,1 балла, опережая Perplexity Decider v1.1 (62,8) и Jev (60,1), хотя Torchcast Decision 27B показывает чуть более высокий результат в публичном наборе (65,1 против 64,9). На визуальном рейтинге d3 получает 71,6 против 70,6 у Perplexity Decider v1.1.

Наиболее сильная сторона — эффективность по размеру: d3-flash (9B) набирает 59,0 балла, обходя 27B-версию Decision 2.0 с её 55,9. В публичном наборе прирост относительно Decision 2.0 составляет от +8,0 (27B) до +15,1 (0,8B). На публичных визуальных задачах d3 показывает 97,3 на InfographicVQA и 89,9 на Mind2Web (оба набора — приблизительные реконструкции), но слабее на MMMU-Pro vision (46,2) и модерации Hateful Memes (44,6).

Для установки требуются transformers==5.17.0 и опциональный пакет flash-linear-attention для ускорения линейных слоёв внимания; загрузка моделей выполняется с trust_remote_code=True. Каждый вопрос обрабатывается отдельным прямым проходом по входным данным. Медианные задержки в карточках моделей указаны для одного запроса за раз на одном ускорителе AMD Instinct MI325X.

Модели, карточка d3 и репозиторий vLLM Semantic Router на GitHub доступны публично. Релиз продолжает линию открытых решающих моделей, предлагая альтернативу генеративным подходам для задач маршрутизации и контроля. Для индустрии это ещё один шаг к специализированным компактным моделям, которые решают конкретные задачи дешевле и предсказуемее универсальных LLM.