Cloudflare выпустила мультимодальную модель Clef-omni

Cloudflare выпустила Clef-omni — открытую мультимодальную модель принятия решений, которая оценивает текст, изображения, аудио и видео за один вызов. Модель вышла 9 октября 2026 года, через восемь дней после запуска базовых Clef и Clef-flash, и распространяется под лицензией Apache-2.0. В основе лежит Qwen3-Omni-30B-A3B-Instruct, при этом Cloudflare сохранила понимающую часть архитектуры и убрала выходной тракт синтеза речи.

Clef-omni относится к классу decision-моделей: вместо генерации текста она возвращает типизированные ответы с вероятностями. Разработчик передаёт состояние и схему вопросов, а модель выдаёт вероятность для каждого допустимого варианта. Поддерживаются три типа вопросов — noul (истина или ложь), choice и score; формат API повторяет решения Jev и SystemOne от TypeSafe AI.

Технически модель выполняет один префилл-проход по всему входному пакету: видеокадры и аудио синхронизируются в единую последовательность для совместной обработки. Небольшая совместная схема-голова затем оценивает варианты — каждый собирает свидетельства из входа, а векторы полей перекрёстно взаимодействуют по всему контексту для расчёта уверенности. Backbone Qwen3 заморожен, обучены только LoRA-адаптеры; функция потерь сочетает сглаженную кросс-энтропию с калибровкой по Brier score.

По данным Cloudflare, медианная задержка текстовых решений составляет около 130 мс, изображений — около 150 мс, а 21-секундное видео со звуком оценивается примерно за 1,5 секунды. Цена указана на уровне $0,15 за миллион входных токенов, тогда как Clef-flash обходится в $0,038. Для разработчиков это убирает отдельные этапы транскрибации и подписывания, которые обычно нужны мультимодальным агентным пайплайнам.

В сравнении на собственном Decision Index модель лидирует в классификации намерений: 94,8 macro-F1 на BANKING77 и 97,7 на CLINC150+OOS, а также показывает лучший результат на Amazon ESCI — 57,8. Однако в других задачах она уступает: точность на кейсах бытовой техники составляет 69,3 против 97,73 у Clef-flash, а When2Call — 63,3 против 80,97 у Jev. На workflow-тестах TypeSafe Clef-omni проигрывает Clef по всем пяти заявленным метрикам.

Cloudflare также перевела хостинговый Clef на SGLang и оптимизировала стек обслуживания, не выпуская новых весов. Медианная задержка снизилась с 262 до 152 мс при примерно 800 токенах (ускорение в 1,7 раза), с 616 до 305 мс при 3 400 токенах (в 2 раза) и с 2 721 до 1 635 мс при 16 000 токенах. Поддержка Clef появилась в SGLang 0.5.22.

Все приведённые бенчмарки взяты из анонса Cloudflare и независимой проверки не проходили. Это ограничивает сопоставление с конкурентами, особенно с учётом расхождения результатов по разным типам задач. Тем не менее выход открытой мультимодальной decision-модели расширяет набор инструментов для агентных систем, где важны скорость, цена и структурированный вывод.