Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке

Локальная модель Qwen3.8 27B обошла GPT-5.6 Luna Max в бенчмарке DABstep, предназначенном для оценки агентных SQL-запросов. Для запуска 4-битной версии хватило MacBook Air на чипе M5 с 32 ГБ памяти, а 3-битная версия работала даже на MacBook Pro с M1 Pro и 16 ГБ. Стоимость запросов оказалась почти нулевой — только электричество, в то время как облачный запуск GPT-5.6 обошёлся более чем в $8, то есть разница в цене превысила 17 раз.

В тестировании также участвовали Gemini-3-Flash, Sonnet 5 и Kimi K3. Gemini-3-Flash показала наивысшую точность, но её стоимость в 2,3 раза выше, чем у Luna. Sonnet 5 продемонстрировала худшую точность при более высокой цене, а Kimi K3, хотя и является открытой моделью, стоит дорого. Qwen3.8 27B в локальном режиме показала точность 98,6% для 4-битной версии и 96,4% для 3-битной, что немного ниже, но всё же конкурентоспособно.

Скорость генерации на MacBook Air M5 составила около 5–7 токенов в секунду, на более старом MacBook Pro M1 Pro — примерно 5 токенов в секунду. Это означает, что ответ на запрос может занимать несколько минут, что является компромиссом за бесплатность и локальность. Потребление энергии MacBook Air — всего 30 Вт, что сравнимо с обычной лампочкой, тогда как MacBook Pro потребляет около 100 Вт.

Для настройки локального SQL-агента автор использовал связку Qwen с DuckDB и обвязку агента через OpenRouter. Рекомендуется скачать квантованную версию модели (4-битную для 32 ГБ памяти, 3-битную для 16 ГБ), запустить сервер в LM Studio с OpenAI-совместимым эндпоинтом и подключить агентскую обвязку, например OpenCode. При необходимости можно масштабировать обработку запросов в MotherDuck, изменив одну настройку.

Помимо SQL, такие локальные модели полезны для фоновых исследовательских задач, написания скриптов и автоматизации. Поскольку стоимость запросов практически нулевая, их можно запускать даже при небольшой вероятности полезного результата. Автор отмечает, что при наличии достаточно мощного ноутбука ежедневная экономия на токенах может достигать более $100 в месяц при затратах на электричество в несколько центов.

Однако есть и ограничения: локальный запуск требует не менее 16 ГБ унифицированной памяти или дискретной видеокарты с 16 ГБ видеопамяти, а для комфортной работы лучше иметь 32 ГБ. Кроме того, скорость генерации на порядок ниже, чем у облачных моделей, что может быть критично для интерактивных задач. Тем не менее, для пакетной обработки и фоновых вычислений такой подход становится всё более привлекательным.

В целом, успех Qwen3.8 27B демонстрирует быстрый прогресс открытых моделей, которые всё чаще догоняют проприетарные аналоги по качеству, предлагая при этом значительную экономию и независимость от облачных провайдеров. Это меняет подход к работе с данными, позволяя запускать сложные агентные сценарии локально и без риска получить огромный счёт за ночь.