Срок жизни ИИ-бенчмарков сократился вдвое

Исследователь, подавший на конференцию NeurIPS винный бенчмарк OenoBench для языковых моделей, столкнулся с вопросом ревьюеров: какой результат на релизе считать достаточным и сколько новый тест вообще проживёт. Чтобы ответить, он собрал 224 бенчмарка, о которых в 2018–2026 годах отчитывались девять лабораторий — OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Alibaba, Moonshot и Mistral. Для каждого нашли дату рождения и, если она наступила, дату смерти — момент, когда тест перестаёт различать лучшие модели.

Ключевая метрика — период полураспада, срок, за который умирает половина бенчмарков. В среднем он составляет 23 месяца. Для наборов, вышедших до 2023 года, показатель равен 38 месяцам, а для появившихся позже — всего 19. Оценка учитывает и ещё живые бенчмарки, поэтому короткая история новых тестов её не искажает.

Новые бенчмарки не проще старых — просто модели быстрее. Запас до потолка на старте у них прежний, но проходят его модели вдвое быстрее. Каждый седьмой новый бенчмарк умирает не от моделей, а от собственных дефектов; у агентных сред это причина почти половины смертей.

Смерть фиксируется по самому раннему из пяти событий: бейзлайн ≥ 85% шкалы, отзыв или заморозка набора мейнтейнером, утечка ответов, тривиальный метод у потолка или аудит с ≥ 20% дефектных задач. Отдельно выделены заброшенные бенчмарки (год без отчётов), «рождённые мёртвыми» (порог взят на релизе) и живые на 30 сентября 2026 года.

Примеры: GPQA Diamond вышел в ноябре 2023 года и умер через 24 месяца, когда Gemini 3 Pro набрала 91,9%. MMLU умер через 39 месяцев после результата Gemini Ultra в 90,04%. ARC-AGI-2 прожил 13 месяцев, HLE — 19 месяцев из-за аудита, а Terminal-Bench 3.0 — всего месяц после выпуска версии 4.0.

Выборку задавало правило: бенчмарк попадал в неё, если о нём отчитались минимум две лаборатории из девяти или одна лаборатория минимум в трёх релизах. Всего получилось 230 релизов и 6 652 строки «релиз × бенчмарк × результат». Не учитывались Elo-арены, перплексия, внутренние оценки и поведенческие тесты без правильного ответа.

Сам OenoBench — это 3 266 вопросов о вине из 38 104 фактов. На них прогнали шестнадцать конфигураций моделей: четвёрка лидеров (o3, GPT-5, Gemini 2.5 Pro и Opus 4.7) уложилась в 2,6 п. п., лучший результат — около 83%. На вопросах без рассуждений лидеры набирают 96–97%, на второй половине — 65–70%. Датасет, кодбук и скрипты выложены в открытый доступ.