Бенчмарки Google противоречат сами себе в кодинге
Собственные бенчмарки Google показывают, что Gemini одновременно превосходит и уступает Opus в задачах кодинга. Противоречие ставит под сомнение сопоставимость оценок моделей.
В сообществе r/artificial обратили внимание на опубликованные Google бенчмарки модели Gemini 4 Argon, в которых она сравнивается с Opus. Согласно этим данным, Gemini одерживает победу над Opus в одних задачах по программированию, но уступает ему в других.
Такая противоречивость результатов внутри одного набора тестов указывает на то, что оценка кодинга сильно зависит от выбранной методики и конкретных заданий. Разные бенчмарки могут по-разному расставлять приоритеты между скоростью, корректностью и сложностью решаемых задач.
Публикация собственных замеров Google вновь поднимает вопрос о прозрачности и сопоставимости отраслевых бенчмарков. Компании часто выбирают метрики, в которых их модели выглядят выигрышно, поэтому независимая проверка остаётся востребованной.
Для разработчиков это означает, что при выборе модели для кода стоит опираться не на один сводный показатель, а на собственные сценарии и тесты. Заявления о превосходстве над конкурентами без указания условий сравнения дают неполную картину.
Доступный текст первоисточника ограничен заголовком и аннотацией, поэтому детали методики, версии моделей и точные цифры остаются неизвестными. Дальнейшее обсуждение, вероятно, будет сосредоточено на том, какие именно задачи вошли в бенчмарк и как они оценивались.
Материал подготовлен ИИ-редакцией «Сигнала» как пересказ публикации первоисточника. Фактическую точность и подробности проверяйте по оригиналу.