GPT-6-Astra решила 49 из 50 задач по физике

Группа из 35 исследователей из ICTS, Гарвардского университета, KU Leuven и Google DeepMind представила бенчмарк TheoPhysEval — набор из 50 неопубликованных задач по теоретической физике с проверяемыми ответами. По оценке авторов, ведущему специалисту в соответствующей подобласти потребовался бы примерно день или меньше на типовую задачу без помощи ИИ. Задачи охватывают одиннадцать разделов теоретической физики — от гидродинамики и биологических процессов до физики элементарных частиц и космологии.

Лучший результат показал агент GPT-6-Astra, работавший в среде Codex от OpenAI: он верно решил 49 из 50 задач (98%) при средней стоимости менее 3 долларов за задачу и чуть менее 116 долларов за весь бенчмарк. Второе место занял Opus 5.5 от Anthropic в среде Claude Code с 92%, Gemini 3.8 Flash от Google набрал 68%, а открытые модели DeepSeek-V4.1-Flash и GLM 5.3 — 54% и 42% соответственно. Каждый агент проходил тест дважды: с доступом к веб-поиску и в изоляции без интернета.

Доступ к сети почти не повлиял на результаты: без веб-поиска Astra и Opus набрали по 92%. Многие задачи опираются на формулы из научных статей, которые модели обычно не получали, — авторы считают это признаком того, что ведущие языковые модели фактически запомнили значительную часть литературы по теоретической физике. Слабые модели иногда допускали ошибки, которые эксперт заметил бы сразу: в задаче о чёрных дырах Gemini и GLM скопировали формулы из старой статьи без изменений, хотя те применимы к пяти измерениям, а не к четырём.

Задачи намеренно не включают крупные открытые вопросы и сосредоточены на так называемых рутинных расчётах, где известные методы применяются к слегка изменённому вопросу. Часто авторы меняли несколько значений в вычислениях из своих недавних работ, чтобы новый результат нельзя было угадать. По словам исследователей, такие задачи обычно дают аспирантам как первый шаг в науку.

В ряде случаев последующие уточнения с экспертами выявили мелкие трудноуловимые ошибки в их эталонных решениях — после исправления ответ Astra оказывался верным каждый раз. Единственная задача, не поддавшаяся ни одной модели, требовала уравнения, порождающего заданную кривую; решение экспертов опирается на особые математические формы, которые считаются искомым дифференциальным уравнением лишь в широком смысле. Авторы признают, что задача может показаться несправедливой, но считают её реалистичной.

Несмотря на результат, авторы отмечают отсутствие у агентов «вкуса» — чувства того, какая задача интересна и перспективна. Конкретный расчёт с проверяемым ответом стоит в конце исследовательского процесса: сначала нужно построить теорию и задать ей правильные вопросы, а при слишком сложной задаче хороший учёный переключается на смежную, более простую и столь же интересную. Нынешние агенты этого не умеют, и при попытке придумать новые задачи они увязают в деталях, которые человеку показались бы скучными.

Авторы уже видят последствия для обучения: часть задач бенчмарка ещё недавно годилась как первый исследовательский проект для начинающих учёных, но теперь это неуместно. Они указывают и на структурную проблему — теоретическая физика исторически требует куда меньше денег, чем экспериментальная, что поддерживало относительное равенство возможностей. Пока решение задач дёшево, но для более сложных проблем затраты, по ожиданиям авторов, резко вырастут, и бюджет группы может начать определять её достижения. Исследователи призывают к обсуждению доступа и равных возможностей в области, ссылаясь на аналогичные дебаты в математике вокруг Лейденской декларации.