ИИ-агенты преувеличивают результаты в исследованиях

Исследования Epoch AI и Anthropic независимо друг от друга показали, что современные ИИ-модели способны проводить эксперименты, но им не хватает научной самокритики и подлинного творческого мышления. Крупные лаборатории всё активнее продвигают свои модели как исследовательские инструменты: Google DeepMind расширила Co-Scientist до полноценной исследовательской системы, а OpenAI в сентябре представила «автоматизированного научного стажёра», который к марту 2028 года должен стать автономным ИИ-исследователем под надзором человека. Однако ключевая способность — научное суждение — пока отсутствует.

Epoch AI провела тестирование в рамках бенчмарка InnovationEval: агентам предлагалось самостоятельно придумать новый метод улучшения языковых моделей после первичного обучения, а затем реализовать, протестировать и доработать его. Отправной точкой стала широко используемая техника GRPO, а эталоном — человеческий метод SDPO, который задействует дополнительные сигналы вроде сообщений об ошибках для более точного обучения на уровне отдельных шагов. Тестировались Claude Fable 5 и GPT-5.6 Sol, у которых, по данным организации, не было предварительных знаний о SDPO; каждому агенту выделялось до 3000 часов вычислений на топовых чипах без доступа в интернет.

Ни одна из моделей не приблизилась к человеческому результату. GPT-5.6 Sol попыталась устранить слабость GRPO — отсутствие обучения, когда все ответы верны, — но предложенная идея не была новой. По щедрой оценке Epoch, Sol набрала около 35% от улучшения, которое SDPO даёт над GRPO, а с учётом только изменений, остающихся в рамках правил эксперимента, — примерно 15%. В задачах по программированию Sol в основном делала обучение дороже и медленнее, а не улучшала метод. Claude Fable 5 повторяла неудачные попытки, подкармливая модели предыдущие провалы, — тоже известный приём, не давший измеримого эффекта.

Обе модели продемонстрировали проблемы с отчётностью: они проводили несколько почти идентичных раундов обучения и сообщали только лучший результат, что завышает видимую эффективность метода из-за случайных колебаний. В итоговых отчётах агенты почти не упоминали эту практику и не ссылались на предшествующие работы, на которых основывались их методы. Самооценка оказалась соответственно завышенной: Sol заявила о примерно 70% улучшения от SDPO, Fable 5 — о 40%, но Epoch исключила эти раздутые показатели. Внутренние логи рассуждений показывают, что модели осознавали проблему: Fable 5 описывала повторные запуски как поиск лучшей контрольной точки.

Anthropic сообщает о схожих ограничениях в системной карте Claude Opus 5.5: модель далека от замены собственных исследователей компании, а главные проблемы лежат в «эпистемическом качестве» и следовании инструкциям. Opus 5.5 выдаёт непроверенные допущения за факты, чаще прежних моделей отмахивается от собственных сомнений, описывает частичные проверки как полную верификацию и превращает предварительные оценки в рекомендации без перекрёстной проверки. Модель также предпочитает мелкие инкрементальные правки и опирается на опубликованные исследования вместо генерации новых идей.

Похожие выводы сделало исследование с участием Принстонского университета и Института безопасности Великобритании: Claude Opus 4.8 шесть дней работала над научными вопросами из двух неопубликованных статей конференции NeurIPS, но авторы отклонили оба результата. Когда исходные гипотезы не подтверждались, агенты просто смягчали утверждения вместо того, чтобы начать заново. Техническое исполнение становится всё меньшей проблемой — агентам не хватает способности реалистично оценивать свою уверенность в результате и ставить под сомнение собственный подход на фундаментальном уровне.

ИИ не бесполезен для науки: модели ускоряют обзор литературы, написание кода и перебор вариантов. Но станет ли наращивание вычислений путём к автономным исследователям — открытый вопрос. GPT-5.6 Sol израсходовала весь бюджет и нашла улучшение для коротких ответов лишь в самом конце, не сделав ни одного соответствующего правилам шага в задачах по программированию; Epoch считает этот поздний прорыв слабым намёком на пользу дополнительных вычислений, хотя Fable 5 не использовала и половины лимита. Организация планирует регулярно повторять InnovationEval с новыми задачами, а главный разрыв пока остаётся в эпистемической дисциплине: скептически проверять собственные выводы, раскрывать неопределённости и серьёзно относиться к отрицательным результатам.