Google: самоулучшающийся ИИ пока недостижим

Инженер Google Хейдн Белфилд заявил, что самоулучшающийся ИИ пока далёк от реальности, несмотря на активную автоматизацию в разработке. По его словам, в Google DeepMind не наблюдается измеримого ускорения исследований ИИ, вызванного самим ИИ. При этом автоматизация уже заметна: более 75% производственного кода пишет ИИ, но около 88% изменений по-прежнему требуют проверки человеком, и каждое изменение просматривается перед отправкой.

Доля изменений кода, полностью переданных ИИ, выросла с 7,5% до 11,9%. Однако чем сложнее и длительнее задача, тем реже ИИ справляется с ней самостоятельно. На 1389 внутренних запусках агента Argon успешность без участия человека резко падала с ростом сложности. Люди остаются незаменимы для творческих исследований, разработки новых экспериментов, диагностики тонких сбоев обучения и долгосрочного планирования, отметил Белфилд.

Опрос двенадцати старших исследователей DeepMind подтвердил эту закономерность: автоматизация наиболее высока для чётко определённых и проверяемых задач и минимальна для открытой научной генерации идей. На внутреннем бенчмарке RE-Bench, включающем 74 реалистичные задачи по ML-инженерии, Argon решает примерно половину. Это значительный рост по сравнению с 27% у Gemini 3.7 Flash, но всё ещё далеко от почти идеальной производительности, необходимой для полной автоматизации.

Для систематического отслеживания прогресса команда создала General Capability Index (GCI), охватывающий 123 модели и 92 бенчмарка. Возможности моделей Gemini растут устойчивыми темпами — около 0,1 балла GCI в месяц, без значительного изменения скорости. То, что Gemini 4 Argon находится чуть выше тренда, команда объясняет большими вычислительными ресурсами и организационными инвестициями, а не ускорением за счёт ИИ.

Сейчас команда оценивает риск от автоматизации исследований с помощью ИИ как низкий, но строит инфраструктуру для измерения признаков ускорения в будущем. Выводы Белфилда согласуются с недавними исследованиями, однако в отрасли есть и несогласные. Более 20 исследователей ИИ, включая Джеффри Хинтона, Йошуа Бенжио и Якуба Пачоцкого из OpenAI, предупредили о возможном «взрыве интеллекта» в научной работе. Они утверждают, что ИИ-системы могут автоматизировать все исследования и разработки в области ИИ за несколько лет, сжав годы прогресса до месяцев.