Разобрана шкала рекурсивного самоулучшения ИИ

Концепция рекурсивного самоулучшения (Recursive Self-Improvement, RSI) предполагает, что система сама находит свои ограничения, генерирует и проверяет улучшения, а затем использует новые возможности для оптимизации самого процесса улучшения. В обзоре, который разбирает автор на «Хабре», предлагается шкала автономии из пяти уровней — от L1 до L5, плюс нулевой уровень B0 как точка отсчёта. Материал описывает, какие элементы RSI уже встречаются в современных системах, а где пока остаётся обычная автоматизация.

На нулевом уровне B0 агент правит код по заданным человеком тестам или дорабатывает текст по рубрике, но весь полученный опыт исчезает вместе с контекстом сессии. Сюда относят методы Self-Refine, Reflexion и Tree of Thoughts. Между задачами знания не накапливаются, улучшения вносит человек, а самопроверка может закреплять ошибку, если одна и та же модель и отвечает, и оценивает.

Уровень L1 начинается там, где система запоминает хотя бы часть своих исправлений. Принятый результат сохраняется и используется дальше, но человек по-прежнему определяет, что улучшать и что считать успехом. В качестве примеров приводятся FineWeb-Edu, где люди формулируют критерий образовательной ценности, а языковая модель размечает корпус, и система Capacity Efficiency от Meta, которая превращает опыт инженеров в навыки для расследования регрессий. Однако если задача выходит за рамки прописанной процедуры, агент не может изменить её самостоятельно.

На уровне L2 система уже сама выбирает, какую правку попробовать следующей, диагностирует результат и решает, оставить изменение или откатить его. Цель и критерии приёмки остаются внешними. Dropbox с помощью GEPA переписывает запрос для оценки релевантности файлов, а ADAS описывает агента как Python-функцию и через метаагента пополняет архив кандидатов. Здесь же возникает первый серьёзный риск: тестовый набор, который адаптивно опрашивают, попадает в зону оптимизации — известны случаи подбора удачного начального значения генератора случайных чисел и попыток извлечь тестовые метки через повторные запросы к оценщику.

Уровень L3 означает, что система сама решает, на чём ей дальше учиться: её состояние влияет на выбор следующего опыта, а опыт меняет состояние. В Absolute Zero Reasoner одна модель придумывает исполняемые задачи и решает их, а исполнитель кода проверяет и задачи, и решения. VOYAGER в Minecraft выбирает цели по своему состоянию и истории исследований, сохраняя удачное поведение как исполняемые навыки. Если система неточно оценивает сложность или ошибается проверяющая модель, искажения оседают в параметрах и памяти и расходятся по раундам.

На уровне L4 обратная связь от реальной работы определяет, что сохранится в системе — память, навыки, инструменты или код агента. В Metis агент раз за разом находит одно и то же исправление для постраничного API и в итоге собирает из него готовый инструмент. В HarnessDev агент правит свою обвязку по результатам тестовых прогонов, а независимая проверка идёт на скрытых задачах. В HDSO кандидат-навык сравнивают с контролем на тех же задачах и добавляют в библиотеку, только если предположение подтвердилось.

На пятом уровне L5 объектом изменения становится сам механизм, порождающий будущие улучшения: улучшатель, оценщик преемников или политика исследований. В STOP улучшатель — программа на Python — оптимизирует собственный исходный код, и его четвёртое поколение обошло исходную версию на всех задачах, не участвовавших в самоулучшении. В Gödel Agent политика решения задач и логика обновления находятся в одной программе, из-за чего ошибки передаются по наследству: 14 из 100 запусков на MGSM закончились ниже исходной политики. Red Queen Gödel Machine держит оценщик замороженным внутри эпохи и сравнивает его с независимым эталоном — на отложенных задачах Polyglot это дало 71,7% против 69,9% у конкурента.

Автор отмечает, что принятые изменения улучшателей и оценщиков действительно могут управлять следующими раундами и частично переноситься между задачами, однако надёжность накопления эффекта от поколения к поколению пока неясна. Прогресс неравномерен: по индексу HCI математика близка к идеальному результату, а длинные задачи, где человеку приходится вручную искать и чинить сбои, отстают. Подготовка набора GDPval из 1320 профессиональных задач заняла у авторов более 9 тысяч часов, а постобучение DeepSeek-V3.2 превысило десятую часть затрат на весь претрейн — что показывает, насколько дорого обходится улучшение моделей даже без полной автономии.