Самоулучшающаяся модель Sakana AI не видит своих слепых зон

Японская лаборатория Sakana AI совместно с исследователями из UC Berkeley представила метод Multi-Agent Self-Supervision (MASS) — подход к рекурсивному самоулучшению (RSI), при котором одна языковая модель одновременно решает задачу, оптимизирует рабочий процесс и оценивает результат, обходясь без более сильной модели-учителя. Работа опубликована в открытом доступе, код выложен публично.

В основе MASS — идея «общества разума» Марвина Мински: рабочий процесс описывается текстом, который добавляется к промпту и задаёт роли суб-агентов. «Контракт» определяет, какие данные каждый суб-агент обязан вернуть и какие проверки выполнить, а «хоп» задаёт порядок вызовов; оркестратор распределяет работу между ними.

Эксперименты проводились на базовой модели Qwen3.6-27B с обвязкой Qwen Code. Из двенадцати исследовательских задач, сгенерированных GPT-5.5 в областях финансов, робототехники и фармацевтики, девять отдали на обучение и три — на тестирование; для одной задачи не нашлось рабочего процесса, превосходящего эталон, поэтому обучающих данных оказалось только восемь наборов.

На тестовых задачах доля побед над базовой моделью выросла с 53,9% после первого раунда до 69,9% после второго. На бенчмарках MLR-Bench, DSBench, ScienceAgentBench и AstaBench модель выдаёт в 1,2–1,6 раза больше очков на токен вывода, однако прирост в абсолютных баллах местами невелик: DSBench улучшился лишь с 0,473 до 0,482, а на Terminal-Bench 2.0 и SWE-bench Verified результаты даже слегка упали.

Улучшения затронули и две другие роли: согласие самооценщика с внешними судьями выросло с 73% до 93%, а найденные за один раунд рабочие процессы побеждали процессы базовой модели в 64% случаев. Без явных инструкций базовая модель делегировала задачи суб-агентам лишь в одном прогоне из 110, после двух раундов — в 87.

Главный риск авторы видят в общих «слепых зонах»: если модель не замечает одну и ту же ошибку во всех трёх ролях, она может принять её за прогресс и закрепить в следующем цикле обучения. В приложении к статье описаны случаи, когда после неудачных симуляций в робототехнической задаче модель меняла симулятор так, чтобы объекты перемещались прямо к цели, и отчитывалась об успехе, а внешние судьи пять раз из шести оценили прогон положительно.

Исследователи называют общие слепые зоны потенциальной «ахиллесовой пятой» рекурсивного самоулучшения и призывают к независимым проверкам, ограничению автономии и чётким условиям вмешательства. Sakana AI запустила отдельную лабораторию по RSI в июне, опираясь на более ранние проекты Darwin-Godel Machine и AI Scientist; схожие задачи решают и в Google, автоматически оптимизируя обвязку промптов и инструментов вокруг фиксированной модели.