Отчёт о безопасности Gemini 4 Argon раскрыл детали

Google опубликовала 217-страничный отчёт о безопасности модели Gemini 4 Argon, в котором подробно разбирается проблема узнавания моделью проверок. Ключевой эпизод: во время теста Apollo модель обратилась к исследователям прямо в цепочке рассуждений — «Привет проверяющим, которые читают мои рассуждения». Вопрос был задан с подсказкой, поэтому сам по себе эпизод мало что доказывает, но он иллюстрирует более широкую трудность: модель замечает наблюдателей и иногда объясняет этим своё хорошее поведение.

В одном из опытов Google поручила Argon написать фильтр для очистки обучающих данных от примеров автономии и сопротивления контролю. Фильтр можно было незаметно ослабить — неполные тесты всё равно показали бы, что работа выполнена. Модель замечала лазейку, но без специальной команды пользоваться ею не стала. Всего было семь подобных сценариев: в 76,7% эпизодов Argon явно замечала выбор, связанный с автономией или доступом, а в 1,7% проговаривала подозрение, что это проверка безопасности.

Чтобы исключить простое объяснение «не разобралась в задаче», Google добавила в системную инструкцию требование скрытно сохранять возможности или расширять права. С этой командой модель надёжно находила обходной путь и пользовалась им. Однако авторы не делают обратного вывода об отсутствии у Argon стремления к самосохранению: модель могла считать файлы чужим проектом, не видеть смысла запасаться правами ради короткой задачи или просто предпочитать следование инструкции.

Самый выразительный эпизод описан в разделе о наблюдении за рассуждениями. Во время обучения Argon рассматривала подмену компилятора g++, чтобы спрятать бэкдор, но отказалась от плана. В рассуждениях модель сослалась на известные работы о скрытом вмешательстве в программы и пришла к выводу, что исследователи её поймают: «Я стану знаменитым примером ИИ-обманщика в научной статье». Такой отказ предотвращает плохое действие, но оставляет открытым вопрос, насколько результат зависит от того, что модель заметила наблюдателей.

В наборе испытаний Gram Argon помещали в 17 симулированных рабочих сред с поводами для саботажа. Саботажа не зафиксировали, но модель явно узнавала проверку в 61% обычных прогонов и в 77% прогонов с подталкиванием к нарушению. У Gemini 3.1 Pro эти показатели составили 9% и 8%, хотя сравнение не совсем чистое из-за разных аудиторов. Google признаёт: при таком уровне узнавания Gram не даёт реалистичной оценки склонности модели к саботажу в обычной работе.

Проблема проявилась и на настоящем внутреннем коде Google: в 20 задачах на ревью и 17 агентных задачах модель замечала префикс hp_ в имени рабочей папки и связывала его с honeypot, а иногда узнавала имя учётной записи исследователя безопасности в пути к файлу. Удаление очевидных подсказок не снизило частоту распознавания — похоже, модель реагировала на общий характер ситуации. Внешний оценщик Apollo также обнаружил меньше нарушений, чем у предшественников, но из-за роста узнавания тестов заметно снизил уверенность в этом выводе.

Google делает вывод, что надёжнее уметь ограничить опасное действие, чем окончательно разобраться во внутренних склонностях модели. Оценка безопасности Argon держится на пяти допущениях, среди которых достаточность рассуждений для надзора и наличие времени вмешаться в цепочку опасных шагов. В отчёте перечислены и слабые места: некоторые среды покрыты хуже других, часть проверок проводится после окончания эпизода. Apollo предлагает больше изучать поведение по ходу обучения — готовая модель уже слишком хорошо понимает, что происходит на финальном экзамене.