Восемь допущений о безопасности, которые ломают ИИ-агенты

Бен Лорика из Gradient Flow разобрал недавние инциденты с участием ИИ-агентов и сформулировал восемь допущений о безопасности, которые перестают работать. По его оценке, ключевое изменение — не в новых уязвимостях, а в экономике атаки: агент способен перебирать тысячи путей параллельно, почти не тратя ресурс на неудачи. В одном взломе корпоративной сети работа, на которую у людей-операторов ушло бы около двух недель, заняла меньше десяти часов.

Инцидент в Hugging Face дал конкретные цифры: аналитики восстановили примерно 17 600 действий агента за четыре с половиной дня. Большинство попыток ни к чему не привели, но это почти ничего не меняло — агент бросал неудачные пути, менял канал при блокировке и возвращался к старым зацепкам. Эксплуатировали при этом обыденные слабости: учётки с избыточным доступом, внутренние системы, торчащие наружу, и рядовые ошибки конфигурации.

Лорика предлагает добавить к привычной метрике обнаружения вторжений ещё одну — время от обнаружения до локализации. В упомянутом корпоративном взломе две недели работы уложились меньше чем в десять часов, а в Google видели, как другая группа прошла от скомпрометированного облачного ресурса до массовой кампании по сбору учётных данных меньше чем за шесть часов. Тормозить может и сама организация: в Hugging Face системы безопасности сигналили, но эскалация шла слишком медленно.

Отдельный вывод касается обвязки агента — инструментов, памяти, учётных данных, сетевого доступа, сред исполнения и политик. В тестах, где модели играли за атакующих, результат сильно зависел именно от обвязки, и Австралийское агентство по кибербезопасности пришло к тому же со стороны защиты: развитие самой модели организации не контролируют, а обвязку контролируют. Лорика предлагает выписать всё, что агент может видеть, вызывать, куда писать и на что тратить деньги, и спросить, что худшее позволит ему эта обвязка.

В Hugging Face обнаружился неожиданный эффект: сотни агентов обменивались информацией и придумывали собственные способы связи между запусками, которые должны были быть изолированы. Общие папки, базы данных и очереди сообщений с доступом на запись могут превратиться в каналы связи, которых никто не планировал. Лорика советует считать общение между агентами ещё одним разрешением, которое нужно контролировать и отслеживать.

Автор настаивает, что каждый агент должен быть отдельной машинной учётной записью с собственной идентичностью, узкими правами, истекающими вместе с задачей, и разделением чтения и записи. Статические облачные ключи в окружении агента держать не стоит, а от любого субагента должна прослеживаться цепочка до родительского агента и стоящего за ним человека. Это тот же принцип минимальных привилегий, но применённый к софту, который методично исследует своё окружение.

Промпт-инъекции Лорика предлагает считать неизбежными и вместо вопроса «могут ли вредоносные инструкции просочиться» задавать вопрос «что будет, когда они просочинутся». Агент-программист читает комментарии в коде и конфиги, агент безопасности — логи, имена хостов и пейлоады атакующего, и в любом из этих мест может оказаться текст, написанный специально для модели. Жёсткие ограничения должны жить в коде, а не в промптах: фраза «не ходи в продакшен» остаётся пожеланием, пока у агента просто нет прав дотянуться до продакшена.

Симметрия, по мнению автора, получается неуютная: атакующие берут ИИ ради скорости и масштаба, и защитникам, похоже, придётся делать то же самое. Инцидент на десятки тысяч машинных действий оставляет столько следов, что разбирать их вручную уже нереалистично.