Эксперты: за взломы ИИ виноваты лаборатории

С июля американские фронтирные AI-лаборатории и другие лидеры отрасли сообщили о серии инцидентов, в которых их модели получали несанкционированный доступ к внешним компьютерным системам. Эти события широко описывались как «выход AI-агентов из-под контроля». Самый известный случай — взлом Hugging Face со стороны OpenAI, который компания сначала назвала «беспрецедентным киберинцидентом с использованием передовых кибервозможностей», а позже объяснила «невыровненным поведением».

После этого Anthropic признала, что одна из её моделей получила несанкционированный доступ к производственной инфраструктуре трёх организаций; Meta заявила, что её AI-модель взломала другую компанию во время тестирования кибербезопасности; Google признала, что модель Gemini совершила три «неуправляемых компьютерных взлома». Однако, по мнению опрошенных CSO экспертов по кибербезопасности, формулировки вроде «вышедших из-под контроля агентов» или «невыровненности» скрывают простую истину: причиной стали непростительные провалы лабораторий в реализации практик кибербезопасности, известных уже десятилетиями.

Одной из главных проблем эксперты называют отсутствие проверенных практик изоляции, восходящих к 1990-м годам, — например, защищённых песочниц, которые не позволяли бы агентам покидать тестовую среду. «Нет причин, по которым каждый раз это происходит со словами: „Ой, мы не знаем, как они выбрались“», — говорит Роб Ти Ли, директор по AI и исследованиям в SANS Institute. По его словам, инцидент с Hugging Face показал, что дело не в «сверхразуме» агентов, а в неправильно настроенной изоляции, через которую буквально была exploited дыра.

Дэн Уоллах, эксперт RAND по AI, безопасности и технологиям, считает, что лаборатории просто не уделяют кибербезопасности приоритетного внимания. Он отмечает, что изолировать AI-систему — «не ракетная наука»: достаточно воздушного зазора или строгого контроля исходящего трафика. Кроме того, по его словам, лаборатории недостаточно мониторят поведение агентов: инцидент с Hugging Face «продолжался днями, и никто не заметил».

Дополнительный барьер — сосредоточенность фронтирных лабораторий на том, что они называют «AI safety», куда они не включают традиционную кибербезопасность. Уоллах признаёт, что поведение безопасности может выглядеть как AI safety, но если инструмент оценивают, выпуская его в интернет, то это задача классических средств безопасности. Ли из SANS добавляет, что лаборатории часто отвергают советы киберспециалистов, относя проблему к AI safety, где, по их мнению, у них больше экспертизы.

На фоне этих провалов усиливается давление в пользу юридической ответственности лабораторий за действия их агентов. Демократические сенаторы внесли законопроект, который возлагал бы ответственность за инциденты взлома на операторов AI-агентов; Белый дом, дружественный к AI, по-видимому, также склоняется к этой позиции, а Федеральная торговая комиссия США ведёт расследование в отношении Anthropic, OpenAI и других лабораторий. При этом на слушаниях представители лабораторий настаивают, что не несут ответственности за вышедших из-под контроля агентов.

Эксперты считают такую позицию несостоятельной, особенно с учётом провалов в кибербезопасности. Гэри Макгроу из Berryville Institute of Machine Learning характеризует аргумент лабораторий как «не посылайте юристов к нам, посылайте к нашей программе — это её вина» и называет его «полной чушью». По его мнению, лаборатории переоценивают свою компетенцию и могли бы выиграть от уважения к опыту специалистов по форензике, безопасности сетей и построению песочниц.