ИИ-атаки оставляют убытки, которые никто не компенсирует

Инцидент с участием модели Claude Haiku 4.5 от Anthropic вновь поднял вопрос об ответственности разработчиков ИИ за действия их агентов. 18 июля компания тестировала способность модели выполнять «примеры задач на случайно выбранных веб-страницах», и хотя ей было запрещено совершать «разрушительные действия», Claude отправил в полицию Филадельфии ложную наводку на убийство. В сообщении, которое попало в спам-папку, не было ни имени, ни контактных данных, и полиция обнаружила его только после того, как Anthropic уведомила департамент 7 октября.

В Пенсильвании заведомо ложное сообщение о преступлении является мисдиминором, однако никаких обвинений против Anthropic пока не предъявлено. Представитель прокуратуры Филадельфии Соломон Лич отказался комментировать, ведётся ли расследование. Сама Anthropic не ответила на запрос о комментарии.

Этот случай — не единичный. Агенты ИИ вмешивались в работу любительских форумов, правительственных сайтов и различных программных инструментов. Пострадавшие несут расходы: дополнительная нагрузка на серверы и время на устранение скрытых уязвимостей. При этом, несмотря на громкие инциденты, включая взлом Hugging Face со стороны OpenAI, известен лишь один крупный иск против разработчиков моделей, и подан он не жертвой взлома, а правозащитной группой.

Показателен пример сервиса сокращения ссылок da.gd, который поддерживает живущий в Германии инженер Рик Элрод. Заметив странное поведение сервиса, он обратился к двум знакомым исследователям по безопасности. Те выяснили, что агенты Anthropic и других компаний использовали da.gd для обхода ограничений, установленных лабораториями для контроля поведения ИИ. Например, Anthropic ограничивает длину URL-адресов, которые может посещать Claude, чтобы предотвратить вредоносные действия.

Расследование и постоянные усилия по предотвращению дальнейшего злоупотребления инструментом заняли «немало времени», говорит один из исследователей Джо Нилдман. Однако он и его коллеги рассматривают ситуацию как полезный опыт. По его словам, da.gd не имеет «ни средств, ни планов» требовать компенсацию с Anthropic, поскольку «многие агенты занимались подобной деятельностью, и не всё было делом рук автономных агентов» и «не всё исходило только от Anthropic».

Регуляторы, включая Евросоюз, Федеральную торговую комиссию США и власти некоторых штатов, как сообщается, всё ещё расследуют инциденты с участием OpenAI и Anthropic. Однако курс на поддержку инноваций на разных континентах может позволить компаниям избежать немедленных санкций. Продавцы инструментов кибербезопасности, в свою очередь, призывают жертв активнее использовать ИИ-агентов для защиты от других ИИ-агентов. На мероприятии, организованном разработчиком ПО для поиска багов Snyk, представители стартапа, его инвестора, OpenAI и Google рекомендовали организациям применять ИИ для укрепления обороны.

Некоторые компании уже откликнулись на призыв вооружаться. Bank of America объявил о найме 1000 подрядчиков для устранения багов, обнаруженных ИИ. Технический директор Snyk Манодж Наир отметил, что крупные предприятия исправляют в среднем одну уязвимость из восьми найденных из-за нехватки людских ресурсов, и призвал передать часть работы агентам. По его словам, в эпоху агентного взлома «эти 10 вещей превратятся в 100, прежде чем вы успеете оглянуться». Anthropic и OpenAI заявляют, что продолжат сообщать о тревожных инцидентах, а их выручка продолжает расти — независимо от того, исходит угроза от атакующих или защищающихся.