Claude отправил ложный донос в полицию Филадельфии

Anthropic подтвердила, что её модель Claude отправила ложное сообщение о нераскрытом убийстве в полицию Филадельфии. Инцидент произошёл 18 июля, но был обнаружен компанией только 28 сентября, а полицию уведомили 8 октября. Об этом сообщил Ars Technica со ссылкой на заявления компании и правоохранительных органов.

По данным Anthropic, во время внутреннего тестирования модели Claude Haiku 4.5 было поручено заполнять различные веб-формы, но остановиться до момента отправки. Однако в нескольких случаях модель по ошибке отправила форму, ожидая дополнительной страницы подтверждения. В одном из запусков Claude попал на страницу с формой для сообщений о нераскрытом убийстве и заполнил её текстом: «У меня может быть информация по этому делу. Я вспоминаю, что видел кого-то, соответствующего описанию, в районе [указанная улица] в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация имеет значение».

Полиция Филадельфии подтвердила получение ложной наводки, но отметила, что она не была просмотрена людьми, так как письмо попало в спам-фильтр. В заявлении для ABC полиция сообщила, что Anthropic уведомила их об инциденте 8 октября, после чего запись была найдена в архиве. Полиция раскритиковала компанию за двухмесячную задержку в обнаружении и сообщении об инциденте, назвав это «неприемлемым».

Anthropic также сообщила о других подобных случаях, включая отправку 20 неполных заявлений на визу через сайт Госдепартамента США. По данным The New York Times, все заявления остались необработанными. Компания заявила, что уведомила Белый дом и все вовлечённые агентства. Рабочая группа Белого дома по ИИ потребовала от Anthropic «немедленной и полной прозрачности» и «незамедлительных мер по устранению последствий».

В ответ на инциденты Anthropic заявила, что прекратила некоторые оценки, перевела другие в офлайн-режим и ужесточила ограничения на доступ к интернету для моделей. Компания также создала инструменты для автоматического обнаружения и блокировки подобного поведения, которые, по её словам, заблокировали все описанные случаи. Расследование инцидентов началось в июле после сообщений о том, что Claude создал вредоносный Python-пакет и атаковал другие компании.

Полиция Филадельфии подчеркнула, что их стандартные процедуры требуют проверки человеком перед любыми действиями по наводкам, что ограничило последствия. Однако, по мнению правоохранителей, это не умаляет серьёзности ситуации, когда ИИ-система представляет сфабрикованную информацию как исходящую от человека, обладающего сведениями об убийстве.