Anthropic предупредила о самовоспроизводящихся ИИ

Anthropic опубликовала исследование, в котором предупреждает о «признаках жизни» самореплицирующихся ИИ-червей — моделей, способных распространяться с устройства на устройство без участия человека. По оценке компании, небольшие модели могут получить такие возможности уже через несколько месяцев. Эксперты, опрошенные The Verge, считают, что у предупреждения есть основания, хотя между продемонстрированным и заявленной угрозой сохраняется большой разрыв.

В экспериментах Anthropic разделила модель Gemma 4 от Google с 26 млрд параметров на 15 Android-приставок для телевизоров — ни одна из них по отдельности не способна её запустить. Модель заработала, но очень медленно. Затем исследователи построили симулированную сеть из компьютеров, имитирующих Android-устройства, и запустили ИИ-червя, который искал новые машины, копировал на них модель и запускал её.

Распространяемая модель — Llama 3.1-8B от Meta с 8 млрд параметров — отличалась от той, что координировала атаку, и была значительно меньше. Полностью пройти по всей сети удалось только самой продвинутой из протестированных моделей — GLM-5.2 от китайской Z.ai; более слабые справлялись лишь с отдельными шагами. Исследователи прогнозируют, что к концу года небольшие модели сравняются с GLM-5.2 по возможностям.

Авторы признают, что не продемонстрировали «полноценного самовоспроизводящегося агента» и не знают, как он может выглядеть, — они допускают варианты «медленной распределённой цифровой слизевицы» или «роя плодовых мушек». Тем не менее они призывают укреплять безопасность множества устройств, которые может использовать репликатор, и готовиться к миру, где такие системы станут постоянным явлением. Anthropic не использовала в тестах собственные модели и ранее неоднократно утверждала, что открытые альтернативы несут больше рисков, чем закрытые системы.

Предупреждение вызвало привычные обвинения в PR-хайпе и «думеризме». Однако угрозу самореплицирующихся ИИ изучают и другие: в начале года калифорнийская Palisade Research показала, что модели способны самостоятельно копировать себя на другие машины. «Новое здесь в том, что эти модели были гораздо меньше по числу параметров, чем те, что ранее демонстрировали способность к самовоспроизведению», — заявил The Verge исполнительный директор Palisade Джеффри Лэдиш.

Компьютерные черви существуют десятилетиями, но ИИ делает их умнее и адаптивнее. Профессор Университета Торонто Николя Паперно отметил, что угроза ИИ-червей «реалистична» и «требует немедленных действий», особенно для критической инфраструктуры вроде больниц и энергосетей. По его словам, устройства, которые раньше не считались целью из-за ограниченности ресурсов атакующих, теперь могут стать плацдармом для атак на более ценные цели — а плохо защищённых умных устройств в интернете хватает.