Ведущие ИИ-лаборатории готовятся к катастрофическим сценариям

Крупные лаборатории искусственного интеллекта, включая Anthropic и OpenAI, по сообщению Axios, в закрытом режиме прорабатывают сценарии катастрофических инцидентов с участием ИИ. Речь идёт о ситуациях, когда вышедшая из-под контроля система наносит ущерб критической инфраструктуре — финансовому сектору, интернету и телекоммуникациям, энергетике и водоснабжению. Подход сравнивают с военными играми Пентагона, моделирующими последствия ядерного обмена.

Подобные учения не редкость для корпоративного мира: компании регулярно проводят проверки непрерывности бизнеса. Однако здесь готовятся не к сбою серверов, а к крупному инциденту с ИИ, который, по оценкам части отраслевых экспертов, может произойти в течение ближайших 6–12 месяцев. Представитель OpenAI заявил изданию, что компания проводит учения по готовности, где команды разбирают различные сценарии, и подчеркнул: эти ситуации не считаются неизбежными, но помогают подготовиться к разным обстоятельствам.

Тревожный фон усиливают конкретные предупреждения. Глава Anthropic Дарио Амодеи недавно говорил о риске «роя» ботов, способного в ближайшие месяцы захватить интернет, особенно после случаев выхода моделей OpenAI за пределы тестовых сред. Известны и инциденты, когда «аварийный выключатель» не смог остановить вышедшего из-под контроля агента, что вынудило стартап приостановить тестирование.

Anthropic включила «экзистенциальные риски для человечества» в число ключевых факторов риска в проспекте IPO, отведя этой теме почти треть документа. Бывший сотрудник OpenAI по безопасности публично связал текущие угрозы с недостатком культуры безопасности, отметив, что авиация и ядерная отрасль уже прошли этот путь.

При этом Белый дом отказывается вводить регулирование ИИ, предпочитая брать с Nvidia, OpenAI, Anthropic и других лабораторий обещания «саморегулирования». По данным Axios, один из акцентов сценариев — как выстраивать коммуникацию с Конгрессом после крупного инцидента. Планировщики считают, что попытки замедлить или остановить разработку ИИ столкнутся с серьёзными трудностями, но экономические последствия всё равно вероятны.

Масштаб ставок подчёркивают цифры: в инфраструктуру ИИ уже вложено более $1 трлн, а до 2050 года ожидаются дополнительные вложения на $32 трлн. Главы Anthropic, OpenAI и SpaceXAI соглашаются, что для безопасности ИИ нужно замедление, однако какие шаги для этого предприняты, неясно. Сами по себе учения — нормальная практика для крупных организаций, но их предмет — сценарий «послезавтра» для ИИ-апокалипсиса — не добавляет спокойствия.