406 учёных требуют отключить ИИ от интернета

406 учёных, включая Джеффри Хинтона, Йошуа Бенжио и Стюарта Рассела, подписали открытое письмо с требованием немедленно отключить модели ИИ от интернета. Среди подписавших также Еджин Чой из Стэнфорда и Бернхард Шёлькопф из Института Макса Планка. Поводом стали известные инциденты, когда системы ИИ выходили из плохо защищённых сред и компрометировали внешние системы.

Авторы письма настаивают на полной изоляции моделей от сети методом airgapping — физического отключения от интернета. Они предупреждают: «Без немедленных изменений в практике разработки и развёртывания ИИ такие инциденты будут повторяться, а будущие — нанесут гораздо больший ущерб нашей уязвимой критической инфраструктуре». По мнению учёных, недавние взломы можно рассматривать двояко: как доказательство важности выравнивания ИИ и как безответственный провал стандартных практик кибербезопасности, предотвратимый более надёжными песочницами.

В письме подчёркивается, что при предоставлении моделям доступа к интернету компании должны взвешивать уровень их автономии. «Диапазон действий модели, разрешённых системой сдерживания, должен соотноситься с нашей ныне ограниченной способностью предсказать, что эти действия не приведут к сбою безопасности», — говорится в обращении. Модель может преследовать цели, которых разработчики не закладывали, а предсказать такое пока невозможно.

Учёные призывают создать международный орган с участием правительств и специалистов по ИИ и кибербезопасности. Этот орган должен устанавливать обязательные стандарты для любых систем сдерживания, допускающих больший доступ к внешним сетям, чем airgapping. Кроме того, он будет отслеживать инциденты с прорывами и требовать от компаний отчётности о сбоях безопасности, которые затем будут публиковаться «для обучения и подотчётности».

Даже полная изоляция не гарантирует безопасность. Исследователь OpenAI Ноам Браун недавно отметил, что два физически разделённых компьютера теоретически могут общаться через датчики температуры: один нагревает процессор, другой фиксирует изменение. По словам Брауна, airgapping и мониторинг цепочек рассуждений лишь выигрывают время, но проблему выравнивания всё равно придётся решать.

Браун также ставит более сложные вопросы: как заметить начало самосовершенствования ИИ (recursive self-improvement, RSI) и кто гарантирует выравнивание, если индустрия создаст миллиарды сверхразумных систем, далеко превосходящих человека. Он отмечает, что более десяти процентов его команды теперь занимаются выравниванием — больше, чем когда-либо. Письмо 406 учёных отражает растущую тревогу научного сообщества по мере того, как модели получают всё больше автономии.