Наделла призвал дать людям контроль над ИИ

Глава Microsoft Сатья Наделла призвал создавать продвинутые системы искусственного интеллекта с механизмами сдерживания, независимого контроля и «аварийным тормозом», позволяющим уполномоченным лицам приостанавливать или отключать модель прямо во время выполнения задачи. Об этом он написал в субботу в соцсети X.

«Нам нужно окружить недетерминированные модели сильным детерминированным системным дизайном, человеческим контролем и надёжными операционными процедурами, а также установить отраслевые стандарты там, где существующих недостаточно», — заявил Наделла. Он также предложил относиться к фронтирным закрытым и открытым моделям как к инсайдерским рискам — по его мнению, это поможет выстроить такую систему.

Заявление прозвучало на фоне предупреждений со стороны других руководителей технологических компаний и исследователей. Среди них соучредитель Microsoft Билл Гейтс, глава Anthropic Дарио Амодеи, генеральный директор OpenAI Сэм Альтман и глава SpaceX Илон Маск. Все они высказывались о недостаточности протоколов безопасности ИИ и о том, что технология развивается слишком быстро.

В прошлом месяце один из исследователей Anthropic уволился и обвинил компанию, а также её главного конкурента OpenAI в том, что они «играют с нашими жизнями». В тот же день сотрудник Anthropic, отвечающий за выравнивание ИИ, заявил, что вероятность того, что технология «убьёт всех людей» в течение следующего десятилетия, превышает 10%.

Президент США Дональд Трамп неоднократно отвергал риски вымирания человечества из-за ИИ, делая акцент на необходимости сохранять лидерство отрасли перед Китаем. Недавно он представил новую инициативу «AI Force» во главе с директором Национальной разведки Джеем Клейтоном, которая должна содействовать развитию индустрии и выявлять недобросовестных игроков.

Наделла также изложил принципы «наблюдаемости» для ИИ-систем. В их числе разнообразие моделей, читаемый человеком след действий модели, непрерывное тестирование системы, независимый контроль и возможность аудита, сдерживание, а также раскрытие информации об инцидентах.

«Самой заслуживающей доверия системой сверхинтеллекта будет не та, чьей модели мы доверяем больше всего, — написал он. — А та, которая позволит нам доверять модели меньше всего».