Независимые оценщики ИИ выходят на первый план

Независимые оценщики рисков искусственного интеллекта, ещё недавно остававшиеся на периферии индустрии, оказались в центре внимания на фоне споров о безопасности передовых моделей. Небольшие некоммерческие организации, такие как METR, Apollo Research и Transluce, теперь привлекаются крупнейшими лабораториями — Anthropic и OpenAI — для проверки возможностей и рисков их систем.

В отсутствие федерального регулирования в США такие оценщики приобрели непропорционально большое значение. Глава Anthropic Дарио Амодеи пообещал внедрить независимых аудиторов внутрь компании, и эту инициативу поддержали глава OpenAI Сэм Альтман, президент Дональд Трамп и большинство крупных технологических компаний. Однако остаются открытыми вопросы финансирования, уровня доступа и структуры отчётности третьих сторон.

По мнению профессора Брауновского университета Суреша Венкатасубраманиана, ключевая проблема — деньги: «Кто платит этим компаниям за работу? Нужна экосистема и жизнеспособная бизнес-модель». Сейчас правила фактически пишут сами Anthropic, OpenAI и их инфраструктурные партнёры, что критики сравнивают с ситуацией, когда крупнейшие банки сами защищают экономику от финансового кризиса.

Трамп недавно похвалил ИИ-руководителей за «громадный самоконтроль» и дал понять, что не намерен мешать росту отрасли. В конце сентября он представил добровольное соглашение, призывающее компании «сотрудничать с независимым внешним аудитором или оценщиком». Это перекликается с эссе Амодеи, призвавшего к «замедлению темпов» разработки передовых моделей.

Трения уже начались: на прошлой неделе OpenAI уволила трёх сотрудников за нарушение политики доступа к чувствительной информации. Двое из них, Микита Балесни и Томек Корбак, заявили, что причиной стали их контакты с независимыми оценщиками. OpenAI это отрицает и утверждает, что «активно завершает контракты со сторонними аудиторами безопасности» и объявит детали в ближайшие недели.

Экосистема оценщиков быстро растёт: стартап Vals AI увеличил штат с 8 до примерно 30 человек и привлёк $40 млн, а некоммерческая METR за полгода собрала около $71 млн обязательств против $13,6 млн за весь 2024 год. При этом в METR работают менее 50 человек, что вызывает вопросы о дисбалансе сил с лабораториями, располагающими миллиардами долларов.

Anthropic признала сложность ситуации в блоге, объявив о внедрении сотрудников Accenture для тестирования защитных механизмов и пообещав финансировать их напрямую. Компания отметила отсутствие стандартов доступа и отчётности для встроенных оценщиков, а также устоявшейся системы финансирования, предложив в долгосрочной перспективе pooled- или государственные источники. По словам экспертов, без финансовой и организационной независимости настоящая сторонняя оценка рисков ИИ остаётся под вопросом.