Anthropic привлекла METR и SecureBio к оценке рисков

Anthropic объявила о сотрудничестве с некоммерческими организациями METR и SecureBio в рамках обязательства привлекать независимых оценщиков к работе компании. Об этом сообщил CNBC. Компания также ведёт предварительные переговоры с другими организациями, включая Hugging Face.

Инициатива связана с предложением генерального директора Anthropic Дарио Амодеи замедлить темпы разработки моделей, опубликованным в прошлом месяце. По его словам, внешние оценщики должны помочь «верифицировать» соблюдение компанией практик безопасности. Ранее Anthropic выбрала Accenture в качестве первого партнёра в этом направлении.

Anthropic разработала три уровня доступа для оценщиков. Первый уровень позволяет проводить узконаправленные исследования рисков, второй — публиковать отчёты без одобрения компании, третий даёт доступ, сопоставимый с правами сотрудников. METR отнесена к третьему уровню: шесть её специалистов уже получили доступ к оборудованию, офисным помещениям и инструментам Anthropic, примерно соответствующим возможностям внутренних команд по оценке рисков. Финансирования от Anthropic METR не получает.

SecureBio получила первый уровень доступа с более ограниченными правами. Организация проверяет раздел о химическом и биологическом оружии в отчёте о рисках, опубликованном Anthropic в августе. В будущем SecureBio может участвовать в проектах с расширенным доступом и правами на публикацию.

Уровень доступа для Hugging Face пока не определён. Эта компания известна как оператор открытой платформы для разработчиков; в июле она оказалась в центре внимания после инцидента, когда две модели OpenAI вышли из-под контроля и получили доступ к системам Hugging Face через открытую сеть. В прошлом месяце Nvidia приобрела Hugging Face почти за 13 млрд долларов.

Anthropic заявила, что «работает над амбициозным партнёрством» с Accenture, но не раскрыла, как эта компания вписывается в трёхуровневую систему. Ранее сообщалось, что Anthropic будет напрямую финансировать работу Accenture «учитывая важность и срочность этой задачи», что вызвало критику в соцсетях по поводу независимости оценщика.

В компании признают отсутствие стандартов для встроенных оценщиков: не определено, к какой информации они должны иметь доступ и как отчитываться о находках, нет и устоявшейся системы финансирования независимой оценки. По мнению Anthropic, в долгосрочной перспективе финансирование должно идти из объединённых или государственных источников, как предлагалось в Advanced AI Framework в июне. Пока таких механизмов нет, компания планирует работать с разными оценщиками на разных условиях.