Anthropic нашла 29 439 уязвимостей в open source

Anthropic раскрыла статистику по проекту поиска уязвимостей в открытом коде: за шесть месяцев модели компании нашли 29 439 кандидатов в баги, из которых 6 157 отчётов были переданы мейнтейнерам, а исправлено пока 516. Цифры приведены на дашборде координированного раскрытия уязвимостей (CVD) по состоянию на 2 октября и описывают процесс, предшествовавший запуску сервиса OSS Scanner.

Восьмого октября Anthropic открыла OSS Scanner — добровольный сервис, который сканирует открытые проекты сильнейшими моделями компании (в анонсе упомянута Claude Mythos) и присылает мейнтейнерам отчёты по электронной почте. Идея повторяет подход Google OSS-Fuzz, но с ключевым отличием: отчёты полностью генерирует модель, человек их не проверяет. Anthropic прямо признаёт, что часть отчётов может оказаться ложной.

Сервис бесплатный, но доступен не всем: заявка подаётся через pull request в репозиторий anthropics/oss-scanner, а критерий отбора совпадает с OSS-Fuzz — критическое влияние на инфраструктуру и безопасность пользователей. Сканирование проходит в изолированной виртуальной машине без доступа в интернет, отказаться можно в любой момент. В отчёте должны быть воспроизводитель, по возможности bisect до коммита с ошибкой и кандидат на патч.

Причину запуска компания объясняет нехваткой людей: вручную удалось разобрать лишь около 6 000 из более чем 29 000 кандидатов. Мейнтейнеры, получив первые проверенные отчёты, всё чаще просили присылать всё остальное, даже непроверенное, и почти 5 000 отчётов уже ушли напрямую. OSS Scanner призван закрыть этот спрос быстрым каналом.

Ключевая цифра — 8,4%: именно столько исправлено из 6 157 переданных отчётов. Делить 516 на 29 439 (получится 1,8%) некорректно, поскольку знаменатель включает кандидатов, не прошедших независимую проверку и в большинстве не дошедших до мейнтейнеров. При этом около 22% отчётов прошли через фирмы, воспроизводящие ошибку и оценивающие критичность, а остальные 78% ушли без такой проверки — часть по просьбе самих мейнтейнеров.

Anthropic называет несколько причин отставания исправлений: патчи выпускаются долго (отчёт из сентября может стать релизом только в ноябре), ответ мейнтейнера не равен исправлению (на 5 103 отчёта ответили, но правка выпущена лишь по 516), а в долю подтверждённых находок 92,7% входят уже известные баги и случаи «won’t fix». Кроме того, часть подтверждённых ошибок ещё ждёт передачи мейнтейнерам из-за нехватки мощностей.

В анонсе приведены отзывы мейнтейнеров: Noah Misch из PostgreSQL отмечает, что часть отчётов пришла с почти готовыми исправлениями, а быстрый канал позволил закрыть свежие ошибки до релиза. Anton Arapov из OpenSSL Corporation пишет, что сырой выход модели не хуже, а иногда лучше отчётов от людей. Компания также ссылается на бенчмарк CyberGym, где доля найденных уязвимостей выросла с менее 20% в начале прошлого года до более 85% в этом, однако независимой проверки этой цифры нет.