Система Sakana AI ловит 73% ошибок в рецензиях

Sakana AI опубликовала исследовательскую работу Beyond Imitation в журнале TMLR, посвящённую использованию больших языковых моделей для рецензирования научных статей. В отличие от большинства систем, которые оцениваются по схожести с человеческими отзывами, авторы поставили более сложную задачу: способен ли ИИ-рецензент найти намеренно внедрённую в текст ошибку. Вместе с системой Multi-Layered Review (MLR) команда представила Contradiction Benchmark — набор данных из 1164 точек для проверки детекции противоречий.

Система MLR построена на трёх агентах, работающих на готовых моделях Claude. Первый агент составляет общий план статьи, второй детально изучает текст и фиксирует слабые места, допущения и пробелы, третий объединяет результаты в структурированный отзыв с сильными и слабыми сторонами, вопросами, рекомендацией, оценкой и списком задач. PDF подаётся напрямую, поэтому рисунки и формулы сохраняются.

Для создания бенчмарка исследователи отобрали 257 статей с лицензией CC из конференций ACL, AISTATS, CVPR, ICML 2025 и NeurIPS 2024. Модель Gemini 2.5 Pro строит граф знаний по утверждениям, доказательствам и методам каждой работы, а расстояние узла от главного утверждения задаёт серьёзность ошибки: нулевое расстояние соответствует ключевому тезису. Затем GPT-4.1 переписывает по одному узлу на каждое расстояние в противоречие, что даёт 1164 точки данных. Оценку отзывов выполняет судья на базе o3, который на чистых статьях показал точность 99,9%.

MLR превзошла все базовые системы: при четырёх отзывах она обнаружила 73,43% противоречий на нулевом расстоянии и 40,95% в целом. Лучший из базовых методов AgentReview поймал лишь 14,81% на нулевом расстоянии. Даже один отзыв MLR выявил 60,79% таких ошибок. Абляционное исследование показало, что замена GPT-4.1 на Claude Sonnet 4 внутри LLM-Review подняла детекцию с 14,56% до 35,40%, а архитектура MLR добавила ещё около 25 пунктов.

На реальных отозванных статьях из набора WithdrarXiv-Check (211 работ) преимущество сокращается: MLR показала 26,07% на «похожих» совпадениях и 16,11% на «точных», тогда как сильнейшие базовые системы — 18,48% и 9,00% соответственно. По оценкам качества на заявках ICLR 2025 корреляция Пирсона между прогнозами MLR и оценками людей составила 0,586 при человеческой планке 0,742; на ICML 2025 ИИ-рецензент даже немного обошёл людей — 0,439 против 0,429. При этом фокус внимания различается: MLR делает упор на обоснованность и эксперименты, тогда как люди больше ценят ясность и новизну.

Стоимость одного отзыва MLR составляет около $0,47 без опционального агента для работы с литературой. Система расходует 189 062 входных токена — примерно вдвое меньше, чем AI Reviewer с 403 654 токенами. Упрощённый вариант с одним запросом снижает затраты примерно на две трети, но теряет около 3,5 пункта детекции на подмножестве бенчмарка. Авторы рассматривают свою систему как дополнение к человеческому рецензированию, а не замену.