Команды ИИ-агентов тратят токены без роста качества

Команды ИИ-агентов почти не превосходят одиночных агентов по качеству работы, но обходятся в 1,8–5,1 раза дороже. К такому выводу пришла оценочная компания Vals AI, протестировавшая модели GPT-6 Sol и Claude Opus 5.5 на бенчмарке Vibe Code Bench — как по отдельности, так и в составе групп, при среднем и максимальном уровне рассуждений.

Из четырёх сравнений команд с одиночными агентами статистически значимое улучшение показало лишь одно: GPT-6 Sol при среднем уровне рассуждений, где команда набрала на 7,3 балла больше. При максимальном уровне рассуждений преимущество не получила ни одна из моделей. Это указывает на то, что дополнительные затраты на агентные команды в большинстве случаев не окупаются, особенно когда модель уже работает на пределе вычислительных ресурсов.

Собственные тесты Anthropic с Opus 5.5 подтверждают тенденцию: в двух экспериментах прирост качества сокращался по мере добавления агентов. Большие команды быстрее достигали заданного уровня производительности, однако переход от десяти к ста агентам давал лишь незначительное улучшение баллов спустя 24 часа. В отдельных тестах ProgramBench ускорение сопровождалось ростом расхода токенов.

Модель Fable 5.1 показала более заметный прирост качества на задаче доказательства теорем в Lean при масштабировании свыше десяти агентов, но всё равно уступала Opus 5.5 во всех тестах. На задаче с базой знаний её результат даже слегка снизился при переходе от 30 к 100 агентам.

Исследователь OpenAI Ноам Браун в подкасте Dwarkesh подтвердил, что мультиагентные системы в основном дают скорость, а не качество. Четыре агента решали задачи вдвое быстрее, но и стоили вдвое дороже; при 16 агентах закономерность сохранилась, хотя эффективность немного упала. По его словам, эффект сильно зависит от задачи: веб-исследования и математика хорошо распараллеливаются, а написание романа — нет.

Разработчик OpenAI Эрик Провенчер предупредил об опасности использования агентных роёв: координация между агентами нарушается, и деньги, скорее всего, тратятся впустую. Этот эффект он назвал «налогом на координацию». Браун также отметил, что масштабирование до очень больших чисел агентов остаётся малоизученным из-за слишком высоких затрат.