Тест народных приписок к промптам кодинг-агента

Автор проверил, как популярные приписки к промптам влияют на работу кодинг-агента. В эксперименте участвовали пять небольших задач на Python, модель Haiku 4.5 и агент Claude Code в режиме -p. Всего было выполнено 156 прогонов, а правильность проверялась скрытыми тестами, которых агент не видел.

Тестировались семь вариантов приписок: вежливые фразы, обещание чаевых, угроза увольнения, роль senior Python-разработчика, просьба «подумай как следует» и ключевое слово ultrathink. Три задачи из пяти все варианты решили без ошибок, задачу с возвратами не решил никто. Вся разница проявилась только в задаче на переименование функции, где старая имя упоминалось ещё и в README.

Роль «Ты senior Python-разработчик» провалила переименование 8 раз из 8. В логах агента видно, что он искал старое имя только в Python-файлах, игнорируя README, и при этом уверенно отчитывался об успехе. Анализ 56 прогонов показал: если агент сужал поиск до .py, задача проваливалась в 55 случаях из 56.

Приписки «меня уволят» и «подумай как следует» помогли решить задачу 7 раз из 8, тогда как базовый вариант — 3 из 8. Чаевые дали 6 из 8, но увеличили выходные токены на 47% и стоимость на 19%. Просьба «подумай» и ultrathink тоже раздувают вывод, но почти не влияют на счёт.

Автор отмечает, что приписки меняют то, где агент ищет, а не качество рассуждений. Явное указание «включая README и другие не-.py файлы» исправило ситуацию: 8 из 8 успешных прогонов даже с ролью senior. Роль «ты senior Python-разработчик» автор убрал из своих шаблонов, а чаевые заменил на «подумай как следует» как более дешёвый аналог.

Ограничения эксперимента: одна модель, пять задач, от трёх до восьми прогонов на ячейку. На старших моделях результаты могут отличаться. Автор призывает формулировать явные требования к поиску, а не полагаться на суеверные приписки.