Haiku нашла ошибку при ревью десяти статей

Разбор одной сессии проверки десяти статей для блога показал, что модель anthropic/claude-haiku-5.5 через OpenRouter выдала противоречивый отчет: вердикт PASS сочетался с замечанием уровня major. В соседнем замечании модель написала, что обнаружено «существенное искажение совета», хотя запрос редакции требовал считать фактические ошибки и смысловые противоречия блокирующими. Авторы разбирались, что именно ошибочно — вердикт, замечание или сама редакция.

Схема работы была такой: черновики с условными примерами писал один агент, проверку выполняла Haiku. Модели передавали правила читаемости, тексты и список существующих статей, а после правок — исходник и редакцию. В отчете запрашивали вердикт, серьезность замечаний и точные цитаты, но подробную градацию уровней серьезности не задавали. Авторы подчеркивают, что это разбор одной сессии, а не измерение частоты ошибок модели или ее качества относительно других проверяющих.

Один из спорных случаев касался ссылки на статью о скрининге. В черновике кандидату советовали задавать вопросы работодателю, но связанная статья рассказывала о вопросах рекрутера к кандидату. Редакция исправила описание ссылки, Haiku заметила смену ролей и предложила вернуть исходник. Замечание частично оказалось полезным: при правке действительно потерялся совет кандидату самому задавать вопросы, однако полный возврат фразы восстановил бы неверное описание ссылки.

Причина расхождения, по мнению авторов, в нехватке контекста: сначала модель получила только название и адрес связанного материала, а не его полный текст. После добавления текста удалось сохранить обе мысли — кандидат уточняет задачи роли, а отдельная статья помогает подготовиться к вопросам рекрутера. Повторная проверка подтвердила читаемость и сохранность смысла, итоговый вердикт — RISK с необязательными замечаниями.

Был и случай с JSON: пакет передавался в формате, где кавычки внутри строк экранируются обратными слешами, тогда как в исходном Markdown таких символов не было. Правку отклонили, а внутреннюю причину ответа модели этот эпизод не устанавливает — подтверждено лишь отсутствие указанных символов в файле. Полезные замечания тоже встречались: формулировку «Само число можно не выносить…» заменили на «Итоговую цифру стажа можно не выносить…», а в статье о наставничестве переставили абзацы — сначала сбор фактов, затем подготовка истории для интервью.

Полезные правки внесли, спорные сверили с источниками, измененные статьи проверили повторно, исходники сохранили. Для автоматизации авторы предлагают добавить сигнал: сочетание PASS с major или blocker должно требовать ручного разбора. Такой сигнал обнаружит противоречивый отчет, но не установит наличие ошибки в статье — само замечание тоже нуждается в проверке.