Регрессионное тестирование промптов выявило пропуски

Автор на Хабре описал опыт регрессионного тестирования промптов для агентов, которые пишут и проверяют тексты. Он собрал набор примеров с известным ответом и прогнал по нему проверку, где роль читателя исполняет ИИ-модель. Цель — убедиться, что правка промпта не ломает то, что работало раньше.

Эталоном в наборе служит судьба текста: насколько опубликованная версия совпадает с той, что выдал агент. Совпадение считается как доля одинаковых предложений через SequenceMatcher из difflib. Если совпадение ниже 85%, текст считается плохим примером, от 95% и выше — хорошим; промежуточные значения в набор не попадают.

Автор раздельно считает две ошибки: пропущенный брак (плохой пример прошёл проверку) и ложную тревогу (хороший пример остановлен). Правка промпта принимается, только если не вырос ни один из счётчиков. По его словам, общая доля совпадений с человеком сливает эти ошибки: судья, пропускающий все тексты, при 95% хороших совпадёт с человеком в 95% случаев, но не найдёт ни одной ошибки.

В эксперименте на 20 материалах читатель сошёлся с автором в 10 случаях (один пойманный брак и девять верно пропущенных хороших текстов) и разошёлся в пяти (три пропущенных брака и две ложные тревоги). Из четырёх сильно правленых текстов читатель вернул только один, из одиннадцати почти нетронутых — два.

Отдельно разобран случай, когда читатели сначала вернули статью с минимальной оценкой 5, а после доработки пропустили с оценкой 7. Автор забраковал её целиком: анкета из четырёх вопросов оценивала, как написано, а не о чём, и треть текста ушла на разбор метода без снижения оценок. Теперь при заданной брифом пропорции частей читатель обязан посчитать долю каждой части.

При смене модели с Opus на Sonnet оценки совпали в пределах одного балла в 89% случаев, но решение вернуть или пропустить совпало только в 7 версиях из 12. Все расхождения в одну сторону: Sonnet вернул бы 5 версий, которые Opus пропустил. Автор оставил читателей на Opus, так как на Sonnet возвратов было бы больше и экономии не вышло бы.

Автор предупреждает, что проверка на модели недетерминирована: один и тот же текст может пройти в одном прогоне и вернуться в другом. Он советует прогонять каждую версию несколько раз и смотреть разброс. Выборки маленькие (4 и 11 текстов, 12 версий при смене модели), поэтому по ним видно устройство счёта, но точность метода не оценить. Эталон — суждение одного человека.