По logprobs нашли ошибки в ответах LLM

Разработчик из команды перспективных технологий Центра развития искусственного интеллекта СПАО «Ингосстрах» Лёша рассказал на Хабре об эксперименте с оценкой уверенности мультимодальных LLM при извлечении данных из документов. Компания использует такие модели для интеллектуальной обработки документов (IDP), минуя отдельный этап OCR. Заказчикам важно не только получать результат распознавания, но и понимать, какие документы стоит отправить на ручную проверку.

Проблема в том, что даже при ошибке в номере паспорта или фамилии ответ модели остаётся синтаксически корректным JSON, и следующая система может принять неверные данные за достоверные. В классическом OCR-пайплайне (CRNN, Surya, Easy-OCR, Tesseract) оценка уверенности доступна для символа, слова или строки, хотя и требует калибровки. В системе на мультимодальных LLM такой оценки не было, поэтому авторы решили использовать logprobs — логарифмы вероятностей выбранных токенов.

Эксперимент проводился на изображениях основного разворота внутреннего паспорта РФ. Исходная модель — Qwen3.5-9B, дообученная через LoRA для извлечения полей напрямую из изображения. На уровне поля ответ считался ошибочным при несовпадении с эталоном, на уровне документа — при хотя бы одной ошибке из одиннадцати полей. Базовая модель распознаёт около 98% полей и 90% документов целиком, поэтому ошибок мало, а распределения вероятностей токенов остроконечные.

Чтобы получить больше примеров ошибок, к изображениям из train и calibration добавили контролируемые искажения, подобранные так, чтобы модель обычно распознавала от семи до десяти полей из одиннадцати. Test оставили без искажений для проверки на реальных данных. Выяснилось, что разные поля страдают от искажений неодинаково: например, при увеличении blur_range у albumentations.MotionBlur точность по полю «пол» почти не менялась, а фамилия и место рождения распознавались заметно хуже.

Для каждого поля сохранялись вероятности пяти наиболее вероятных токенов на каждом шаге генерации и рассчитывались агрегированные признаки: mean_prob, std_logprob, q10_logprob, min_margin_probs, mean_top5_entropy и max_top5_entropy. Гипотеза состояла в том, что ошибки сопровождаются снижением вероятности выбранных токенов или усилением конкуренции между вариантами. Корреляции подтвердили: более высокие вероятности выбранных токенов чаще сопутствуют правильному распознаванию, а высокая энтропия — ошибкам. Длина поля почти не связана с целевой переменной.

На рассчитанных признаках обучили бинарный классификатор на основе градиентного бустинга, где класс 1 — правильное поле, класс 0 — ошибочное. Выход классификатора трактуется как вероятность правильного распознавания: чем она ниже, тем вероятнее поле нужно отправить на ручную проверку. Автор отмечает, что подход основан на оригинальной статье Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction.

Практическая ценность работы в том, что она предлагает способ превратить вероятности токенов LLM в оценку риска для конкретного поля документа. Это позволяет автоматизировать отбор документов на ручную проверку, не дожидаясь ошибок в критичных данных. При этом авторы подчёркивают необходимость калибровки, чтобы оценка уверенности соответствовала фактической доле правильных ответов.