Автосбор разметки для детекции аномалий

Компании, внедряющие ИИ для поиска аномалий, часто откладывают запуск на месяцы из-за отсутствия размеченных данных. Алексей, руководитель ML-направления, описывает подход, при котором пилот сам производит разметку в процессе работы. Речь идёт о контроле закупок — поиске завышенных цен, нецелевых и внетендерных закупок.

Ключевая проблема: supervised-обучение требует примеров, которых нет, unsupervised на редких событиях даёт много ложных срабатываний, а LLM без эталона уверенно называет завышенную цену рыночной. Решение — начать со слоя на правилах, который отбирает подозрительные заявки, а экономист выносит по каждой вердикт. Система фиксирует событие, содержащее значения признаков на момент срабатывания и решение человека.

Пара «признаки плюс вердикт» становится готовым обучающим примером. Одновременно сумма по отклонённым заявкам даёт первую оценку предотвращённых потерь. На старте используются только формальные правила, не требующие эталона рыночной цены: дубль закупки (позиция уже есть на складе, сверка с 1С) и превышение тендерного порога без процедуры. Ценовое правило подключается позже, когда накоплены ориентиры.

Чтобы модель не выучила только то, что ловят правила, в поток флажков подмешивают случайную выборку обычных заявок. Экономист размечает и их, создавая примеры «правило молчало, а зря». Эта же выборка служит честной основой для замера качества. Плата — дополнительное время экономиста, а также дисбаланс: злоупотребления редки, позитивных примеров копится мало.

Человек в контуре — главный источник шума: под нагрузкой экономист может подтверждать заявки не глядя. Для контроля качества вердиктов вводятся обязательная причина при отклонении, аудит-выборка решений и метрика доли подтверждений без комментария. Часть заявок уходит на второго проверяющего для выявления системных ошибок.

Момент перехода от правил к ML заранее неизвестен. Компания держит отложенную часть случайной выборки и регулярно проверяет, обгоняет ли модель голые правила по числу пойманных аномалий и доле ложных срабатываний. Пока не обгоняет — работают правила. Модель выкатывается только при измеримом превосходстве по обоим показателям.

В результате компания, никогда не считавшая потери на закупках, через несколько месяцев получает первую реальную цифру и размеченный датасет, собранный как побочный продукт ежедневной работы. Отсутствие разметки на входе не является поводом откладывать запуск: пилот проектируется как генератор собственных данных.