Разработчик собрал анализатор аномалий в отзывах

Разработчик под ником на «Хабре» представил open-source-инструмент ReviewScope для анализа отзывов на картах. Поводом стала булочная: после переезда автор искал заведение по отзывам и наткнулся на подозрительный текст, начинавшийся фразой «да вот хороший вариант ответа». Похожие шаблонные отзывы нашлись и у других заведений, что подтолкнуло к идее автоматического поиска аномалий.

ReviewScope принимает данные в форматах CSV и JSON, нормализует их и хранит в DuckDB — локальной аналитической СУБД, не требующей отдельного сервера PostgreSQL. Интерфейс собран на Streamlit. Прямой интеграции с Яндекс Картами в первой версии нет: для анализа нужна подготовленная выгрузка, что автор объясняет желанием проверять алгоритмы на разных корпусах, включая открытые исследовательские.

Для поиска всплесков активности используется rolling median и MAD (медианное абсолютное отклонение). В примере автора при семи днях с числом отзывов около единицы день с 30 отзывами получает modified z-score около 19,6, тогда как обычный z-score на тех же данных — лишь около 2,4. Такой подход устойчив к выбросам, из-за которых среднее и стандартное отклонение «размывают» аномалию.

Отдельное направление — анализ авторов отзывов. Автор отказался от идеи выставлять общую оценку честности пользователя: количество отзывов не равно компетентности, а смена географии может объясняться поездкой, а не накруткой. Вместо этого вводятся раздельные метрики: активность, опыт в категории, информативность текста и необычные закономерности в истории.

Для поиска повторяющихся текстов применяются embeddings, а группы совпадений визуализируются в виде графов. Это позволяет находить десятки похожих отзывов от разных аккаунтов, которые по отдельности выглядят безобидно. Автор подчёркивает: сам факт использования нейросети для оформления отзыва его не беспокоит, важнее отличить реальный опыт от заказной накрутки.

Проверка проводилась на 21 тысяче настоящих отзывов. Часть исходных гипотез не подтвердилась, а один убедительный на первый взгляд результат оказался следствием ошибки в подсчёте. Инструмент распространяется как open-source; исходный код и описание алгоритмов доступны на «Хабре».