Сканер чеков на локальной vision-модели 0.8B

Разработчик из сообщества LocalLLaMA представил Android-приложение для сканирования чеков, работающее полностью на устройстве. Приложение распознаёт фотографию чека и преобразует её в структурированный JSON: магазин, дата, итоговая сумма и каждая позиция в отдельности. По словам автора, цель — отслеживать расходы на продукты по отдельным товарам, не отправляя чеки третьим лицам.

В основе решения — небольшая vision-модель Qwen3.5 0.8B, дообученная на данных чеков. Автор также упоминает OvisOCR2, который сам является файнтюном Qwen3.5 0.8B. Использование модели такого размера позволяет запускать инференс прямо на смартфоне без обращения к облачным сервисам.

Приложение бесплатное и уже доступно на Android; версия для iOS, по словам разработчика, ожидает проверки командой Apple и займёт ещё несколько дней. Публикация в сообществе LocalLLaMA указывает на интерес к локальным моделям для повседневных задач.

Автор отмечает, что большинство существующих приложений для учёта расходов ограничиваются широкими категориями вроде «Еда». Он же хочет видеть детализацию вплоть до отдельных позиций — например, сколько в месяц уходит именно на кофе. Это требует распознавания каждой строки чека, а не только итоговой суммы.

Ключевое преимущество подхода — приватность: изображения чеков не покидают устройство. Это отличает проект от облачных сканеров, которые обычно передают данные на серверы для обработки. Для финансовой информации такая архитектура может быть важна с точки зрения безопасности и регулирования.

Проект показывает, что модели размером менее миллиарда параметров уже способны решать узкие прикладные задачи вроде OCR чеков на мобильных устройствах. Если точность окажется достаточной, подобные решения могут составить конкуренцию облачным сервисам в сценариях, где важны приватность и автономность.