Дешёвая модель-фильтр перед Claude

Пользователь под ником на «Хабре» описал двухнедельный эксперимент с дешёвой моделью-фильтром Jev от стартапа TypeSafe, поставив её перед Claude Sonnet в личном конвейере обработки материалов. Конвейер, который автор называет «Лабораторией», сохраняет в Telegram всё интересное за день — рилсы, посты, ссылки на репозитории, — после чего раз в сутки Claude Sonnet пишет по каждому материалу разбор-инструкцию, а второй проход в роли редактора решает, публиковать его или отправить в архив.

Проблема в том, что автор сохраняет всё подряд: в Избранном вперемешку лежат полезные гайды, рабочие сообщения, личное и картинки без текста. На размеченных 67 материалах лишними для блога оказались 28, и на каждый Sonnet писал полный разбор, который редактор потом выбрасывал. Sonnet работает через подписку Claude Code, поэтому экономия идёт не столько на деньгах, сколько на недельном лимите — однажды он закончился посреди недели, и весь конвейер молча встал.

Jev — модель для закрытых вопросов: на вход подаётся текст и словарь вопросов, на выходе получаются вероятности вместо текста. Поддерживаются три типа вопросов, включая choice с выбором из списка до 255 вариантов; все вопросы по одному тексту считаются за один проход. Вход стоит $0,042 за миллион токенов, выход бесплатный, поскольку текста на выходе нет. По замерам самой TypeSafe ответы Jev совпадают с эталоном из больших моделей примерно в 68% случаев.

Автор отмечает, что формулировка вопроса оказалась важнее выбора модели. На задаче отсева фактов для базы знаний общий вопрос «это полезный факт?» дал AUC 0,46 — хуже монетки, а переформулировка с настоящей причиной отказа подняла показатель до 0,95 на тех же текстах. На вкусовых решениях выше 0,72–0,77 подняться не удалось, поэтому Jev там годится лишь как осторожный предфильтр.

В «Лаборатории» автор использует один choice-вопрос, варианты которого повторяют реальные причины отказов редактора, а вероятность «оставить» считается как сумма вероятностей двух вариантов. На пороге 0,2 Jev не выкинул ни одного хорошего материала и отсеял 10 из 28 лишних — треть мусора, но порог сознательно оставлен низким: пропущенный мусор стоит одного лишнего разбора, а выкинутый хороший материал автор просто не увидит. В теневом режиме с 26 сентября по 3 октября из 19 свежих материалов Jev отсеял бы девять, восемь из которых Sonnet и так выбросил, а все пять хороших получили не меньше 0,73.

В коде предусмотрены предохранители: порог вне диапазона от 0 до 0,4 не принимается и вызывает алерт, при аномальном всплеске материалов отсев отключается, ответы кешируются по хешу текста и версии вопроса. С 26 сентября по 6 октября в журнале 26 вызовов общей стоимостью $0,0028 — около сотой доли цента за вызов. Медианная задержка из Москвы составила 1,3 секунды против заявленных TypeSafe 70–500 мс, первый вызов в прогоне занимает от 2 до 9 секунд.

Автор подчёркивает, что Jev подходит там, где одна и та же мелкая развилка повторяется много раз, у неё есть понятные признаки, а ошибка в одну сторону дешевле, чем в другую. Открытые задачи, вкусовые решения без чётких признаков, счёт, даты и длинный шумный текст остаются работой LLM; чувствительные данные отправлять в американский сервис автор не рекомендует. Через пару недель он планирует пересчитать порог на свежей разметке.