Разработчик рассказал о 100 млрд токенов в llm7.io

Разработчик из Университета Кембриджа Евгений рассказал об опыте эксплуатации сервиса инференса LLM llm7.io, запущенного почти полтора года назад как полностью бесплатная платформа. Изначальной целью было тестирование собственных инженерных навыков и эксперименты с инфраструктурой, однако проект быстро превратился в площадку для решения задач, далёких от первоначального замысла. За это время через сервис прошло более 100 миллиардов токенов, а число зарегистрированных пользователей достигло примерно 450 тысяч.

Первая версия ограничений опиралась на единый rate limiter, который одинаково применялся ко всем пользователям. Быстро выяснилось, что блокировка исключительно по IP неэффективна, поэтому была введена бесплатная регистрация с выдачей токенов доступа — это позволило блокировать конкретные аккаунты. Однако массовые регистрации продолжились, и для борьбы с ними пришлось задействовать CAPTCHA, проверку репутации почтовых доменов и автоматические блокировки мультиаккаунтов.

Примерно год назад автор ввёл платные подписки за $5 и $12 — не столько ради монетизации, сколько как дополнительный барьер для злоупотреблений. Подписка за $5 быстро потеряла актуальность, вторая продержалась около десяти месяцев. Со временем стало ясно, что платящим пользователям нужны не фиксированные квоты, а оплата за фактическое потребление, и в июне сервис окончательно перешёл на модель PAYG. Бесплатные лимиты пришлось сокращать, особенно после распространения инструментов автоматизации вроде OpenClaw и Hermes.

К текущему моменту в сервисе действует около 16 уровней защиты — от ограничений частоты запросов до анализа энтропии входящих текстов, выявления подозрительных паттернов и фильтрации запрещённого контента. Отдельную сложность представляет детектирование сексуального контента с участием несовершеннолетних, что требует обучения специализированных классификаторов. Автор отмечает, что инженерно задача оказалась значительно сложнее, чем он предполагал изначально.

В этом году обнаружился новый класс пользователей: десятки тысяч аккаунтов, в том числе с концентрацией в отдельных азиатских странах, систематически отправляли запросы, похожие на сбор данных для дистилляции и обучения собственных моделей. Отличить активного обычного пользователя от автоматизированной системы сбора данных по отдельному запросу практически невозможно — требуется анализ поведения в совокупности, последовательностей запросов, распределений и повторяемости. По наблюдениям автора, защитные механизмы некоторых проприетарных моделей всё заметнее смещаются в сторону противодействия сбору данных для обучения конкурентов.

На пике нагрузка на сервис превышала 4 миллиона токенов в минуту, а поддержку проекта автор ведёт в одиночку. В какой-то момент он всерьёз рассматривал закрытие llm7.io, поскольку значительная часть времени уходила не на развитие продукта, а на противостояние недобросовестным пользователям. В итоге подход был пересмотрен: проблемы бесплатных пользователей, требующие непропорционально много ресурсов, были ограничены или отключены, а приоритет отдан задачам платящих клиентов.

Главный вывод за полтора года автор формулирует так: построить работающий сервис — одна задача, а обеспечить его устойчивую работу вопреки действиям части пользователей — совершенно другая. Проект продолжает развиваться, и автор ожидает новых сюрпризов в следующем году.