Бесплатный RAG-консультант по сайту на Cloudflare

На сайте проекта Avenex появился бесплатный ИИ-помощник, который отвечает на вопросы посетителей по содержимому сайта. Он собран на платформе Cloudflare с использованием сервисов Workers и Workers AI, что позволило уложиться в бесплатные квоты хостинга. Авторы описывают эксперимент как «комнатный RAG» — упрощённую версию подхода Retrieval-Augmented Generation для небольшого сайта.

Помощник работает так: посетитель задаёт вопрос своими словами, система проверяет, относится ли он к теме сайта, и либо отвечает со ссылкой на соответствующий раздел, либо вежливо отказывает. Если вопрос не по теме — например, просьба написать код или сравнить чужие сайты — следует отказ. При запросе на английском языке ответ приходит на английском. Кнопка «Спросить ИИ» доступна внизу страницы, пока не исчерпана дневная квота.

База знаний собрана из 14 Markdown-документов общим объёмом около 12,9 тысячи символов. В неё вошли описания услуг, публичных проектов, порядка работы и некоторых цен. Имена клиентов и внутренние названия в базу не попали, чтобы помощник не мог их раскрыть. Для ответов используется отдельная модель, подключённая к сайту, а код обработки сообщений выполняется в Cloudflare Workers.

Архитектура включает две модели внутри Workers AI: одна проверяет тему вопроса, другая готовит ответ. Пока база укладывается в 14 тысяч символов, она целиком передаётся модели вместе с вопросом. При превышении порога приложение начнёт выбирать шесть подходящих фрагментов с помощью эмбеддингов модели bge-m3. Сейчас в индексе 19 фрагментов, которые занимают около 160 КБ и хранятся прямо в Worker.

Авторы подчёркивают, что это эксперимент на небольшом сайте, а не готовое решение с гарантией безопасности. Ограничения нужны, чтобы помощник держался темы и экономно расходовал бесплатную квоту. По их словам, при достаточном упорстве любую модель можно запутать, и защита от серьёзных атак — отдельная задача для специалистов по red team.

Бесплатность обеспечивается лимитами Cloudflare: до 100 тысяч запросов в сутки для Workers, 5 ГБ хранения и 5 млн прочитанных строк в сутки для базы данных. Расход ИИ-вычислений считается в нейронах и зависит от модели и объёма текста. Не все модели каталога Workers AI доступны бесплатно, поэтому выбор модели был частью задачи по экономии.

Проект показывает, как малый бизнес может добавить ИИ-консультанта на сайт без выделенного сервера с видеокартой. Однако при росте базы знаний потребуется решать вопросы хранения индекса и стоимости поиска. Авторы обещают подробнее разобрать эти ограничения в следующих материалах.