Сайт автора захлестнул трафик ИИ-ботов

Разработчик Сэмми Страус опубликовал на Hacker News свой проект sprinklz.io — настраиваемый RSS-ридер, позволяющий понижать приоритет нежелательных тем в ленте. Пост набрал около сотни голосов, и, по словам автора, пользователи оценили возможность скрывать материалы про LLM. Вскоре после публикации сайт начал работать заметно медленнее, и проблема сохранялась даже спустя несколько дней, когда пик внимания уже спал.

Логи показали расхождение: активных авторизованных пользователей было немного, а нагрузка на сервер оставалась чрезмерно высокой. Добавив логирование по каждому эндпоинту, Страус обнаружил, что большинство запросов даже не запускали JavaScript, необходимый для отрисовки одностраничного приложения. Иными словами, значительная часть трафика не пыталась пользоваться сайтом как ридером.

Анализ агрегированных логов NGINX выявил, что почти половина трафика приходила от одного источника. Автор не назвал его, но описал как сервис, который отслеживает изменения на сайтах и превращает их в новостную рассылку, сгенерированную ИИ. Фактически это означало запросы к сайту много раз в минуту; доступ был заблокирован.

Среди остальных посетителей оказались известные краулеры, честно идентифицирующие себя: Claude bot, OpenAI bot, индексатор Google и другие. Попутно фиксировались сканеры уязвимостей, пытавшиеся открыть пути вроде /wp-content/phpinfo.php, хотя сайт не работает на WordPress. В ответ разработчик добавил robots.txt, разрешив поисковым ботам Google и ограничив ИИ-сканеры, а также ввёл разумные лимиты на частоту запросов.

Главным выводом для Страуса стала необходимость повысить производительность инфраструктуры: он хочет, чтобы сайт выдерживал сотни запросов в секунду от реальных пользователей и лучше масштабировался под нагрузкой. За несколько недель после инцидента он внёс ряд улучшений, которые, по его словам, должны дать заметный прирост скорости для всех посетителей.

В тексте также упоминается отдельный эксперимент автора — браузер для Emacs, который переписывает современные страницы в простой HTML с помощью LLM и затем отображает их в текстовом режиме. По словам Страуса, такой подход работает быстрее и стабильнее, чем eww, а генерация программы-модификатора требуется лишь один раз. Код проекта simpleweb выложен на GitHub.

Помимо технической части, автор рассуждает о том, что современные цифровые сервисы всё чаще воспринимаются как игра против пользователя за его время и внимание. Он связывает это с приходом в индустрию менеджеров с финансовым и бизнес-бэкграундом, из-за чего любимые инструменты становятся одновременно безликими и высокодоходными. Свой ридер он предлагает как способ уйти от крупных платформ к отдельным блогам и сайтам.