HolmesGPT внедрили в шести кластерах Kubernetes

Команда DevOps-сопровождения внедрила open-source SRE-агента HolmesGPT в шести Kubernetes-кластерах: в собственном кластере Tuna и в пяти кластерах клиентов, два из которых — российский проект в отечественном облаке и зарубежный, размещённый в двух облаках. Задача агента — закрыть первичный этап расследования алерта, который дежурный обычно тратит на открытие дашбордов, поиск Pod'ов и чтение логов.

HolmesGPT — проект из CNCF Sandbox под лицензией Apache 2.0, созданный в Robusta.dev при заметном участии Microsoft. На GitHub у него около 3,5 тысячи звёзд, релизы выходят раз в одну-две недели, а в продакшене используются версии 0.41–0.42. Внутри работает классический агентный цикл: модель выбирает инструмент, читает результат и вызывает следующий — на один алерт уходит от двух-трёх десятков вызовов до сотни в сложных случаях.

Поскольку штатной push-интеграции с Alertmanager в открытой версии HolmesGPT нет, команда написала и открыла собственный сервис holmes-alert-bridge на Go. Он принимает вебхук, сразу отвечает 200 и запускает расследование в фоне, поскольку Alertmanager не готов ждать минутами. В bridge заложены allowlist по имени алерта, дедупликация по эпизоду, троттлинг (по умолчанию не более двух расследований в час и десяти в сутки) и один воркер, а через 15 минут соединение с агентом разрывается.

Разбор занимает 2–3 минуты и стоит несколько рублей или 10–30 центов в зависимости от модели; по медиане от срабатывания алерта до готового отчёта в чате проходит около четырёх минут с учётом задержки группировки. Агент работает только на чтение и формулирует гипотезу, а не диагноз: права на запись и автоустранение сознательно не выданы. По субъективной оценке дежурных, гипотеза оказывается верной в 90–95 % случаев, но систематической сверки с реальными причинами инцидентов пока не проводилось.

Побочный эффект — прозрачность расходов: когда у повторяющегося алерта появляется строчка затрат, его хочется чинить системно, а не закрывать вручную. Перед внедрением авторы предупреждают о необходимости проверить логи на пароли, токены и персональные данные, так как всё прочитанное агентом уходит провайдеру модели. Поддерживаются любые модели через litellm — Anthropic, OpenAI, Azure, Bedrock, Gemini, Ollama и OpenAI-совместимые API; запуск возможен через CLI, HTTP-сервер с Helm-чартом, alpha-оператор для Kubernetes или Python SDK.

Основной сценарий — отдельная инсталляция HolmesGPT на каждый кластер под ServiceAccount с правами только на чтение, что избавляет от сложной авторизации. По ресурсам агент скромен: около полугигабайта памяти, всплески дают инструменты вроде kubectl на больших списках. Знание о проекте хранится в skills — файлах SKILL.md, которые агент подгружает по необходимости, а наборы инструментов описываются YAML-файлами, Python-скриптами или подключаются как MCP-сервер.