Graphsignal выпустил top для инференс-GPU

В сообществе LocalLLaMA представили утилиту graphsignal-top — инструмент командной строки, который в реальном времени показывает, какие GPU-ядра (kernels) потребляют больше всего времени при инференсе моделей. Разработка входит в состав открытого профилировщика Graphsignal и распространяется бесплатно.

По замыслу авторов, graphsignal-top выполняет для GPU ту же роль, что классическая утилита top для процессора: она выводит живой список самых нагруженных ядер, отсортированный по затраченному времени. Ключевое отличие от стандартных средств мониторинга — читаемые имена ядер вместо машинных идентификаторов, что упрощает диагностику узких мест.

Инструмент ориентирован именно на задачи инференса больших языковых моделей, где профиль нагрузки заметно отличается от обучения. Разработчики и инженеры, разворачивающие LLM на собственном железе, получают возможность быстро находить проблемные ядра без глубокого погружения в низкоуровневые метрики.

Проект распространяется как open source, что снижает порог входа для команд, которые не готовы покупать коммерческие профилировщики. Подобные утилиты важны на фоне роста стоимости GPU-часов и стремления выжимать максимум производительности из имеющегося оборудования.

Пока доступны лишь скриншот и краткое описание в посте на Reddit; детали реализации, поддерживаемые платформы и точные метрики в аннотации не раскрыты. Судя по формату публикации, речь идёт о раннем анонсе, и сообщество будет уточнять возможности инструмента по мере обсуждения.