Транспорт KV-кэша проверили на инференсе MiniMax-M3

Исследование на Habr сравнивает влияние транспорта KV-кэша на производительность disaggregated inference, где стадии prefill и decode выполняются на разных GPU-узлах. Тесты проводились на кластере из двух узлов, каждый с восемью NVIDIA B200, в инференсе MiniMax-M3 через sglang. Сравнивались RDMA/InfiniBand с GPUDirect и TCP/Ethernet (bond0, LACP 2×100G, MTU 9000). Всего проанализировано 268 прогонов, включая основную матрицу M1 из 150 запусков.

В основной матрице M1 RDMA/InfiniBand снизил медианный TTFT в 5,4–11,5 раза и увеличил output throughput в 2,8–3,8 раза относительно TCP на валидных прогонах. При этом TPOT оставался сопоставимым, что указывает на локализацию влияния транспорта в переходе prefill → decode, а не в самом цикле декодирования. TCP завершился отказом в 31 из 75 прогонов (41%), тогда как все 75 прогонов на InfiniBand были валидны.

Отказ TCP начинается с ошибки копирования из CUDA memory (out of memory), продолжается таймаутом KV-transfer, после чего prefill завершается, а router возвращает HTTP 503. Изолированный microbenchmark transfer engine воспроизвёл отказ TCP и одновременно показал преимущество GPUDirect над host staging на 6,3–6,5%. Это подтверждает, что проблема кроется в программном пути переноса, а не в нехватке полосы пропускания.

End-to-end поток не насыщал ни одну из сетевых фабрик: TCP достигал максимум 8,7 Гбит/с из 200 Гбит/с, InfiniBand — 52,4–61,7 Гбит/с из примерно 2933 Гбит/с суммарного измеренного потолка восьми NDR-портов. Следовательно, наблюдаемая разница объясняется прежде всего архитектурой переноса — host staging против zero-copy GPUDirect, — а не недостатком полосы. Дополнительная верификация attention backend показала снижение TTFT на 33,5–44,4% у triton относительно fa4, однако эти пути используют разные layouts KV и требуют отдельной проверки на production-нагрузках.

Автор заключает, что в исследованной конфигурации выбор KV-транспорта является архитектурным ограничением PD-инференса. TCP нельзя рассматривать как функционально эквивалентный fallback для тяжёлых профилей MiniMax-M3. Причина в том, что при PD-disaggregation KV-кэш (единицы-сотни МиБ на запрос) должен физически переехать с узла prefill на узел decode, и латентность этого переноса лежит в критическом пути TTFT.

В монолитном inference KV остаётся внутри памяти одного процесса или узла, но в PD-топологии транспорт KV входит в критический путь получения первого токена. Пропускная способность интерфейса не описывает всю стоимость переноса: реализация может требовать копирования данных из VRAM в host memory, дополнительных буферов и синхронизации. Цель исследования — разделить влияние сетевой фабрики и программного пути переноса, а также проверить, сохраняет ли TCP функциональную работоспособность на профилях с большим KV-кэшем.