Qwen3.8-Flash-Next на шести RTX 3090 через vLLM

Пользователь Reddit под ником lukolszewski опубликовал отчёт о запуске модели Qwen3.8-Flash-Next на шести видеокартах RTX 3090 с использованием vLLM. По его данным, конфигурация выдерживает семь одновременных пользователей при контексте 262 тысячи токенов. Скорость префилла достигает 6,5 тысячи токенов в секунду, декодирование — 57 токенов в секунду для одного пользователя и 206 токенов в секунду суммарно, когда генерируют все семь.

Автор заявляет, что внёс исправления в апстрим vLLM, а также выложил команду запуска и сырые данные в публичном репозитории на GitHub. Среди ключевых оптимизаций — вынос PLE на SSD, что позволяет сэкономить 108 ГБ системной оперативной памяти. Кроме того, используется int8-квантование KV-кэша, чтобы уместить больше пользователей в видеопамять без потери производительности, характерной для fp8.

Отчёт продолжает серию экспериментов того же автора: ранее он публиковал результаты запуска Qwen3.8-Flash-Next на шести RTX 3090 и шести RTX 4090 без NVLink. Тогда речь шла об исправлениях производительности для мульти-GPU конфигураций на базе llama. Новая работа смещает фокус на vLLM и оптимизацию памяти.

Практическая ценность таких отчётов в том, что они показывают, как устаревшие потребительские GPU можно приспособить для обслуживания больших языковых моделей с длинным контекстом. Это важно для локальных развёртываний, где нет доступа к серверным ускорителям вроде H100. Связка из шести 3090 остаётся относительно доступным способом собрать inference-узел.

Отдельного внимания заслуживает экономия системной памяти за счёт переноса PLE на SSD: 108 ГБ — существенный объём, который иначе пришлось бы докупать. В сочетании с int8 KV-кэшем это позволяет масштабировать число одновременных сессий без замены железа. Автор подчёркивает, что предложенные правки уже отправлены в апстрим vLLM.

Пока неизвестно, будут ли эти исправления приняты мейнтейнерами vLLM и в какие сроки. Также нет независимого подтверждения заявленных цифр — все измерения приведены самим автором. Тем не менее публикация вызвала интерес в сообществе LocalLLaMA, где тема бюджетного мульти-GPU inference остаётся одной из самых обсуждаемых.