Слои работающей модели переносят между GPU за 8 мс

Разработчик под ником, ведущий проект jitllm, опубликовал в сообществе LocalLLaMA демонстрацию необычной возможности своего инференс-движка: перенос слоёв уже запущенной модели между GPU прямо во время генерации ответа. По заявлению автора, операция занимает около 8 миллисекунд и не требует повторного prefill — то есть обработки всего контекста заново.

Обычно смена конфигурации модели — например, перераспределение слоёв между несколькими видеокартами — означает остановку инференса и повторный прогон промпта через сеть. Это дорого по времени, особенно при длинном контексте, и заметно для пользователя. Если описанный механизм работает так, как заявлено, перераспределение нагрузки становится практически незаметным для текущего диалога.

Практическая ценность такой функции связана с неоднородными конфигурациями: когда в одной машине стоят GPU с разным объёмом памяти, часть слоёв приходится держать на более слабой карте или выгружать в оперативную память. Возможность перекидывать слои на ходу позволяет динамически балансировать память и вычисления, не прерывая генерацию.

jitllm — не первый проект, пытающийся оптимизировать локальный инференс больших языковых моделей. В сообществе LocalLLaMA активно обсуждают llama.cpp, vLLM, ExLlama и другие движки, и конкуренция идёт именно за эффективность использования памяти и скорость на потребительском железе. Заявленные 8 мс выглядят агрессивно даже на фоне этих решений.

Стоит оговориться: детали реализации в доступном тексте не раскрыты, а результаты пока не подтверждены независимыми тестами. Насколько метод масштабируется на модели в десятки миллиардов параметров и на разные архитектуры, из анонса неясно. Тем не менее сама идея «горячей» миграции слоёв между GPU может оказаться полезной для серверных и мульти-GPU конфигураций.

Если подход подтвердится, он может повлиять на то, как строятся локальные инференс-серверы: вместо жёсткого закрепления слоёв за конкретными картами появится возможность перераспределять их по мере необходимости. Это особенно актуально для энтузиастов, собирающих системы из разнородных GPU.