Кастомный megakernel ускорил Qwen3.8-27B на RTX 3090

Пользователь Reddit под ником из сообщества LocalLLaMA сообщил о запуске модели Qwen3.8-27B на одной видеокарте RTX 3090 с самодельным CUDA-мегаядром (megakernel). По его словам, ядро было написано с помощью Claude Opus 5.5 и показывает ускорение в 1,4–1,9 раза по сравнению с llama.cpp в зависимости от задачи и длины контекста.

При генерации кода мегаядро выдаёт 140 токенов в секунду против 73 у llama.cpp с MTP — ускорение примерно в 1,9 раза. При работе с файлом на 4 тыс. токенов в контексте показатель составляет 95 токенов в секунду против 56, то есть в 1,7 раза быстрее. Обработка промпта (prefill) ускоряется с примерно 1100 до 1600 токенов в секунду — в 1,4 раза.

Автор объясняет прирост тем, что мегаядро выполняет весь цикл спекулятивного декодирования целиком, тогда как стандартные реализации разбивают его на отдельные операции. Это снижает накладные расходы на запуск ядер и обращения к памяти — ключевое узкое место при инференсе на потребительских GPU.

RTX 3090 с 24 ГБ памяти остаётся популярной картой для локального запуска моделей среднего размера, и такие оптимизации позволяют приблизить скорость работы 27-миллиардной модели к уровню, комфортному для интерактивного написания кода. Использование Claude Opus 5.5 для генерации CUDA-кода также показывает, как ИИ-ассистенты всё чаще применяются для низкоуровневой оптимизации.

Код и результаты опубликованы в посте, однако независимой проверки заявленных цифр пока нет. Сообщество LocalLLaMA традиционно требует воспроизводимых бенчмарков, поэтому итоговая оценка мегаядра будет зависеть от того, смогут ли другие пользователи повторить замеры на аналогичном железе.