Тест MoE-моделей для кодинга на GTX 1080 Ti

Автор с Хабра продолжил серию экспериментов по запуску больших языковых моделей на устаревшей видеокарте GTX 1080 Ti с 11 ГБ видеопамяти. В первой статье он показал, что 176B-модель Qwen3.8-Flash-Next работает через llama.cpp с правильным offload и DeepSeek Harness, выдавая около 11 токенов в секунду. Во второй статье он сравнил несколько MoE-моделей (35B, 120B, 176B) в реальной задаче — написании простого погодного сервера на Go.

Неожиданным победителем того теста стала Qwen3.8-35B-A3B-Q4_K_M: она справилась с задачей за 15 минут при скорости 30 токенов в секунду, тогда как Flash-Next «думала» три часа. После публикации читатели указали на пропущенные модели, и автор провёл дополнительное тестирование. В новой работе он измерил перплексию (PPL) на двух корпусах — естественный язык WikiText-2 и Go-код из подмножества The Pile — а также скорость генерации через llama-bench.

Для замеров использовалась сборка llama.cpp с поддержкой архитектуры qwen4exp, CUDA 12.x и CMAKE_CUDA_ARCHITECTURES=61. Параметры PPL были одинаковыми: n_ctx=512, batch_size=2048, n_seq=4; число слоёв на GPU подбиралось так, чтобы избежать OOM. Корпус Go-кода составил 6,6 МБ, 237 923 строки и 4570 чанков при контексте 512, что обеспечило стабильную оценку. Автор отмечает, что выбрал Go, поскольку сам пишет на нём, и хочет понять, насколько модель «чувствует» этот язык, а не только Python из популярных бенчмарков.

На естественном языке плотная 27B-модель в кванте Q4_K_M и MoE-модель 35B-A3B Q4_K_M показали почти одинаковую перплексию — 6,96 против 6,956. При этом MoE-версия оказалась в 1,7 раза быстрее. Дополнительная модель Distill в кванте IQ3_XXS немного уступила по качеству (PPL 7,15), но ещё больше выиграла в скорости — 4,09 секунды на проход. На Go-коде 35B-A3B Q4_K_M показала лучшую PPL — 1,4849, что ниже, чем у 27B (1,5943) и Distill (1,5662).

Автор предупреждает, что перплексия 1,48–1,59 на Go может показаться «слишком хорошей»: код структурно предсказуемее естественного языка из-за повторяющихся ключевых слов, отступов и типовых конструкций. Поэтому абсолютные значения PPL на коде нельзя сравнивать с PPL на WikiText — это разные шкалы, важно только соотношение между моделями на одном корпусе. По скорости генерации плотная 27B оказалась самой медленной — 4,04 токена в секунду, так как все 27B параметров участвуют в каждом токене. MoE-модель 35B-A3B Q4_K_M выдала 21,4 токена в секунду (активируется около 3B параметров), а Distill IQ3_XXS — 31,66 токена в секунду, почти в 8 раз быстрее плотной 27B. По обработке промпта (pp512) Distill тоже лидирует с 621 токеном в секунду.

Итоговые рекомендации автора: Qwen3.8-35B-A3B-Q4_K_M — оптимальный выбор благодаря лучшей PPL на обоих корпусах, 21,4 токена в секунду генерации и 392 токена в секунду обработки промпта. Distill IQ3_XXS теряет в качестве совсем немного (7,15 против 6,96 на Wiki, 1,566 против 1,485 на Go), но даёт в 1,5 раза больше токенов в секунду, что может быть решающим для агентных задач. Плотная 27B UD-Q4_K_M не даёт ни лучшего качества, ни скорости; её единственное преимущество — меньший размер (15,3 ГиБ против 20,2 ГиБ), что важно при ограниченном диске или VRAM.

Главный вывод тестирования: MoE-архитектура — не компромисс, а преимущество на слабом железе. Qwen3.8-35B-A3B в кванте Q4_K_M обходит плотную 27B и по качеству, и по скорости, активируя всего около 3B параметров на токен. GTX 1080 Ti, выпущенная почти десять лет назад, остаётся рабочей лошадкой для локального ИИ при правильном выборе модели и кванта, а перплексия и llama-bench дают объективную картину, согласующуюся с субъективным опытом написания кода.