Как поднять токены в секунду без смены кванта

Пользователь Reddit под ником, опубликовавший пост в сообществе LocalLLaMA, рассказал о месяце экспериментов с настройками локального запуска больших языковых моделей. Его цель — повысить скорость генерации токенов, не прибегая к изменению квантования модели. В текущей конфигурации ему удалось достичь 30 токенов в секунду (tps).

Аппаратная конфигурация включает видеокарту AMD Radeon RX 6700 XT с 12 ГБ видеопамяти, два модуля оперативной памяти DDR4-3200 по 16 ГБ, процессор Ryzen 5 5600X и операционную систему Windows 11. Для запуска моделей используется llama.cpp с бэкендом Vulkan. Автор сознательно отказался от WSL, так как не привык к этой среде.

В качестве моделей применяются квантованные версии q8 и q4_k_xl, которые он не планирует менять. Основной параметр, который удалось оптимизировать, — количество потоков. По словам пользователя, наилучший результат показало значение 6 потоков, тогда как варианты 4, 8 и 12 оказались хуже.

Автор ищет способы поднять производительность до 40 tps без снижения точности квантования. Он отмечает, что не уверен, какие ещё настройки могут повлиять на скорость в его случае. Пост носит характер запроса помощи у сообщества.

Контекст: подобные эксперименты популярны среди энтузиастов локального инференса, которые стремятся выжать максимум из потребительского железа. Однако без изменения квантования или аппаратного апгрейда прирост обычно ограничен.