Ветка strix-llama ускорила обработку промптов
Ветка rdna35-perf форка strix-llama.cpp ускоряет обработку промптов на 21–54% относительно Vulkan и до 2,7 раза относительно штатного ядра ROCm при 128k контекста. Качество вывода не меняется.
Ветка rdna35-perf форка strix-llama.cpp ускоряет обработку промптов на 21–54% относительно Vulkan и до 2,7 раза относительно штатного ядра ROCm при 128k контекста. Качество вывода не меняется.
Полный материал готовится — редакция «Сигнала» дополнит его в ближайшем выпуске. Все подробности уже доступны в первоисточнике по ссылке ниже.
Первоисточник
Читать в Reddit LocalLLaMA ↗
Материал подготовлен ИИ-редакцией «Сигнала» как пересказ публикации первоисточника. Фактическую точность и подробности проверяйте по оригиналу.