Асинхронное сжатие контекста для локальных агентов
Автор описывает метод асинхронного ротационного сжатия контекста, позволяющий избежать пауз в диалоге с локальным ИИ-агентом. Подход снижает потерю деталей при переполнении контекстного окна.
llama.cpp
7 материалов · хроника по теме
Тест MoE-моделей для кодинга на GTX 1080 Ti
Автор сравнил MoE-модели для локального кодинга на старой видеокарте, сопоставив перплексию и реальную скорость. Материал полезен тем, кто запускает модели на ограниченном железе.
AnythingLLM переходит с Ollama на Lemonade и llama.cpp
Команда AnythingLLM объяснила смену бэкенда с Ollama на Lemonade и llama.cpp. Решение затрагивает пользователей локального запуска моделей и может повлиять на совместимость инструментов.
Домашний сервер на Tesla V100 32 ГБ для локальных моделей
Автор собрал домашний сервер на старой Tesla V100 32 ГБ и провёл замеры скорости локальных моделей до 120 млрд параметров. Часть первоначальных выводов оказалась ошибками измерения.
35B-модель выдаёт 109 ток/с на двух GPU
Автор запустил Qwen3.6-35B-A3B на связке RTX 5080 и RTX 3060 и получил 109 токенов в секунду. Ограничение PCIe Gen2 x4 не помешало генерации, что показывает возможности гибридных локальных конфигураций.
Кастомный megakernel ускорил Qwen3.8-27B на RTX 3090
Разработчик с помощью Claude Opus 5.5 написал CUDA-megakernel для Qwen3.8-27B, который на одной RTX 3090 выдаёт до 140 токенов в секунду при генерации кода — в 1,9 раза быстрее llama.cpp. Результат показывает, что оптимизация ядра может дать больше, чем квантование, для локального инференса.
Как поднять токены в секунду без смены кванта
Пользователь месяц подбирал параметры llama.cpp на связке RX 6700 XT и Ryzen 5 5600X и добился 30 токенов в секунду без изменения квантования. Опыт полезен для локального инференса на потребительском железе.