Qwen 3.8 27B запустили на взломанной PS5
Энтузиаст обошёл защиту PS5 и запустил модель Qwen 3.8 27B на её GPU со скоростью около 20 токенов в секунду. Случай показывает, что потребительское железо консолей пригодно для локального инференса LLM.
локальный инференс
9 материалов · хроника по теме
Слои работающей модели переносят между GPU за 8 мс
Разработчик показал перенос слоёв работающей модели между GPU за 8 миллисекунд без повторного префилла. Такой подход упрощает балансировку нагрузки и обслуживание без остановки генерации.
Meta подтвердила открытые веса Muse Spark
Meta заявила, что модель Muse Spark будет выпущена с открытыми весами, несмотря на опасения отказа от планов. Это важно для сообщества открытых моделей и разработчиков локальных решений.
Локальный Qwen3.8FN дешевле облака
Пользователь сравнил стоимость запуска агента на локальной модели Qwen3.8FN с облачными сервисами и выявил экономию при непиковых тарифах на электричество. Результат важен для оценки локального инференса как альтернативы облаку.
Boole-1.7B: 1-битная модель обошла Bonsai-1.7B
В сообществе LocalLLaMA представлена 1-битная модель Boole-1.7B на базе Qwen3-1.7B, которая превосходит Bonsai-1.7B. Релиз важен для локального запуска моделей на слабом железе.
RTX 5070 Ti против российского облака
Автор сравнил локальный прогон Qwen3.8-27B IQ3 на RTX 5070 Ti с российским облаком. На его задачах модель показала 91.1% успеха при скорости 68.3 tok/s и контексте 131K.
На $500 платах BC-250 запустили Qwen 3.6 на 145 ток/с
Энтузиаст запустил Next Flash IQ3_XXS и две копии Qwen 3.6 35B A3B на бывших майнинговых платах BC-250 общей стоимостью около $500. Результат показывает дешёвый путь к локальному инференсу с большим контекстом.
Кастомный megakernel ускорил Qwen3.8-27B на RTX 3090
Разработчик с помощью Claude Opus 5.5 написал CUDA-megakernel для Qwen3.8-27B, который на одной RTX 3090 выдаёт до 140 токенов в секунду при генерации кода — в 1,9 раза быстрее llama.cpp. Результат показывает, что оптимизация ядра может дать больше, чем квантование, для локального инференса.
Как поднять токены в секунду без смены кванта
Пользователь месяц подбирал параметры llama.cpp на связке RX 6700 XT и Ryzen 5 5600X и добился 30 токенов в секунду без изменения квантования. Опыт полезен для локального инференса на потребительском железе.