Асинхронное сжатие контекста для локальных агентов
Автор описывает метод асинхронного ротационного сжатия контекста, позволяющий избежать пауз в диалоге с локальным ИИ-агентом. Подход снижает потерю деталей при переполнении контекстного окна.
qwen
26 материалов · хроника по теме
Sabi-Noema: дообучение Qwen 3.8 27B на эффективность
Вышла дообученная версия Qwen 3.8 27B, ориентированная на баланс возможностей и эффективности. Релиз рассчитан на локальный запуск и интересен сообществу открытых моделей.
Qwen 3.8 27B запустили на взломанной PS5
Энтузиаст обошёл защиту PS5 и запустил модель Qwen 3.8 27B на её GPU со скоростью около 20 токенов в секунду. Случай показывает, что потребительское железо консолей пригодно для локального инференса LLM.
Проверка температуры модели на генерации сюжетов
Автор сравнила 48 ответов двух моделей Qwen при разных значениях температуры и выяснила, что новые сюжеты появляются уже при 0,2, а при 1,2 в текст попадают обрывки кода. Материал объясняет, как настройка температуры влияет на разнообразие генерации.
Zellige AI выпустила дообучение Qwen Tessera-27B
Zellige AI представила Tessera-27B-B-CJK — дообученную версию Qwen с новыми подходами к экономии токенов. Релиз ориентирован на сообщество локальных моделей.
Telperion выпустила латентные варианты Qwen3.8-27B
Telperion представила модели Qwen3.8-27B-MLA и Qwen3.8-27B-GLA-g2 с латентным вниманием. Они уменьшают KV-кэш вчетверо и повышают эффективность рассуждений.
Открытые модели Китая отстают от США на 7 месяцев
Согласно анализу, китайские модели с открытыми весами уступают закрытым американским примерно на семь месяцев. Разрыв заметно сократился, что усиливает конкуренцию на рынке открытых ИИ-моделей.
Китай одобрил модели Alibaba для iPhone
Китай выдал разрешение на интеграцию ИИ-моделей Alibaba в ряд смартфонов Apple, включая новый iPhone Duo, для китайского рынка. Это снимает ключевое регуляторное препятствие для долгожданного запуска Apple Intelligence в стране.
Тест MoE-моделей для кодинга на GTX 1080 Ti
Автор сравнил MoE-модели для локального кодинга на старой видеокарте, сопоставив перплексию и реальную скорость. Материал полезен тем, кто запускает модели на ограниченном железе.
Локальный Qwen3.8FN дешевле облака
Пользователь сравнил стоимость запуска агента на локальной модели Qwen3.8FN с облачными сервисами и выявил экономию при непиковых тарифах на электричество. Результат важен для оценки локального инференса как альтернативы облаку.
Qwen 27B запустили на GPU взломанной PS5
Энтузиаст запустил модель Qwen 27B на GPU взломанной консоли PS5 со скоростью около 20 токенов в секунду. Случай показывает, что локальный инференс становится возможен даже на нестандартном потребительском железе.
Basalt ускоряет инференс Qwen 3.8 на Blackwell
Представлен движок инференса Basalt для Qwen 3.8 Flash Next на архитектуре Blackwell, с бесплатно полученным зрением. Решение нацелено на быстрый локальный запуск модели.
По logprobs нашли ошибки в ответах LLM
Команда Ингосстраха описала метод выявления ошибок мультимодальных LLM через logprobs при обработке документов. Подход позволяет определять, какие ответы модели требуют перепроверки.
Самоулучшающаяся модель Sakana AI не видит своих слепых зон
Метод MASS от Sakana AI позволяет модели улучшать себя, решая задачи и оценивая результаты, достигая почти 70% побед над базовой моделью за два раунда. Однако при систематических ошибках во всех трёх ролях модель закрепляет их как прогресс.
Boole-1.7B: 1-битная модель обошла Bonsai-1.7B
В сообществе LocalLLaMA представлена 1-битная модель Boole-1.7B на базе Qwen3-1.7B, которая превосходит Bonsai-1.7B. Релиз важен для локального запуска моделей на слабом железе.
Qwen выпустила RL-фреймворк QwenGyre для агентов
Qwen представила QwenGyre — фреймворк обучения с подкреплением для тренировки ИИ-агентов на особо длинных и сложных задачах. Решение нацелено на повышение автономности агентов в многошаговых сценариях.
RTX 5070 Ti против российского облака
Автор сравнил локальный прогон Qwen3.8-27B IQ3 на RTX 5070 Ti с российским облаком. На его задачах модель показала 91.1% успеха при скорости 68.3 tok/s и контексте 131K.
Qwen3.8-Flash-Next на шести RTX 3090 через vLLM
Автор показал конфигурацию vLLM для Qwen3.8-Flash-Next на шести RTX 3090: семь пользователей при контексте 262k, префилл 6,5 тыс. токенов в секунду. Предложены исправления для upstream, вынос PLE на SSD и int8 KV-кэш для экономии памяти.
Сканер чеков на локальной vision-модели 0.8B
Разработчик выпустил Android-приложение, которое распознаёт чеки через дообученную vision-модель на 0.8 млрд параметров прямо на телефоне. Данные не отправляются на серверы, а расходы отслеживаются по каждой позиции покупки.
35B-модель выдаёт 109 ток/с на двух GPU
Автор запустил Qwen3.6-35B-A3B на связке RTX 5080 и RTX 3060 и получил 109 токенов в секунду. Ограничение PCIe Gen2 x4 не помешало генерации, что показывает возможности гибридных локальных конфигураций.
Cloudflare выпустила мультимодальную модель Clef-omni
Cloudflare представила Clef-omni — мультимодальную модель на 30 млрд параметров под лицензией Apache-2.0 на базе Qwen3-Omni. Она оценивает текст, изображения, аудио и видео за один вызов по цене 0,15 доллара за миллион входных токенов.
vLLM Semantic Router выпустил Decision 3.0
Проект vLLM Semantic Router представил Decision 3.0 — пять мультимодальных решающих моделей от 0,8 до 27 млрд параметров под лицензией Apache-2.0. Они отвечают на вопросы выбора, «да/нет» и оценки по тексту и изображениям за один вызов, не генерируя текст.
Разработчик собрал ИИ-гид по учебникам обществознания
На Хабре описан прототип чат-бота, который ищет ответы в текстах школьных учебников по обществознанию и указывает страницу источника. Проект построен на pymupdf4llm, FAISS, multilingual-e5-large и Qwen2.5-3B на бесплатной видеокарте T4.
На $500 платах BC-250 запустили Qwen 3.6 на 145 ток/с
Энтузиаст запустил Next Flash IQ3_XXS и две копии Qwen 3.6 35B A3B на бывших майнинговых платах BC-250 общей стоимостью около $500. Результат показывает дешёвый путь к локальному инференсу с большим контекстом.
Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке
Локальная модель Qwen3.8 27B превзошла GPT-5.6 в SQL-бенчмарке, запустившись на обычном MacBook. Стоимость запросов почти нулевая, но генерация одного ответа занимает несколько минут.
Кастомный megakernel ускорил Qwen3.8-27B на RTX 3090
Разработчик с помощью Claude Opus 5.5 написал CUDA-megakernel для Qwen3.8-27B, который на одной RTX 3090 выдаёт до 140 токенов в секунду при генерации кода — в 1,9 раза быстрее llama.cpp. Результат показывает, что оптимизация ядра может дать больше, чем квантование, для локального инференса.