Цены на RTX 5060 Ti в Японии выросли на 144%
В Японии стоимость Nvidia RTX 5060 Ti 16 ГБ подскочила до 144%, достигнув $1292, а RTX 5080 подорожала выше $2400. Рост цен на потребительские GPU отражает дефицит мощностей под нагрузкой ИИ-спроса.
локальные модели
31 материалов · хроника по теме
Асинхронное сжатие контекста для локальных агентов
Автор описывает метод асинхронного ротационного сжатия контекста, позволяющий избежать пауз в диалоге с локальным ИИ-агентом. Подход снижает потерю деталей при переполнении контекстного окна.
Sabi-Noema: дообучение Qwen 3.8 27B на эффективность
Вышла дообученная версия Qwen 3.8 27B, ориентированная на баланс возможностей и эффективности. Релиз рассчитан на локальный запуск и интересен сообществу открытых моделей.
Zellige AI выпустила дообучение Qwen Tessera-27B
Zellige AI представила Tessera-27B-B-CJK — дообученную версию Qwen с новыми подходами к экономии токенов. Релиз ориентирован на сообщество локальных моделей.
Telperion выпустила латентные варианты Qwen3.8-27B
Telperion представила модели Qwen3.8-27B-MLA и Qwen3.8-27B-GLA-g2 с латентным вниманием. Они уменьшают KV-кэш вчетверо и повышают эффективность рассуждений.
MiniCPM-V 4.7 запустили на смартфоне с 3 ГБ памяти
Продемонстрирована работа 35B мультимодальной модели MiniCPM-V 4.7 на телефоне при примерно 3 ГБ памяти. Это заметный шаг для локального запуска крупных моделей на мобильных устройствах.
JetBrains выпустила Mellum 2.1 12B MoE
JetBrains представила модель Mellum 2.1 на 12B параметров с архитектурой MoE и 2.5B активных. Она показывает высокую скорость генерации и подходит для GPU от 8–16 ГБ.
RTX 5090 попала в списки контрабанды
Видеокарту RTX 5090 начали перевозить контрабандой наравне с сигаретами из-за высокого спроса на вычисления для ИИ. Это отражает дефицит и рост цен на ускорители.
Ollama встроили в десктопный лаунчер для трёх ОС
Автор открытого лаунчера Lumi рассказал о встраивании Ollama для офлайн-ИИ на Windows, macOS и Linux. Описаны реальные тесты, цифры и ошибки при работе без интернета.
Тест MoE-моделей для кодинга на GTX 1080 Ti
Автор сравнил MoE-модели для локального кодинга на старой видеокарте, сопоставив перплексию и реальную скорость. Материал полезен тем, кто запускает модели на ограниченном железе.
AnythingLLM переходит с Ollama на Lemonade и llama.cpp
Команда AnythingLLM объяснила смену бэкенда с Ollama на Lemonade и llama.cpp. Решение затрагивает пользователей локального запуска моделей и может повлиять на совместимость инструментов.
Два Mac Ultra объединили для prefill и decode
Энтузиаст объединил M5 Ultra на 256 ГБ с M3 Ultra на 512 ГБ для раздельного prefill и decode через Thunderbolt 5 RDMA. Схема решает проблему медленного prefill на длинных промптах без замены старой машины.
LFM2.5-24B-A2B запускает приватных агентов на устройстве
Вышла модель LFM2.5-24B-A2B, предназначенная для запуска быстрых приватных агентов прямо на устройстве. Это позволяет обрабатывать данные локально, без передачи в облако.
Tencent открыла память агентов на локальном SQLite
Tencent выложила в открытый доступ систему памяти для ИИ-агентов, работающую полностью локально на SQLite. Это снижает зависимость разработчиков от облачных решений и затрагивает рынок стартапов в области памяти.
RAG с малой моделью прямо в браузере
В обсуждении на Lobsters показан запуск RAG-конвейера на небольшой языковой модели целиком в браузере. Такой подход позволяет строить приватные поисковые ассистенты без серверной инфраструктуры.
RTX 3090 FE перегревает VRAM при запуске LLM
Пользователи сообщают о перегреве видеопамяти на RTX 3090 Founders Edition при длительном инференсе больших языковых моделей. Это важно для владельцев карт, использующих их для локального запуска ИИ.
Четыре RTX 6000 Pro обслуживают 40 сотрудников
Автор описал конфигурацию из четырёх видеокарт RTX 6000 Pro для локального инференса на 40 человек. Кейс показывает практику корпоративного развёртывания ИИ на собственном железе.
Basalt ускоряет инференс Qwen 3.8 на Blackwell
Представлен движок инференса Basalt для Qwen 3.8 Flash Next на архитектуре Blackwell, с бесплатно полученным зрением. Решение нацелено на быстрый локальный запуск модели.
Конвейер перевода и вёрстки книг на локальных моделях
Разработчик собрал открытый конвейер перевода и вёрстки книг на базе MinerU и Hy-MT2, работающий локально на видеокарте без управляющего ИИ-агента. Решение позволяет бесплатно переводить и верстать целые книги без ограничений облачных сервисов.
Домашний сервер на Tesla V100 32 ГБ для локальных моделей
Автор собрал домашний сервер на старой Tesla V100 32 ГБ и провёл замеры скорости локальных моделей до 120 млрд параметров. Часть первоначальных выводов оказалась ошибками измерения.
Qwen3.8-Flash-Next на шести RTX 3090 через vLLM
Автор показал конфигурацию vLLM для Qwen3.8-Flash-Next на шести RTX 3090: семь пользователей при контексте 262k, префилл 6,5 тыс. токенов в секунду. Предложены исправления для upstream, вынос PLE на SSD и int8 KV-кэш для экономии памяти.
Плагин-анализатор прозы для DeepSeek Harness
Разработчик выпустил плагин для анализа текстов художественной прозы в среде DeepSeek Harness. Инструмент ориентирован на авторов, которым нужна автоматическая оценка структуры и стиля рукописи.
QLoRA-дообучение квантованных моделей ExLlamaV3
Представлен метод QLoRA для дообучения моделей, квантованных в формате ExLlamaV3, с точностью от 2 до 8 бит на вес. Подход позволяет дообучать большие модели на ограниченном железе без полного развёртывания в высокой точности.
Сканер чеков на локальной vision-модели 0.8B
Разработчик выпустил Android-приложение, которое распознаёт чеки через дообученную vision-модель на 0.8 млрд параметров прямо на телефоне. Данные не отправляются на серверы, а расходы отслеживаются по каждой позиции покупки.
VectorDash заменит поиск Windows на EmbeddingGemma 2
Вышел VectorDash — полноценная замена поиска Windows 11 на базе EmbeddingGemma 2. Индексирует фото, аудио, видео, PDF и документы Office, позволяя искать по смыслу.
Журналист описал опыт перехода на локальный ИИ
Автор The Verge рассказал о сложностях и преимуществах запуска мощных моделей локально вместо облачных сервисов. Причиной стала неготовность передавать личные данные в облако.
RTX 5060 запустила macOS 15 через неофициальный драйвер
Неофициальный драйвер позволил NVIDIA GeForce RTX 5060 работать в macOS 15 с ускорением Metal 3. Это открывает нестандартные сценарии для локального ИИ на Mac.
Qualcomm: к 2028 году ждут модели на 100 млрд параметров в телефонах
Глава Qualcomm заявил, что ИИ-компании хотят видеть смартфоны, постоянно работающие со 100-миллиардными моделями к 2028 году. Это задаёт ориентир для мобильного железа и локального инференса.
На рынке появились поддельные RTX 4090
Сообщается о новых подделках RTX 4090, у которых GPU и память почти неотличимы от настоящих. Это риск для покупателей железа под локальный ИИ.
Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке
Локальная модель Qwen3.8 27B превзошла GPT-5.6 в SQL-бенчмарке, запустившись на обычном MacBook. Стоимость запросов почти нулевая, но генерация одного ответа занимает несколько минут.
Открытое Mac-приложение ищет файлы через EmbeddingGemma 2
Вышло open-source приложение для macOS, которое локально запускает EmbeddingGemma 2 и ищет файлы по содержимому. Решение позволяет организовать семантический поиск без облачных сервисов.