Sabi-Noema: дообучение Qwen 3.8 27B на эффективность
Вышла дообученная версия Qwen 3.8 27B, ориентированная на баланс возможностей и эффективности. Релиз рассчитан на локальный запуск и интересен сообществу открытых моделей.
инференс
14 материалов · хроника по теме
Разработчик рассказал о 100 млрд токенов в llm7.io
Разработчик из Кембриджа подвёл итоги полутора лет работы бесплатного сервиса инференса LLM llm7.io. Через сервис прошло более 100 млрд токенов, автор столкнулся со спамом и абьюзом.
Vast Data сделала ставку на целостность ИИ-конвейеров
Компания утверждает, что конвейеры, собранные из разрозненных инструментов, не позволяют синхронизировать эмбеддинги, права доступа и исходные данные. Это ограничивает применение ИИ к наиболее чувствительным корпоративным данным.
Apple превращает простаивающие Mac в GPU-облако
Исследователи Apple описали систему Minions, которая запускает задачи ИИ-инференса на простаивающих Mac с Apple Silicon при нехватке GPU. Это внутренний инструмент, показывающий, как компания решает дефицит ускорителей.
Qwen 27B запустили на GPU взломанной PS5
Энтузиаст запустил модель Qwen 27B на GPU взломанной консоли PS5 со скоростью около 20 токенов в секунду. Случай показывает, что локальный инференс становится возможен даже на нестандартном потребительском железе.
Транспорт KV-кэша проверили на инференсе MiniMax-M3
Автор сравнил RDMA/InfiniBand с GPUDirect и TCP/Ethernet при disaggregated-инференсе MiniMax-M3 на кластере из восьми NVIDIA B200. Результаты показывают, как выбор транспорта KV-кэша влияет на производительность prefill и decode на разных GPU-узлах.
AnythingLLM переходит с Ollama на Lemonade и llama.cpp
Команда AnythingLLM объяснила смену бэкенда с Ollama на Lemonade и llama.cpp. Решение затрагивает пользователей локального запуска моделей и может повлиять на совместимость инструментов.
Два Mac Ultra объединили для prefill и decode
Энтузиаст объединил M5 Ultra на 256 ГБ с M3 Ultra на 512 ГБ для раздельного prefill и decode через Thunderbolt 5 RDMA. Схема решает проблему медленного prefill на длинных промптах без замены старой машины.
Basalt ускоряет инференс Qwen 3.8 на Blackwell
Представлен движок инференса Basalt для Qwen 3.8 Flash Next на архитектуре Blackwell, с бесплатно полученным зрением. Решение нацелено на быстрый локальный запуск модели.
Dell и Intel оценили затраты на масштабирование корпоративного ИИ
Рост агентных нагрузок приводит к быстрому расходу бюджетов на облачные токены, что заставляет компании пересматривать стратегию развёртывания. Всё чаще рассматриваются локальная инфраструктура и открытые модели.
Intel выпустила ускоритель Crescent Island как GPU D-Series
Intel выводит инференс-ускоритель Crescent Island на рынок под именем GPU D-Series: 1,3 PFLOPS в FP8 и до 480 ГБ LPDDR5X с пропускной способностью 1,5 ТБ/с. Продукт усиливает конкуренцию на рынке ИИ-ускорителей для инференса.
Microsoft масштабирует чипы Maia до гигаватт к 2027
Microsoft планирует с 2027 года сделать собственные чипы Azure Maia основной системой инференса ИИ в своих продуктах, развернув их в масштабе нескольких гигаватт. Maia 300 должна выдавать на 40% больше токенов на мегаватт, чем ведущие GPU-системы. Сатья Наделла называет это крупнейшей ставкой компании на собственный кремний.
Graphsignal выпустил top для инференс-GPU
В открытом профайлере Graphsignal появилась утилита graphsignal-top, показывающая в реальном времени загрузку GPU при инференсе с ранжированием ядер по времени и читаемыми именами. Инструмент упрощает диагностику узких мест при работе с моделями.
Microsoft снижает зависимость от GPU Nvidia с Maia 300
Microsoft представила чип Maia 300 третьего поколения как основной инференс-ускоритель для своих облачных сервисов. Чип лучше справляется с reasoning-моделями и агентными задачами, снижая зависимость от GPU Nvidia. Это усиливает конкуренцию на рынке ИИ-железа.