Stepfun выпустила Step-5-Preview на 600B параметров
Stepfun представила предварительную версию модели Step-5 с 600B параметров, 27B активных и контекстом до 1 млн токенов. Релиз крупной открытой MoE-модели расширяет возможности локального запуска.
llm
30 материалов · хроника по теме
Асинхронное сжатие контекста для локальных агентов
Автор описывает метод асинхронного ротационного сжатия контекста, позволяющий избежать пауз в диалоге с локальным ИИ-агентом. Подход снижает потерю деталей при переполнении контекстного окна.
inclusionAI выложила модель Ling-3.1-flash
Компания inclusionAI опубликовала на Hugging Face модель Ling-3.1-flash. Релиз расширяет доступный набор открытых языковых моделей.
Разработчик рассказал о 100 млрд токенов в llm7.io
Разработчик из Кембриджа подвёл итоги полутора лет работы бесплатного сервиса инференса LLM llm7.io. Через сервис прошло более 100 млрд токенов, автор столкнулся со спамом и абьюзом.
NeuroCut: локальный ИИ-ассистент для чернового монтажа
Разработчик представил NeuroCut — локальный AI-ассистент для чернового монтажа видео. Инструмент создан как побочный проект DIY-энтузиаста и призван ускорить разбор накопленных видеоматериалов.
Зачем нужны эвалы для LLM-фич
Автор объясняет, что такое эвалы для LLM-фич, где их запускать и какие проблемы возникают без них. Без эвалов невозможно объективно оценить, стало ли лучше после смены промпта или модели.
Регрессионное тестирование промптов выявило пропуски
Автор собрал набор примеров с известным ответом и прогнал проверку, где ИИ-модель играет читателя. Сильно правленые тексты она пропускала чаще, чем возвращала, что указывает на слабость такого способа контроля правок промптов.
Ollama встроили в десктопный лаунчер для трёх ОС
Автор открытого лаунчера Lumi рассказал о встраивании Ollama для офлайн-ИИ на Windows, macOS и Linux. Описаны реальные тесты, цифры и ошибки при работе без интернета.
Вышел Koboldcpp v1.123
Опубликована новая версия Koboldcpp — инструмента для локального запуска языковых моделей. Обновление ориентировано на энтузиастов, работающих с ИИ без облака.
Слои работающей модели переносят между GPU за 8 мс
Разработчик показал перенос слоёв работающей модели между GPU за 8 миллисекунд без повторного префилла. Такой подход упрощает балансировку нагрузки и обслуживание без остановки генерации.
Meta подтвердила открытые веса Muse Spark
Meta заявила, что модель Muse Spark будет выпущена с открытыми весами, несмотря на опасения отказа от планов. Это важно для сообщества открытых моделей и разработчиков локальных решений.
Сайт автора захлестнул трафик ИИ-ботов
Разработчик рассказал, как после публикации на Hacker News его сайт заполонил трафик ИИ-ботов. Случай иллюстрирует растущую нагрузку на инфраструктуру от краулеров генеративных сервисов.
Как построить ИИ-обвязку для геймдева
Опубликован разбор инженерного подхода к созданию ИИ-инструментов для разработки игр на базе Claude Code. Материал полезен разработчикам, внедряющим агентов в игровой пайплайн.
Текстовые водяные знаки LLM: что важно знать
Claude и OpenAI уже внедряют водяные знаки в вывод текстовых моделей. Материал объясняет, как работает маркировка и почему её не стоит бояться.
Разбор шести причин сбоев памяти RAG-агентов
Материал объясняет технологию RAG и перечисляет шесть типовых причин, из-за которых память ИИ-агента работает плохо. Отдельно описан порядок диагностики этапа retrieval.
По logprobs нашли ошибки в ответах LLM
Команда Ингосстраха описала метод выявления ошибок мультимодальных LLM через logprobs при обработке документов. Подход позволяет определять, какие ответы модели требуют перепроверки.
Рич Хики: ИИ — не инструмент
Эссе Рича Хики вызвало активное обсуждение на Hacker News: автор утверждает, что ИИ нельзя рассматривать просто как инструмент. Тезис затрагивает границы применимости метафоры инструмента к генеративным системам.
Дешёвая модель-фильтр перед Claude
Автор поставил дешёвую модель Jev перед Claude Sonnet для отсева лишних материалов и описал результаты двух недель работы. Формулировка вопроса оказалась важнее выбора модели: AUC вырос с 0,46 до 0,95.
Карпатый: мир увидел лишь превью возможностей ИИ
Андрей Карпатый заявил о растущем разрыве в знаниях об ИИ: около 75% населения почти не пользовались LLM, тогда как порядка 5000 человек имеют доступ к внутренним фронтир-системам с агентными роями. Публика видит лишь «странного чат-бота». Это подчёркивает неравенство доступа к передовым ИИ-возможностям.
ИИ-секретарь за $77 в месяц на DeepSeek
Разработчик ИИ-секретаря в Telegram и MAX рассказал, что 88% ответов даёт DeepSeek, а 7% запросов к Opus съедают три четверти бюджета. За 30 дней 118 пользователей отправили 8568 запросов, общая стоимость моделей составила $77.
Почему на десктопе нет T9 и при чём тут LLM
Автор разбирает, почему умная автокоррекция ввода так и не появилась на десктопе, тогда как на смартфонах она стала нормой. В качестве возможного решения рассматривается применение больших языковых моделей для предсказания и исправления текста на ПК.
Битрикс24 развернула LLM на 1Т параметров
В Битрикс24 развернули собственную языковую модель на 1 трлн параметров и столкнулись с распределением ресурсов между чатами, длинными документами и агентами. Инженеры описали, как выстраивали очередь запросов, загрузку между пиками и проверку качества ответов после оптимизаций.
Плагин-анализатор прозы для DeepSeek Harness
Разработчик выпустил плагин для анализа текстов художественной прозы в среде DeepSeek Harness. Инструмент ориентирован на авторов, которым нужна автоматическая оценка структуры и стиля рукописи.
МАЯК: конвейер от ТЗ до тест-дизайна
Автор собрал конвейер из 58 блоков, который превращает техническое задание в канонизированные требования и тест-дизайн с гейтами доверия. На синтетическом ТЗ система поймала девять ловушек из десяти, десятую выявил человек по вопросам от машины.
Почему ИИ-агенты подходят не всем
В 2026 году ИИ-агенты стали повсеместными: их применяют для написания кода, работы с клиентами и решения задач в ИТ-среде. Автор разбирает случаи, когда внедрение агентов неоправданно и приносит больше рисков, чем пользы.
Можно ли обучить малую LLM без роста весов
Автор на Хабре продолжает опыты с небольшой LLM, которая должна умнеть за счёт памяти и дообучения, а не роста параметров. Повторное обучение упёрлось в потолок.
Разработчик собрал ИИ-гид по учебникам обществознания
На Хабре описан прототип чат-бота, который ищет ответы в текстах школьных учебников по обществознанию и указывает страницу источника. Проект построен на pymupdf4llm, FAISS, multilingual-e5-large и Qwen2.5-3B на бесплатной видеокарте T4.
Угодливость ИИ мешает точности меддиагнозов
Исследование в журнале Artificial Intelligence in Medicine показывает, что склонность языковых моделей соглашаться со пользователем снижает надёжность медицинских диагнозов. Это ставит под вопрос применение ИИ в клинической практике.
Нейросети учатся вычислять веса вместо хранения
Обзор подходов, при которых веса нейросети не хранятся, а вычисляются по компактному «рецепту» — от генеративных сетей до формул и фракталов. Автор разбирает, какие методы работают и какую цену за компактность приходится платить.
Сравнили 1С Напарник с open-source помощником
Автор собрал интерактивного помощника на open-source стеке и сравнил его с 1С Напарником на семи рабочих вопросах. Разбор показывает, что даёт привилегированный доступ вендора к материалам 1С на практике.