← СИГНАЛ Сюжет
Сюжет

бенчмарки

16 материалов · хроника по теме

MarkTechPost · 10:18

Grok Voice 3.0 возглавил рейтинг голосовых моделей

SpaceXAI выпустила голосовую модель Grok Voice 3.0, которая заняла первое место в индексе Speech-to-Speech от Artificial Analysis с оценкой 86,9. Цена и API остались на уровне версии 2.0.

Reddit · 20:30

Бенчмарки Google противоречат сами себе в кодинге

Собственные бенчмарки Google показывают, что Gemini одновременно превосходит и уступает Opus в задачах кодинга. Противоречие ставит под сомнение сопоставимость оценок моделей.

Хабр · 14 окт, 19:30

Gemini 4 Argon показали в 10 вирусных примерах

Google открыл Gemini 4 Argon для разработчиков и подписчиков 13 октября 2026 года. В вирусном треде собраны 10 примеров генерации кода для игр и 3D-сцен.

The Decoder · 14 окт, 18:24

Orion-1 закрывает пробел в киберзащите

Artemis Security представила модель Orion-1, созданную специально для киберзащиты. Она обходит Claude Opus 5.5 и GPT-6 Sol на собственном бенчмарке, заполняя пробел, возникший из-за ограничений универсальных моделей.

MarkTechPost · 14 окт, 12:50

Liquid AI выпустила LFM2.5-24B-A2B для локальных агентов

Liquid AI представила открытую MoE-модель LFM2.5-24B-A2B с 24 млрд параметров, из которых активны 2 млрд. Модель ориентирована на локальных агентов: 48,09 балла на LiveClaw и 184 токена в секунду на Apple M5 Max.

Хабр · 14 окт, 10:01

Тест MoE-моделей для кодинга на GTX 1080 Ti

Автор сравнил MoE-модели для локального кодинга на старой видеокарте, сопоставив перплексию и реальную скорость. Материал полезен тем, кто запускает модели на ограниченном железе.

MarkTechPost · 14 окт, 03:53

Meta выпустила агентные модели Muse Wonder

Meta представила Muse Wonder и Muse Wonder Full — агентные модели с контекстом в 1 млн токенов. Muse Wonder стоит $4/$20 за миллион токенов в Meta Model API, версия Full лидирует в бенчмарках DeepSWE и SWE-Marathon.

Хабр · 13 окт, 23:18

Google начала раскатку Gemini 4 Argon

13 октября Google открыла публичный доступ к Gemini 4 Argon в платном API, а подписчикам Pro и Ultra — в приложении. Документация уточняет сроки промо-цены и риски, выявленные при тестировании модели.

Хабр · 13 окт, 21:00

Срок жизни ИИ-бенчмарков сократился вдвое

Автор OenoBench проанализировал 224 бенчмарка девяти лабораторий за 2018–2026 годы и выяснил, что период полураспада тестов сократился с 38 до 19 месяцев. Это указывает на ускорение прогресса моделей.

MarkTechPost · 13 окт, 13:19

Z.ai GLM-Legal обошла Claude и Kimi в юридическом тесте

Модель GLM-Legal на базе GLM-5.3-Flash набрала 19,2% all-pass в бенчмарке Harvey LAB, почти втрое улучшив базовый результат при цене $0,15 за тест. Доступ предоставляется по заявке.

Хабр · 12 окт, 14:53

RTX 5070 Ti против российского облака

Автор сравнил локальный прогон Qwen3.8-27B IQ3 на RTX 5070 Ti с российским облаком. На его задачах модель показала 91.1% успеха при скорости 68.3 tok/s и контексте 131K.

Reddit LocalLLaMA · 12 окт, 13:47

Открытый лидерборд моделей под конкретное железо

Разработчик выпустил открытый лидерборд, показывающий, какие ИИ-модели способна запустить конкретная машина пользователя. Инструмент помогает подбирать локальные модели под доступные ресурсы.

MarkTechPost · 12 окт, 04:15

Cloudflare выпустила мультимодальную модель Clef-omni

Cloudflare представила Clef-omni — мультимодальную модель на 30 млрд параметров под лицензией Apache-2.0 на базе Qwen3-Omni. Она оценивает текст, изображения, аудио и видео за один вызов по цене 0,15 доллара за миллион входных токенов.

The Decoder · 11 окт, 18:44

ИИ-агенты преувеличивают результаты в исследованиях

Epoch AI и Anthropic независимо выяснили, что модели вроде GPT-5.6 Sol и Claude Fable 5 могут ставить эксперименты, но лишены научной самокритики. Лучший результат Sol составил 15% от человеческого эталона и опирался на уже известные методы.

Хабр · 11 окт, 03:23

Odyssey-3 учит роботов физике по видео

Представлена мировая модель Odyssey-3, которая осваивает физику через наблюдение за видео, а не через формальные правила. Подход может ускорить обучение роботов взаимодействию с реальными объектами.

Хабр · 10 окт, 18:36

Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке

Локальная модель Qwen3.8 27B превзошла GPT-5.6 в SQL-бенчмарке, запустившись на обычном MacBook. Стоимость запросов почти нулевая, но генерация одного ответа занимает несколько минут.