RTX 5070 Ti против российского облака

Автор с Хабра провёл сравнительный бенчмарк локального запуска модели Qwen3.8-27B в квантовании IQ3 на одной видеокарте RTX 5070 Ti против российских облачных провайдеров. В локальном прогоне модель показала успех на задачах в 91,1%, индекс качества 82,3 и скорость 68,3 токена в секунду в один поток при контексте 131K. Замеры проводились 8–10 октября 2026 года.

Методика включала два набора задач: 30 публичных синтетических задач с инструментами и 50 закрытых русскоязычных письменных задач. Успехом считалась оценка не ниже 0,6; для снижения влияния случайности основные сравнения делались по трём прогонам. Автор отмечает, что разница до 4,3 пункта индекса остаётся в пределах шума, поэтому порядок строк в таблице не равен порядку качества.

В таблице из 11 строк представлены российские облачные провайдеры, часть из которых обозначена нейтральными кодами, так как право на публичное упоминание ещё проверяется. Локальная Qwen получила индекс 82,3, тогда как облака Б и Г показали 84,0 и 84,3 — разница в 1,7 и 2,0 пункта не выходит за порог шума. Модель Gemma набрала 78,0, а облака Л, А, Д и И — от 77,7 до 73,8, что также близко к ней.

Автор ожидал, что облачные решения будут значительно лучше локального запуска, но результат оказался сопоставимым. Расчётная стоимость успешной задачи у локальной Qwen составила 0,09 рубля с учётом стоимости карты, электричества и амортизации. Самое дешёвое облако В показало 0,01 рубля за задачу, но его индекс 69,1 — на 13,2 пункта ниже. Самое дорогое облако И обошлось в 3,31 рубля при индексе 73,8, что в 37 раз дороже Qwen и на 8,5 пункта хуже по качеству.

На письменном наборе из 50 задач Qwen показала 84,7% успеха и индекс 77,0, ближайшее облако Б — 79,3% и 70,0. Разница в 7,0 пункта превышает порог шума, но вывод справедлив только для этого набора. В нагрузочном тесте Gemma выдержала формы N=1, 2, 4 и 8 по 32K на слот, а Qwen при N=4 и 32K на слот столкнулась с ошибкой CUDA out-of-memory.

Автор подчёркивает, что результаты относятся к конкретным версиям и настройкам на дату замера и не описывают провайдера целиком. Во второй части он разберёт исправление контракта инструмента, а третья статья обещает больше ясности по нагрузочным сценариям. Отдельно отмечается, что некоторые провайдеры вообще не выделяют цену использования кэша в своих тарифах.