9 материалов · хроника по теме
HP выпустила EliteBoard G2a — клавиатурный компьютер на процессорах AMD Ryzen AI Pro 400-й серии с поддержкой до 64 ГБ памяти и до 2 ТБ накопителя. Цена превышает 3000 долларов, что делает устройство нишевым решением для корпоративных пользователей.
Энтузиаст запустил модель Qwen 27B на GPU взломанной консоли PS5 со скоростью около 20 токенов в секунду. Случай показывает, что локальный инференс становится возможен даже на нестандартном потребительском железе.
Пользователи сообщают о перегреве видеопамяти на RTX 3090 Founders Edition при длительном инференсе больших языковых моделей. Это важно для владельцев карт, использующих их для локального запуска ИИ.
Автор собрал домашний сервер на старой Tesla V100 32 ГБ и провёл замеры скорости локальных моделей до 120 млрд параметров. Часть первоначальных выводов оказалась ошибками измерения.
По сообщениям, Nvidia готовит RTX 5080 с 24 ГБ памяти к запуску в первом квартале 2027 года, партнёры по производству плат ещё ждут деталей. Увеличенный объём памяти важен для локального запуска ИИ-моделей.
Автор The Verge рассказал о сложностях и преимуществах запуска мощных моделей локально вместо облачных сервисов. Причиной стала неготовность передавать личные данные в облако.
Глава Qualcomm заявил, что ИИ-компании хотят видеть смартфоны, постоянно работающие со 100-миллиардными моделями к 2028 году. Это задаёт ориентир для мобильного железа и локального инференса.
Сообщается о новых подделках RTX 4090, у которых GPU и память почти неотличимы от настоящих. Это риск для покупателей железа под локальный ИИ.
Nvidia, по сообщениям, останавливает производство GeForce RTX 5090 в пользу ИИ-ускорителей для дата-центров и профессиональных GPU. Ожидается дефицит и рост цен, а новым флагманом для игр может стать RTX 5080 на 24 ГБ.