Qwen 27B запустили на GPU взломанной PS5

Пользователь Reddit под ником LatentSpacer опубликовал в сообществе LocalLLaMA отчёт о запуске языковой модели Qwen 27B на взломанной консоли PlayStation 5. По его словам, генерация идёт со скоростью около 20 токенов в секунду — это сопоставимо с показателями потребительских видеокарт среднего сегмента.

Речь идёт о джейлбрейке PS5, который снимает программные ограничения Sony и открывает доступ к GPU консоли для стороннего кода. Обычно такие модификации используются для запуска неофициальных игр и эмуляторов, но теперь энтузиасты применяют их для локального инференса больших языковых моделей.

Qwen 27B — модель китайской лаборатории Alibaba, одна из популярных открытых альтернатив решениям Meta и Mistral. Её размер позволяет умещаться в память одной консоли или видеокарты при квантовании, что делает подобные эксперименты технически возможными.

Ключевой фактор — объединённая память PS5: консоль использует единый пул GDDR6, доступный и CPU, и GPU. Это упрощает загрузку весов модели, хотя пропускная способность памяти всё равно остаётся узким местом по сравнению с дискретными ускорителями.

Пока это единичный эксперимент, а не готовый продукт: джейлбрейк требует определённой версии прошивки, нестабилен и лишает гарантии. Тем не менее кейс показывает, что парк потребительских устройств с мощными GPU шире, чем принято считать, и может использоваться для локального ИИ.

Для сообщества LocalLLaMA такие отчёты важны как ориентир: они показывают реальную производительность моделей на нестандартном железе. Если метод удастся воспроизвести, это откроет путь к дешёвым локальным инференс-станциям на базе игровых консолей.