На $500 платах BC-250 запустили Qwen 3.6 на 145 ток/с

Энтузиаст из сообщества LocalLLaMA на Reddit сообщил о запуске локальных языковых моделей на бывших в употреблении платах BC-250, которые ранее использовались для майнинга криптовалют. По его данным, конфигурация стоимостью около 500 долларов позволяет запускать модель Next Flash в квантовании IQ3_XXS со скоростью примерно 70 токенов в секунду при контексте 100 тысяч токенов.

Альтернативный сценарий на том же оборудовании — два параллельных экземпляра модели Qwen 3.6 35B A3B в квантовании IQ4. В этом случае суммарная скорость достигает около 145 токенов в секунду, а совокупный контекст составляет 256 тысяч токенов.

Платы BC-250 — это специализированные устройства, изначально предназначенные для майнинга, которые после спада крипторынка массово выбрасываются на вторичный рынок по низким ценам. Их адаптация под инференс больших языковых моделей стала популярным направлением среди участников LocalLLaMA, ищущих бюджетные альтернативы дорогим GPU.

Квантование IQ3_XXS и IQ4 снижает требования к видеопамяти и вычислительным ресурсам, что делает возможным запуск моделей на оборудовании с ограниченными характеристиками. Это позволяет получать приемлемую скорость генерации даже на устаревшем или нецелевом железе.

Публикация демонстрирует растущий интерес к повторному использованию майнингового оборудования для задач ИИ. На фоне дефицита и высокой стоимости новых ускорителей такие решения могут стать важным фактором для развития локального инференса.

Точные технические детали конфигурации, включая программное обеспечение и настройки, в доступном тексте не раскрываются. Автор поста ограничился краткими показателями производительности и стоимостью комплектующих.