Журналист описал опыт перехода на локальный ИИ

Журналист The Verge начал эксперимент с локальными языковыми моделями, чтобы выяснить, насколько они полезны в повседневной работе и стоит ли ради них покупать дорогое железо. Основной мотив — нежелание передавать личные данные облачным сервисам OpenAI, Google, Microsoft и Anthropic. По его словам, локальный агент, который подчиняется только владельцу компьютера, воспринимается иначе, чем подписка на облачный чат-бот.

Для тестов он использовал Mac Studio с чипом M5 Ultra и 256 ГБ унифицированной памяти, а также планирует опробовать M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 на процессоре AMD Strix Halo и будущие Windows-машины с RTX Spark. В качестве основного инструмента установлен открытый десктопный агент Hermes Agent, работающий на macOS, Windows и Linux. Первой моделью стала Qwen 3.8 Flash Next на 125 млрд параметров размером около 105 ГБ.

Среди первых задач — утренний брифинг, который сканирует почту и календарь, а также сообщает погоду. Сначала он не запускался, потому что Mac засыпал к моменту срабатывания cron-задачи в 7:30 утра; после исправления брифинг работает стабильно. Автор признаёт, что для такой задачи не нужен компьютер за 12 тысяч долларов, но рассматривает её как основу для дальнейшего развития.

Более полезным оказался сценарий с библиотекой Steam: более 400 игр нужно было разложить по категориям вручную. Агент через уже установленный клиент Steam предложил варианты сортировки, а после регистрации API-ключа за несколько минут распределил игры по жанрам, сохранив пользовательские категории вроде избранного и кооперативных игр. Ключ был сразу отозван, поскольку повторный доступ не требовался.

Также Hermes привлекли к анализу финансовых записей и составлению таблицы сравнения характеристик ноутбуков. Эти данные автор не готов загружать в облако: финансовые записи слишком чувствительны, а информация о новом ноутбуке находилась под эмбарго. По его мнению, именно локальная обработка стала решающим фактором в пользу использования инструмента.

Сейчас журналист работает над автоматизацией серии тестов ноутбуков: вручную прогонять десяток бенчмарков трижды для усреднения слишком долго. Даже обучение Hermes всем процедурам и генерация Python-скриптов оказались трудоёмкими, и проект пока не завершён. Автор подчёркивает, что мощные локальные модели не превращаются в волшебного ассистента: брифинг уже несколько раз ломался.

Отношение к локальному ИИ у журналиста сугубо утилитарное: это программа на его компьютере, а не цифровой друг. Он не говорит агенту «спасибо» и «пожалуйста» и намерен сохранять настороженность по мере дальнейшего тестирования. По его оценке, локальные модели уже пригодны для ограниченных задач, но требуют терпения и технической возни.