Четыре RTX 6000 Pro обслуживают 40 сотрудников

Пользователь Reddit под ником, публикующий в сообществе LocalLLaMA, рассказал, как организовал локальную ИИ-инфраструктуру для компании из 40 сотрудников, включая 10 разработчиков. Основой решения стали четыре ускорителя Nvidia RTX 6000 Pro — судя по заголовку поста, именно на них развёрнуты все сервисы. Автор описывает это как рабочий кейс, а не лабораторный эксперимент.

Среди перечисленных сервисов — платформа автоматизации n8n, которая связывает между собой остальные компоненты. Для работы с аудио и встречами используются Whisper и Vexa AI: бот подключается к звонкам в Microsoft Teams, делает транскрипцию, после чего n8n извлекает из записей принятые решения и список задач.

Такой стек показывает типичный сценарий корпоративного внедрения локальных моделей: вместо обращения к внешним API компания держит вычисления у себя. Это снижает риски утечки конфиденциальных данных — транскриптов встреч, внутренней переписки и рабочих документов. Для организаций, работающих с чувствительной информацией, это ключевой аргумент.

Конфигурация из четырёх RTX 6000 Pro — это серьёзные капитальные затраты, но они окупаются при интенсивном использовании. Локальный инференс избавляет от ежемесячных платежей за токены и позволяет не зависеть от лимитов и политик внешних провайдеров. При этом обслуживание такой инфраструктуры требует компетенций — в данном случае в компании есть разработчики, способные её поддерживать.

Кейс иллюстрирует растущий тренд: средний бизнес всё чаще рассматривает собственные GPU-кластеры как альтернативу облачным ИИ-сервисам. Обсуждение в LocalLLaMA показывает, что сообщество интересуется не только моделями, но и практикой их развёртывания в реальных рабочих процессах.

Детали конфигурации — какие именно модели запущены, как распределена нагрузка между картами и как организован доступ сотрудников — в доступном фрагменте не раскрыты. Автор обещает поделиться подробностями в комментариях к посту.