Deepgram нацелилась на голосовой ИИ на изолированных ноутбуках

Компания Deepgram, специализирующаяся на голосовых ИИ-моделях, намерена вывести свои решения на ноутбуки с изолированной средой (air-gapped). Об этом рассказал Ник Манн, старший технический менеджер программ Deepgram, в интервью theCUBE Research на симпозиуме Dell по лидерству в ИИ. По его словам, цель — запускать модели нативно на устройствах, которые студенты приносят в школы, без подключения к интернету.

Голосовой ИИ становится критически важной инфраструктурой, поскольку пользователи всё чаще заменяют экраны и клики разговорами со своими устройствами. Это создаёт дополнительную нагрузку на вычисления, хранение и партнёрства, стоящие за моделями распознавания и синтеза речи. Deepgram, расширившая свою модель Flux до 10 языков в начале этого года, нуждается в инфраструктуре как для внутренней исследовательской команды, так и для десятков тысяч внешних клиентов.

Манн отметил, что у компании 45 исследователей, которым требуется огромное количество вычислений и данных. «Они любят есть вычисления. Просто тонны вычислений, тонны данных», — сказал он. Deepgram работает на рынке 13 лет и умеет настраивать модели для работы в шумной среде, например в управлении воздушным движением и экстренной медицине. Компания исходит из того, что любая выпущенная модель скоро устареет, и рассматривает каждый релиз как кандидата на переобучение.

Значительная часть клиентов Deepgram размещает модели на собственных серверах. Недавнее партнёрство с Fortanix принесло приватный локальный голосовой ИИ в регулируемые отрасли. Инфраструктуру для Deepgram поставляет Dell Technologies, которая также запускает её модели в своей инновационной лаборатории Customer Solution Center. По словам Манна, партнёрство с Dell даёт доступ к широкому кругу заказчиков — от крупных предприятий до малого бизнеса.

Спектр развёртываний простирается от небольших систем интерактивного голосового ответа на компактных устройствах Nvidia GB10 до крупных инсталляций. Однако более масштабная задача, которую преследует Манн, находится за пределами дата-центров: это ноутбуки с ИИ-ускорителями, которые студенты носят с собой. Он хочет, чтобы модели Deepgram работали на таком оборудовании нативно и в изолированном режиме.

«Именно туда мы хотим попасть. Именно там ИИ в целом должен начать встречать людей там, где они находятся, и так, как они будут его использовать», — подчеркнул Манн. Таким образом, Deepgram делает ставку на децентрализацию голосового ИИ, что может снизить зависимость от облачных сервисов и повысить приватность данных.