NeuroCut: локальный ИИ-ассистент для чернового монтажа

Разработчик под ником с Хабра представил NeuroCut — локальный AI-ассистент для чернового монтажа видео (rough cut). Инструмент принимает один или несколько видеофайлов и текстовый бриф, после чего формирует план монтажа и экспортирует результат. Проект вырос из личного опыта автора: после DIY-проекта по edge-навигации на руль накопилось много несвязанных видео, а времени на их разбор не было.

NeuroCut работает по контрактам данных: сначала выполняется scene detection, затем LLM собирает edit plan на основе брифа, транскрипта с таймкодами и границ планов. В примере на скриншоте используется модель gemini-3.1-flash-lite. Автор сознательно отказался от загрузки видео в модель: это быстро упирается в квоты и стоимость, поэтому в LLM уходит только текст, а дешёвый scene proxy обрабатывается локально.

Экспорт поддерживает два формата: ZIP с готовыми MP4-клипами для мобильных редакторов и CEP-плагин для Premiere, который кладёт клипы на таймлайн без повторной загрузки медиа. Также есть ветка экспорта NLE XML с portable-путями вида file://./filename, чтобы избежать поломки абсолютных ссылок при переносе на другую машину. Плагин для Premiere пока в зачаточной стадии, тогда как web-UI уже пригоден для демонстрации и self-host.

Отдельное внимание уделено работе с русской речью: для неё предусмотрен offline-путь через GigaAM (sherpa-onnx), который выбирается автоматически при наличии моделей, а Whisper остаётся универсальным fallback. Реализован content-addressable cache транскриптов — ключ формируется из хэша аудио и длительности, поэтому повторная загрузка того же файла не запускает STT заново. Известное ограничение: у GigaAM и Silero нет нормальных word-level timestamps, поэтому для karaoke-субтитров интервал сегмента делится между словами пропорционально.

Автор честно оценивает возможности автоматического монтажа: по его словам, он пока слабоват и находится примерно на уровне готовых шаблонов из CapCut, но задачи вроде вырезания молчаливых пауз решает сносно. Цель NeuroCut — не заменить монтажёра, а снять с него первый проход, чтобы rough cut можно было открыть в Premiere и доработать вручную. В UI доступны пять типов задач: от транскрипта и субтитров до NLE XML и turnkey MP4.

Для развёртывания подготовлены Docker Compose, что упрощает self-host. В будущем автор планирует добавить отдельный слой эвристик для «умного» отбора кадров по резкости и стабильности. Проект распространяется как open-source, а разработчик приглашает сообщество в комментариях предложить новые функции.