Silero TTS v5 научился эмфазам и вопросам

Команда разработчиков Silero выпустила обновление публичного синтеза речи silero-tts до версии v5. В прошлом релизе была добавлена постановка вопросов, теперь же список возможностей расширился: появились эмфазы, автоматическая расстановка ударений и поддержка четырёх типов вопросительных конструкций. Все нововведения работают на одном потоке CPU и не требуют видеокарты.

Эмфаза — это смысловое выделение конкретного слова во фразе, когда говорящий произносит его «с нажимом». В русском языке такое выделение выражается в первую очередь замедлением темпа на предударных слогах и паузой перед словом, а не громкостью, как можно было бы предположить. Для синтеза это сложная задача, поскольку в тексте эмфазы обычно обозначаются лишь курсивом или жирным шрифтом, а иногда не обозначаются вовсе.

В новой версии для задания эмфазы достаточно выделить нужное слово двойными звёздочками, например: «эта булочка **очень** вкусная!». Восклицания распознаются по восклицательному знаку в конце предложения. Для общего вопроса рекомендуется выделять интонационный центр одинарными звёздочками, тогда как для альтернативных, специальных вопросов и вопросов-хвостиков это необязательно, хотя и улучшает звучание.

Обновление включает новую версию библиотеки для расстановки ударений, которая корректно обрабатывает и обычные слова, и омографы. Установить silero-tts можно через torch.hub, pip или локально. Разработчики отмечают, что собрали полный набор функций, к которому стремились долгое время, и теперь рассматривают возможность добавления управления субъективной громкостью речи.

В команде признают, что в краевых случаях с эмфазами могут возникать небольшие артефакты — это компромисс между естественностью эффекта и его силой. Также готовится крупное обновление акустического звучания синтеза, но подробности пока не раскрываются. Помимо этого, планируются более простые правки для существующих моделей, таких как v5_cis_base.