Как переозвучить видео на русский язык нейросетью и сохранить свой голос

Нашли ролик на английском, а хочется показать его своей русскоязычной аудитории своим голосом, без субтитров и без студии дубляжа. Раньше для этого звали переводчика, актёра озвучки и звукорежиссёра, и ролик на три минуты превращался в проект на неделю.

Сейчас весь путь от оригинала до готовой русской озвучки можно пройти нейросетями. Разберу по шагам, как я сама перевела и переозвучила ролик клоном своего голоса, и что в этом процессе до сих пор нужно проверять руками.

Из чего состоит переозвучка нейросетью

Переозвучка видео на другой язык собирается из трёх задач подряд: получить точный текст оригинала, перевести его с сохранением интонации и смысла, и озвучить перевод голосом, который звучит естественно и подходит под видео. Раньше каждую задачу решал отдельный человек. Сейчас каждую можно закрыть отдельным инструментом, а соединяет их Ваша правка в середине.

Шаг 1: получить точный текст оригинала

Если у ролика нет готового сценария, текст можно вытащить из звука распознаванием речи, например моделью Whisper от OpenAI, которая лежит в основе многих инструментов и сервисов транскрибации, в том числе открытой программы Voicebox, которую я разбирала в отдельной статье. Результат, текст оригинала с таймкодами, где какая фраза произносится.

Этот шаг стоит проверить глазами до перевода. Распознавание речи иногда путает похожие слова или имена собственные, и ошибка в тексте перейдёт дальше в перевод и в озвучку.

Шаг 2: перевести с сохранением интонации

Прямой машинный перевод фразы в фразу часто звучит деревянно в озвучке: предложения на русском длиннее или короче английских, и ритм расходится с видео. Переведённую фразу стоит прогнать через нейросеть с просьбой сохранить длину, близкую к оригиналу, и смысл сцены, а не только слова.

Для эмоциональных сцен стоит отдельно указать тон: взрослый спокойный голос, детский взволнованный голос, диктор новостей. Разница в формулировке запроса ощутимо меняет то, как переведённая фраза ляжет в озвучку на следующем шаге.

Шаг 3: клонировать голос и озвучить перевод

Для самой озвучки нужен короткий образец голоса, обычно 10-15 секунд чистой записи без шума и музыки, и программа или сервис клонирования, которая по этому образцу синтезирует новую речь. Я использую свой клон голоса для взрослой реплики, а для детской реплики в этом же ролике отдельно синтезировала детский голос, не свой.

Если нужен открытый и бесплатный путь без подписки, в статье про Voicebox я разбирала именно такой инструмент: клонирование голоса работает локально на Вашем компьютере, без абонентской платы за минуты озвучки.

Шаг 4: подогнать озвучку по длине видео

Переведённая фраза редко попадает в видео секунда в секунду. Озвучку нужно либо чуть растянуть или сжать по скорости, либо подрезать паузы между фразами, чтобы реплика укладывалась в сцену без рваных стыков.

Здесь помогает нейросеть, которая умеет растягивать или сжимать речь по скорости и выравнивать паузы между фразами, это отдельный шаг после озвучки, перед финальной сборкой видео.

Шаг 5: добавить субтитры по словам

Даже с хорошей озвучкой часть аудитории смотрит ролики без звука. Субтитры по словам, где каждое слово подсвечивается в момент произнесения, собираются из того же распознавания речи на шаге 1, уже на переведённом и озвученном варианте.

Субтитры ещё и удерживают внимание тех, кто досматривает ролик в транспорте или в очереди без наушников.

Что честно нужно проверять руками

Губы персонажа на видео двигаются под оригинальную речь, а не под переозвученную: ни один из этих шагов не перерисовывает лицо под новый язык. Для коротких роликов без крупного плана на лице это почти незаметно, для длинного интервью с лицом в кадре расхождение будет видно.

Клонирование чужого голоса без согласия человека, чей голос копируется, недопустимо. Технически инструмент это позволяет, а вот решение, чей голос клонировать и для чего, остаётся на Вас. Для собственного голоса и для полностью синтетических персонажей, как в моём примере с детским голосом, вопроса согласия не возникает.

И последнее: перевод нейросетью стоит перечитать вслух перед финальной записью. Текст, который выглядит нормально на экране, иногда спотыкается в произношении, и это слышно в готовой озвучке.

Итог

Перевод и переозвучка ролика нейросетью занимают один вечер вместо недели со студией и актёром дубляжа. Текст оригинала, перевод с сохранением ритма, клон голоса, подгонка по длине и субтитры по словам, каждый шаг закрывается отдельным бесплатным или условно бесплатным инструментом, а соединяет их только Ваша правка в середине.

Про рабочие связки нейросетей для видео и контента пишу в Telegram-канале «Растём с ИИ». Если нужна система, которая ведёт контент каждый день без найма команды, вот с чего начать, а для разовой помощи можно начать с бесплатной консультации.