Яндекс и Завораживающий Закадровый Перевод Видео

Золотая осень 2021 года запомнится не только сменой листвы и дождиками, но и громким заявлением от Яндекса! В то время они в первый раз представили потрясающую функцию закадрового перевода видео в своем Браузере. Честно говоря, это как раз то, чего нам все не хватало — чтобы голос за кадром мог не звучать, как будто его записали в унитазе. 🎤💦

Изначально, для перевода использовались два стандартных голоса — один мужской, другой женский. Довольно благородно, но всем нам надоело слушать эти голоса, как будто мы снова вернулись в эпоху VHS. О, ретро! Но, ура! Яндекс решил немного поэкспериментировать с синтезированными голосами, и вот теперь у нас есть волшебный переворот: новая технология сохраняет тембр и интонации оригинального спикера. Согласитесь, это как будто нам наконец разрешили слушать любимую музыку с качественными наушниками, а не с помятым радиоприемником. 🚀🎧

Как это работает?

Давайте разберемся в этом великолепии! В основе новой системы лежит собственная модифицированная версия Tortoise-TTS. Да-да, вы не ослышались! И это не только название из фильмов ужасов, но и мощное решение для генеративного синтеза речи. Система начала использовать не просто случайные трюки, а подошла к делу серьезно, решив целую кучу проблем. Вот несколько из них:

1. Улучшение качества zero-shot синтеза

Фонемное представление текста — это звучит как заклинание из древнего языка, но по сути, Яндекс создал уникальный фонемный алфавит для английского и русского. Теперь произношение стало таким точным, что даже ваши бабушки, которые учились произносить «червяк», будут в восторге! 🐍

Биометрические эмбеддинги — это как двойная порция шоколодного торта на дне дня рождения! Добавив векторные представления голоса через голосовую биометрию, система стала передавать тембр почти идеально, даже когда язык перевода меняется. Это похоже на то, как вы кусаете шоколадный торт, а он оказывается ванильным.🍰

Качество через UTMOS — да, это не значит, что вы станете доверять своему дистопическому будущему, но теперь в алгоритмах используется метрика UTMOS. Она стабилизирует звучание, избавляя от всех этих болезненных артефактов. Чисто, без лишних ноток! 🎵👍

2. Акцент? Что это?

Яндекс просто решил, что акцент — это для туристов, и создал синтетический параллельный датасет. Теперь голоса переходят между языками, а акценты остаются в прошлом — уровень акцента у пользователей снизился с 50% до всего лишь 5%! Вот это результат! 🌍✨

3. Скорость инференса

Здесь Яндекс упрости́л смысл слова «инференс». Он сократил количество гипотез и итераций, что казалось бы, звучит скучно, но на практике это значит больше скорости и меньше лишних операций. Теперь все работает с RTF ≈ 0.18, как происходит у супергероев в фильмах Marvel. ⏱️💨

4. Аудио — важная деталь!

Трудно перевести, если звучит, как будто кто-то сидит с метлой у микрофона. Но с помощью денойзинга Яндекс очищает голос от фона и шума, возвращая нам чистейшее звучание! Автоматический выбор на основе UTMOS добавляет изюминку, как в хорошо приготовленное блюдо. 🍲

Чего удалось добиться?

Теперь переводы звучат так естественно, что можно забыть о «чужом» или «роботизированном» голосе. Вы сможете наслаждаться:

• Интонациями и тембром оригинала, словно вы слушаете своего любимого ведущего.
• Ошибок в произношении стало значительно меньше, акценты практически исчезли. Надо же, прогресс