Пресс-служба компании Яндекс сообщила, что функция машинного перевода видеороликов уже добавлена в стабильные версии фирменного обозревателя Яндекс.Браузер на ОС Windows, macOS, Linux и в мобильное приложение для Android и iOS.
Благодаря новому сервису пользователи смогут смотреть англоязычные видеоролики в качественном переводе на популярных платформах YouTube, Vimeo, TikTok, Twitter, ВКонтакте и Facebook. Во время перевода оригинальная звуковая дорожка будет приглушаться, чтобы русская озвучка была слышна лучше.
При этом разработчики уточнили, что процесс перевода представляет из себя сложную многоэтапную задачу и может занимать некоторое время. Поэтому пользователю придется подождать несколько минут, поставив ролик на паузу. По мере готовности зрителю придет соответствующее уведомление.
После того, как пользователь включит ролик и кликнет по кнопке перевода, которая появится прямо в плеере, искусственный интеллект начнет распознавать речь, чтобы преобразовать ее в текст. При наличии загруженных субтитров ИИ пропустит этот шаг и сразу приступит к редактированию текста, а затем отправит его на перевод.
Далее нейронная сеть определит пол говорящего (известно, что женский голос будет озвучивать Алиса), синтезирует голоса и совместит аудио с видеорядом. Как утверждают специалисты, последняя задача является самой трудной, поскольку в русском языке предложения значительно длиннее, чем в английском. Поэтому для синхронизации картинки и звука будут сокращаться паузы между словами и ускоряться темп речи.
Разработчики рассчитывают, что новый сервис будет оценен по достоинству всеми пользователями и предоставит возможность компании Яндекс дальше развивать и совершенствовать новую технологию машинного закадрового перевода, добавлять другие языки и голоса для озвучки.
