Представитель компании «Яндекс» сообщил, что нейросети «Яндекс.Браузера» теперь умеют переводить китайские видео и автоматически налагать русскую озвучку. Эта технология уже работает на YouTube, а позже будет доступна для популярной китайской видеоплатформы Bilibili.
Разработчики «Яндекса» создали собственный датасет для обучения нейросети, так как готовых решений не было. С помощью специального алгоритма было обработано 1,5 млн видео, и из них было выбрано 100 тыс. видео с качественными субтитрами на севернокитайском языке, которым владеет более 1 млрд человек.
Нейросети «Браузера» были выучены тысячи иероглифов, каждый из которых читается как слог. Чтобы нейросеть могла их понимать, разработчики закодировали весь необходимый словарь для работы с китайским языком в виде 10 тыс. токенов.
Для сравнения, пять европейских языков, которые «Браузер» научился переводить ранее, уместились в библиотеку на 5 тыс. токенов. Один токен равен одному слогу или регулярно использующемуся сочетанию двух слогов.
Нейросеть также научилась разделять сплошной поток иероглифов на смысловые отрезки, что позволяет точнее синхронизировать перевод с исходной речью и улучшить его качество.
Кроме того, «Браузер» изучил четыре тона китайского языка, которые определяют смысл сказанного.
Теперь «Яндекс.Браузер» предлагает переводить видео с китайского на YouTube с помощью кнопки «Перевести видео», которая появляется сразу после открытия видео пользователем.