«ВКонтакте» запустил функцию автоматического создания субтитров в видео

«ВКонтакте» обновил видеоплеер и добавил в него функцию создания автоматических субтитров на русском языке, сообщила пресс-служба социальной сети. Они формируются на базе алгоритмов машинного обучения и технологий интеллектуального шумоподавления. При генерации текста расставляются знаки препинания и заглавные буквы, субтитры появляются в момент произнесения фразы. 

Для точной расшифровки субтитров аудиопоток проходит четыре этапа обработки: 

• сначала очищается от фоновых звуков с помощью технологии интеллектуального шумоподавления,
• затем нейросеть распознает слова и формирует текст,
• далее расставляются знаки препинания и заглавные буквы,
• после текст распределяется по кадрам благодаря методам машинного обучения.

Автогенерация субтитров создана на собственных разработках, что позволяет настраивать их для эффективной работы, рассказал технический директор «ВКонтакте» Александр Тоболь. «Например, для создания субтитров мы усовершенствовали наши ASR-технологии и реализовали решения, которые точно синхронизируют текст с речью на видео. В будущем мы продолжим развивать нейросетевые технологии и внедрять машинное обучение в разные сервисы "ВКонтакте"», — отметил он.

Функция доступна в экспериментальном режиме части пользователей «ВКонтакте» в популярных видеороликах и видео верифицированных сообществ как в мобильном приложении, так и в веб-версии соцсети. К концу года автоматические субтитры появятся в большинстве роликов соцсети.

«Яндекс» в начале сентября добавил русскую озвучку к англоязычным роликам с YouTube, Vimeo и других популярных видеосервисов. Переведенный текст озвучивается голосом от «Яндекса» (мужским или женским от «Алисы»), а оригинальная дорожка звучит чуть тише.