Нейросеть «Яндекса» начала генерировать видео в «Шедевруме»

«Яндекс» представил технологию создания видео с помощью нейросети для пользователей. Такая возможность появилась в «Шедевруме». В ответ на запросы приложение генерирует короткие ролики, рассказали в пресс-службе компании. 

«Шедеврум» генерирует видео длиной в четыре секунды с частотой 24 кадра в секунду. После публикации ими можно поделиться с друзьями или сохранить в формате MP4. Сейчас функция работает в режиме тестирования. Генерация видео доступна активным пользователям «Шедеврума» в обновленной версии приложения, а посмотреть результаты в ленте приложения могут все.

Чтобы сгенерировать видео в «Шедевруме», необходимо описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Нейросеть берет за основу выбранное пользователем изображение, генерирует набор его измененных версий и объединяет все выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).

Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, добавляя детали. Нейросеть также может создавать изображения и текстовые посты с заголовками и иллюстрациями. 

«Яндекс» представил прототип собственной нейросети «Шедеврум» в апреле 2023 г. Позже эта технология начала иллюстрировать рекламу.