Новая нейросеть от OpenAI Sora превратит изображения и текст в видео

OpenAI представила нейросеть Sora для преобразования текста в видео. С ее помощью можно генерировать ролики длительностью до минуты, сообщается на сайте компании.

ИИ-модель способна создавать сложные сцены с несколькими персонажами и точной детализацией, сохраняя при этом визуальное качество и следование подсказкам пользователя, говорится в описании Sora. Также нейросеть умеет генерировать видео на основе статичного изображения, добавляя недостающие кадры.

В одной из веток форума разработчиков OpenAI сегодня началось обсуждение возможностей Sora. Один из пользователей, представившийся как моушен-дизайнер, американской анимационной студии Laika, выразил опасение, что Sora может лишить работы «огромное количество людей, работающих в кино и анимации».

«Как профессиональный аниматор, я поражен возможностями, которые демонстрирует Sora. Я заинтригован и одновременно напуган. Долгое время аниматоры покадровой анимации боялись, что на нашу работу придут CG-аниматоры. Вместо этого теперь кажется, что ИИ придет за их работой, а потом и займет места всех моушен-дизайнеров. Я заинтересован в том, чтобы поделиться своим уникальным взглядом на OpenAI, насколько это возможно. Я также хочу предупредить OpenAI, что у Sora действительно есть потенциал, который может лишить работы огромное количество людей, работающих в кино и анимации», — говорится в комментарии.

Пока Sora находится на этапе тестирования. Доступ к ней открыт ограниченному количеству пользователей: дизайнерам, художникам, кинорежиссерам — для получения обратной связи и доработки ИИ. 

Создатели технологии также предупредили, что у нейросети все еще есть слабые стороны, среди которых — отсутствие причинно-следственных связей. Например, в одном из сгенерированных роликов женщина задувает свечи на торте, но они не потухают.

Сгенерированные Sora ролики

Промт: камера направлена прямо на красочные здания в Бурано, Италия. Очаровательный далматинец смотрит в окно здания на первом этаже. Множество людей прогуливаются пешком или на велосипеде по улицам канала перед зданиями.

Промт: стильная женщина идет по улице Токио, наполненной теплым светящимся неоном. Она носит черную кожаную куртку, длинное красное платье и черные сапоги, а также черную сумочку. 

Промт: исторические кадры Калифорнии во времена золотой лихорадки.

Разработчики OpenAI создают классификатор обнаружения, с помощью которого можно определить, когда видео сгенерировано Sora. В том числе планируется использовать метаданные C2PA для определения происхождения ролика. 

Ранее на этой неделе OpenAI объявила о тестировании функции ChatGPT — возможности запоминать информацию о взаимодействии с пользователем с прошлого момента использования. До этого в ИИ использовалась контекстная память, которая сохранялась только на протяжении одного разговора.