Кот-король, гигантская утка в Бостоне и гонка дронов: как разработчики и руководители OpenAI генерируют видео в Sora

Креативы по запросам подписчиков 

Сэм Альтман, глава OpenAI, предложил пользователям соцсети X (бывший Twitter) написать подсказки для Sora, на основе которых он будет генерировать видео, чтобы показать возможности ИИ-модели. Результатами он поделился на своей странице. 

Sora сгенерировала видео разных жанров — от бытовой зарисовки с приготовлением еды до гонок на другой планете.

Промт: Учебное занятие по приготовлению домашних ньокки, проводимое пожилой женщиной инфлюенсером в соцсетях на деревенской тосканской кухне с кинематографическим освещением.

Промт: футуристическая гонка дронов на закате на планете Марс.

Нейросеть в кино и играх

Другие возможности технологии раскрыл Тим Брукс, член команды разработчиков OpenAI и ученый-исследователь. Он показал, как нейросеть может имитировать игровой мир, создав короткую симуляцию геймплея Minecraft — с реалистичным освещением, интерфейсом и физикой из игры студии Mojang.

«Sora также может моделировать искусственные процессы – одним из примеров являются видеоигры», — говорится в статье OpenAI. В компании отметили, что нейросеть способна одновременно управлять виртуальным игроком в Minecraft, а также генерировать геймплей.

Кроме того, Sora может генерировать сцены из фильмов. Раньше другие нейросети создавали короткие видео с одним сюжетом, однако Sora научилась воспроизводить историю из связных между собой роликов. Они выглядят так, будто сняты с нескольких ракурсов на одной и той же улице.

Пример такого ролика привел Уильям Пиблз, разработчик OpenAI. Он выложил видео, в котором экран разбит на пять частей — каждая из них показывает сцены на заданную тему с разных ракурсов. Пиблз уточнил, что ролик не был смонитрован: «Мы не склеивали это видео. Sora сама решила, что ей нужно пять разных ракурсов одновременно!».

Пиблз также сгенерировал видео, ставшее вирусным, — огромного кошачьего короля, которому поклоняются люди. 

Промт: гигантский собор полностью заполнен кошками. Везде кошки, куда ни глянь. Мужчина входит в собор и кланяется гигантскому кошачьему королю, восседающему на троне. 

Неоновый ИИ

Некоторые разработчики составляли более эстетичные описания для роликов. Например, Тим Брукс и Адитья Рамеш выложили на своих страницах видео с различной флорой и фауной в неоновом стиле. 

Промт: черепаха, тело которой сделано из стекла, с трещинами, заделанными с помощью кинцуги, гуляет на закате по пляжу с черным песком.

Промт: темный неоновый тропический лес с сияющей фантастической фауной и животными.

Недочеты нейросети

Тем не менее, несмотря на инновационную разработку, у нейросети еще есть заметные недостатки. Это отмечает и сам глава OpenAI – Сэм Альтман. На одном из роликов, что для него сгенерировала Sora, хомяк летит на полуутке-полудраконе — в этом видео возникла проблема с направлением: герои перемещаются задом наперед. После первого неудачного эксперимента Альтман выложил второй, указал, что он должен быть «получше».

Промт: наполовину утка, наполовину дракон летит через красный закат с хомяком, одетым в приключенческое снаряжение на спине.

1 вариант:

2 вариант:

В другом видеоролике, где морские животные устроили заезд по морю на велосипедах, подписчики в комментариях отметили, что некоторые водоплавающие нарушают правила и перемещаются не на транспорте, а два дельфина и вовсе парят в воздухе.

Промт: велогонка по океану с участием разных животных в виде спортсменов, едущих на велосипедах под видом камеры дрона.

В сгенерированном видео, которое выложил Тим Брукс, гигантская игрушечная утка гуляет по улице Бостона. В ролике остаются неизменными предметы на заднем плане, когда перед ними перемещается объект, но есть нюанс — утка наступила на человека, переходившего дорогу.

Промт: гигантская утка гуляет по улицам Бостона.

На своей странице в X Адитья Рамеш, разработчик Sora, поделился роликом, на котором рак с лампочкой вместо панциря перемещается по вечернему пляжу. Но нейросеть сделала ошибку: у животного не хватает одной клешни.

Промт: ночные кадры рака-отшельника, использующего лампочку накаливания в качестве панциря.

Впрочем, российские рекламисты убеждены, что даже с учетом текущих ограничений Sora будет полезна в работе на этапе презентации идей, а в будущем технология имеет все шансы повлиять не только на генерацию роликов, но и на процесс закупки, размещения и автоматизации рекламы. Подробнее об этом в материале AdIndex «Sora — видеореволюция или новая “игрушка” для креативщиков: как российские рекламисты оценили технологию».