Как технологии XR радикально меняют рекламу и индустрию развлечений

Новая реальность – что это такое

Всю свою тысячелетнюю историю человечество взаимодействовало с «естественной» реальностью. Природа, пища, предметы обихода – все можно было осмотреть, потрогать, попробовать на вкус. И даже искусство отражало действительность, было материальным: картины, скульптуры, книги, театральные действа, кино.

На рубеже XX и XXI веков в нашу жизнь начала входить новая реальность, созданная процессами, происходящими внутри компьютеров. Пока ее можно только увидеть и услышать, чаще с помощью гаджетов. Однако скорость развития новой реальности насколько стремительна, что, возможно, скоро мы будем с ней контактировать и с помощью других чувств: осязания, обоняния, вкуса.

Сегодня уже сложились понятия о составе и структуре этой новой реальности, которую постепенно узнает и осваивает человечество:

Виртуальная реальность (VR) погружает пользователя в цифровую 3D среду так, что он чувствует себя ее частью, взаимодействуя с ней с использованием зрения и слуха, иногда тактильных ощущений. Для использования этой технологии необходимо специальное оборудование, например, очки или шлем, перчатки.

Дополненная реальность (AR) добавляет цифровой контент в реальный мир, наблюдаемый пользователем через смартфон или другой гаджет. Это могут быть, например, предметы, тексты, анимация.

Смешанная реальность (MR) сочетает VR и AR реальности так, что они взаимодействуют друг с другом, объединяя два мира, совмещая физический мир с цифровым.

Расширенная реальность (XR) – термин, который относится ко всем реальным и виртуальным средам, таким как VR, AR и MR, объединенным вместе. XR создает эффект полного погружения для пользователя, помогая ему ощутить максимальное присутствие в искусственно созданных мирах. И это создает картину нашего будущего и меняет настоящее.

Где используют XR-технологии

Сфера торговли
Мировые бренды все чаще используют виртуальные туры и примерочные, чтобы привлечь внимание клиентов и облегчить процесс покупки. Агенты по недвижимости устраивают потенциальным покупателям виртуальные туры по жилью, что дает возможность осмотреть недвижимость без физического присутствия и быстро выбрать несколько подходящих вариантов, которые стоит посетить лично. Магазин аксессуаров WatchBox внедрил AR, чтобы позволить покупателям примерить виртуальные модели реальных часов на своем запястье, а IKEA запустила мобильное приложение IKEA Place AR, с помощью которого можно посмотреть, хорошо ли смотрится новая мебель в вашей квартире.

Образование
Расширенная реальность позволяет моделировать опасные сценарии для практикующих врачей, пожарных и летчиков с минимальными рисками и небольшими затратами.

Строительство
Инженеры создают виртуальные модели зданий, чтобы наглядно оценить план и лучше его интерпретировать, а также проверить, гармонично ли вписывается архитектурное сооружение в природный или урбанистический ландшафт.

Реклама
Реклама на основе XR станет как никогда персонализированной. Цифровая наружная реклама покажет уникальные предложения каждому пользователю. Выбор основывается на цифровом следе покупателя, который позволяет проследить, какие действия человек совершал в сети, а потом сделать выводы о его интересах. Примером использования цифрового следа является внедренная Сбером «машина продаж» для работы с клиентами.

Индустрия развлечений
Технологии XR применяются с целью дать потребителям впечатления, недоступные в материальном мире, и позволяют соединять элементы реального и виртуального миров при трансляции концертов, развлекательных шоу и выставок. Пользователя можно погрузить в происходящее настолько, что он сможет влиять и взаимодействовать с искусственной реальностью.

Уже сегодня мы близки к эпохе, когда реальный опыт будет сложно отличить от виртуального. В первую очередь это касается видеоигр, но уже в ближайшее время устройства расширенной реальности дадут возможность смотреть концерты и спортивные соревнования с эффектом присутствия. Ощущения при этом будут максимально приближены к тем, которые бы испытывал человек, побывав на таких мероприятиях лично.

Новая реальность уже наступила: в 2020 году состоялся live-концерт Билли Айлиш в формате XR, где во время исполнения песен на экраны врывались гигантские пауки, открывался удивительный подводный мир с огромными акулами, а на сцену выезжал виртуальный Porsche.

В том же году состоялось еще одно крупное мероприятие с использованием XR: компания МТС провела первый в мире интерактивный музыкальный онлайн-фестиваль в расширенной реальности — МТС Live XR, который посмотрели более 14 млн человек. Более пяти часов известные российские артисты (Дора, Cream Soda, Feduk, Пошлая Молли и ЛСП) выступали вживую в окружении виртуальных миров и спецэффектов, которыми управляли пользователи в социальных сетях.

Специально для фестиваля в Москве построили виртуальную студию, в которой на огромных LED-экранах отображались графические локации и создавалось максимально естественное освещение героя в кадре. Множество датчиков-трекеров синхронизировали виртуальные миры на экранах с движением камер, что создавало полное ощущение присутствия артиста в виртуальном мире.

С помощью лайков и комментариев зрители влияли на миры артистов в прямом эфире. Они запускали визуальные эффекты (молнии, снег и огонь), активировали виртуальных персонажей, выбирали спецэффекты (летучие мыши или стрелы), а также могли отправить свои фото и видео, чтобы появиться на виртуальных экранах рядом со своими кумирами.

Киноиндустрия
На наших глазах XR быстрыми темпами меняет и технологию киноиндустрии. Некоторые режиссеры и продюсеры уже сегодня смогли отказаться от хромакеев. При съемках на фоне зеленого экрана добиться глубины изображения очень сложно, а переливы света могут отрицательно повлиять на качество готового продукта. Это ограничивает выбор костюмов для фильма. Хромакей усложняет и работу актера, поскольку он вынужден выступать перед обычным сплошным цветом вместо готовой локации. А на этапе постпродакшена редакторам приходится удалять фон кадр за кадром, чтобы получить бесшовный результат.

XR заменяет хромакей 3D виртуальным фоном с использованием LED-экранов высокого разрешения (XR Virtual LED), что позволяет исключить привычные проблемы, которые мы описали выше. Также экраны служат дополнительным источником света, заменяя естественный свет на натуре. Специальные датчики-трекеры в реальном времени синхронизируют картинку на экране с расположением объектива, что позволяет дистанционно двигать камеру и получать достоверное изображение в любой точке съемки.

Главная же «изюминка» технологии, отличающая ее от использования зеленого экрана, – параллакс-эффект, изменение видимого расположения объектов заднего плана относительно друг друга в зависимости от нахождения наблюдателя.

Декорации с XR могут быть построены заранее, а проблемы с освещением или эффектами устранены во время постановки. Актеры, осветители, операторы и другие участники команды работают вместе в XR-производстве для получения удовлетворительного конечного результата. Теперь большая часть работы выполняется до начала постпродакшена: все эффекты создаются на съемочной площадке, а актер получает возможность выступить в декорациях, которые он видит – это позволяет полнее погрузиться в образ.

Преимущество использования XR Virtual LED состоит еще и в том, что режиссеры фильма больше не ограничены в выборе локаций. С помощью этой технологии можно даже отказаться от съемок на натуре — студию виртуального производства реально воссоздать на любой площадке. Процесс производства проходит более гладко и быстро: теперь как никогда легко увидеть конечный результат без необходимости ждать месяцами. Это не только облегчает работу съемочной группы, но и позволяет актерам работать эффективнее, оперативно корректируя свою игру.

Комплекс технологий XR Virtual LED успешно применялся на съемках нового сериала вселенной «Звездных войн» — «Мандалорец», в результате чего продюсеры смогли отказаться от натурных съемок. На гигантские светодиодные экраны, размещенные на стене и потолке, выводили реалистичный динамический фон, заранее сгенерированный в виде трехмерного изображения. Оно создавалось в реальном времени с помощью игрового движка Unreal Engine 4, который позволяет точнейшим образом передавать физические свойства, менять объекты и даже добавлять спецэффекты, например, туман или молнии. Таким образом удалось снять более половины сцен. Это был один из самых важных моментов в истории современной киноиндустрии.

Благодаря XR большая часть работы над сериалом была выполнена во время производства, а не после. Такие вещи, как хромакей, были исключены из большей части фильма. Это не только привело к улучшению качества производства, но и позволило участникам команды работать вместе без творческой блокады.

Эту же технологию, с использованием игрового движка Unreal Engine 4 для возможности постановки камеры в любом направлении, успешно применила компания Disney при производстве фильмов «Книга джунглей» (2016) и «Король лев» (2019).

XR-решения применялись также на съемках фильма «Аватар» и сериала «Игра престолов», при производстве фильма «Бегущий по лезвию 2049» (2017), где использовался игровой движок Unity.

Лаборатория виртуальных пространств R2O – возможности и кейсы

XR – это сложная технология, с помощью которой создаётся видеоконтент с применением сложной и точной оптической системы трекинга. Вселенную «капитанов», как и многие другие проекты с использованием новейших технологий, разрабатывает лаборатория виртуальных пространств R2O. Студию развивает медиагруппа «Красный квадрат» совместно с Телевизионным техническим центром «Останкино» специально для применения XR решений в производстве художественного, развлекательного и образовательного контента для кино, телевидения и рекламы. При этом компетенции участников определены так, что ТТЦ «Останкино» отвечает за технические решения, а «Красный квадрат» за творческие и продюсерские.

На сегодняшний день R2O оснащена на уровне лучших мировых студий и способна осуществлять проекты любой сложности. Лаборатория объединяет в себе три технологических направления:

• LED Volume – виртуальный продакшн полного цикла с использованием LED-экранов;
• CG – разработка компьютерной графики, визуальных эффектов и постпродакшн;
• ХR – лаборатория расширенной реальности.

Павильон студии оснащен LED-экранами высокого разрешения. В состав оборудования для работы с XR входят камеры, которые передают визуальный контент, и устройство, с которого идет управление. Имеющееся оборудование позволяет переключать картинку и переноситься в разные локации за секунды, даже в прямом эфире.

Цифровой продакшн LED Volume и технология расширенной реальности позволяют достраивать окружение за границы экранов, погружать человека в любое виртуальное окружение, обеспечивать полное взаимодействие персонажа со всеми видами графики и декораций. В организации сцен в виртуальном пространстве творческая группа может себя не ограничивать: все, что раньше было невозможным при съемке на хромакее – стробящие рисунки, блестящие украшения, цветные и прозрачные элементы – не является ограничением при использовании оборудования и технологий R2O.

Реальный и виртуальный миры объединяются и создают иллюзию настоящего. Это достигается за счёт дополненной реальности (AR). В существующее виртуальное, и даже реальное изображение можно внедрить предметы интерьера, элементы декорации и даже здания. При этом человек, который находится в кадре, вполне свободно может существовать в зоне этого объекта, не перегораживая и не пересекая его. Для зрителя же трехмерный объект будет абсолютно живым – он имеет тень и отражает реальный свет. Все это не стесняет движения камер, и картинка выдает достоверное изображение с любой точки съемки.

В студии R2O можно работать сразу с несколькими камерами. У каждой есть свой компьютер, с которым идет синхронизация «кадр в кадр». Поворот камеры может осуществляться на 360 градусов, а технология XR позволяет в разы масштабировать пространство: 150 квадратных метров реального павильона за доли секунд превращаются в 1000 квадратных метров виртуального мира.

Большой плюс XR-технологии – интерактив, который ломает стену между создателями контента и аудиторией. Например, во время прямой трансляции зрители могут звонить, оставлять комментарии и реакции, тем самым меняя пространство в кадре. Все это происходит за счет автоматизации вывода графики.

Кроме того, команда R2О разработала и внедрила специальное программное обеспечение, которое позволяет значительно упростить процесс съемки и приблизить организацию съемочного процесса к привычному. Режиссерской группе не придется привыкать к новому оборудованию – привычный режиссерский пульт подключен к технике, осуществляющей съемочный процесс в XR. Все остается прежним и для съемочной группы – это очень удобно и экономит время команды на освоение всех нюансов новой технологии.

Вся нагрузка в студии уходит с постпродакшн на препродакшн: подготовительная часть является важнейшей и определяет в конечном итоге качество и экономику съемок в виртуальном пространстве LED Volume. Студия R2O выполняет подготовительные этапы, начиная от арт-продакшн и до момента, когда творческая группа попадет на съемочную площадку. Виртуальные пространства сложны в подготовке, но дают больше возможностей в творчестве и экономят время команды. Студия R2O разрабатывает графику 3D-сцен любой сложности, заранее прописывая графику и свет. В результате режиссер видит картинку еще до начала съемки и сразу может ее оценить. 

Теперь декорации хранятся не на складе, а на цифровых носителях, доступных творческой группе в любом месте, в любое время. В итоге за 5-6 часов удается провести сложную телевизионную съемку, а за одну-две смены можно снять полномасштабный клип в несколько сцен. На монтаж уйдет минимальное количество времени.

Студия R2О работает с разными направлениями медиаиндустрии:

• Телевидение. Шоу, прямые трансляции, интервью – благодаря технологии XR даже в многокамерных съемках гарантирована полная свобода в перемещениях, и, при необходимости, может быть осуществлено создание анимированных аватаров.
• Реклама. Расширенная реальность позволяет воплотить самые смелые идеи: можно использовать не только поверхности – пол, потолок и стены, но и оживлять объекты внутри кадра и перемещать их по виртуальному пространству.  
• Ивенты. Благодаря новым технологиям возможно создавать зрелищные видеопрезентации, масштабные конференции и презентации продукта.
• Кино, сериалы, клипы. XR позволяет значительно облегчить препродакшн и ускорить постпродакшн, а также открывает новые возможности в производстве и повышении качества продукта.   
• Метавселенные. Здесь технологию используют для видеотрансляций внутри прорисованной и анимированной виртуальной реальности, создания виртуальных декораций и аватаров. При этом съемка производится с помощью виртуальных камер, переключать которые можно с помощью клавиши ноутбука.

 В прошлом году команда R2O уже миксовала виртуальный и реальный миры: силами студии была проведена XR-трансляция UNREAL ENGINE DEV CONTEST 2021 на стриминговой площадке Twitch, где ведущие находились внутри «движка» и в игровых локациях, представленных играми-победителями прошлого года: One Day More, Colony Ship, New Arc Line и INDIKA.

Технология виртуального продакшена легла и в основу одного из пилотных проектов «живого клипа» Alai Oli – OSHHH, созданного лабораторией R2O. Командой была создана 3D-сцена в Unreal Engine. Она использовалась для создания динамической локации во время съемок, а также легла в основу мобильного приложения. В нем каждый фанат мог создать свою версию клипа певицы.

Технические возможности R2O

Лаборатория R2O. Реальность и перспективы

В настоящее время павильон студии занимает площадь в 150 квадратных метров. В павильоне размещены 4-х метровые вертикальные экраны, стена-трапеция и LED-потолок. Внутри виртуального пространства могут спокойно существовать 4 человека.

В ближайшее время начнутся работы по созданию нового павильона площадью 600 квадратных метров, где радиусная LED-стена с потолком будет размером 130 квадратных метров. Это будет первый в стране высокотехнологичный павильон, который позволит работать сразу с 11-ю камерами одновременно, чтобы легко воплощать в жизнь даже самые сложные и масштабные проекты.

Помимо съемок командой студии осуществляются перспективные разработки, ведь потенциал XR-технологии еще не раскрыт до конца и подлежит постоянному изучению.

***

Нет сомнений в том, что технологии XR станут незаменимы в многочисленных областях жизни человечества. Разработчики новейших технологий идут дальше и дальше, размывая грань между реальностью и виртуальными мирами, меняя не только среду обитания человека, но и его сознание. Вот, уже термин «метавселенная» вошел в используемый словарь нашего современника, понимаемый как «Постоянно действующее виртуальное пространство, в котором люди могут взаимодействовать друг с другом и с цифровыми объектами через свои аватары, с помощью технологий виртуальной реальности».

Создание и расширение этого виртуального мира, непреодолимое его проникновение в личное и общественное пространство человечества, наряду с искусственным интеллектом и роботизацией, основные черты времени в котором мы живем, и в котором будут жить наши дети.  И потребность в виртуальных студиях, технологически обеспечивающих визуализацию этого виртуального мира, возрастает с каждым днем.