Разработчики научили алгоритм переносить человеческие движения между видео
Разработка задействует ряд программ, которые позволяют перенести движения танцующего человека и смоделировать конечный вариант, где движения повторяет другой человек
Американские исследователи из Университета Калифорнии в Беркли под руководством Алексея Эфроса создали нейросетевой алгоритм, который способен переносить движения людей между видеороликами, пишет N+1. Для обучения программе необходимо предоставить запись человека с оригинального видео длиной в несколько минут, после чего алгоритм перенесет обработанные движения на новый видеоролик.
Разработка использует машинное обучение, благодаря которому алгоритм способен переносить детали и стиль между изображениями и видеороликами. Исследователи в своем алгоритме реализовали перенос движений через промежуточные модели тела — таким образом упрощается сборка кадров, а движение человеческого тела отражается более точно.
Примененная в алгоритме OpenPose трехстадийная схема позволяет превратить исходное видео в упрощенную модель человеческого тела, которая состоит из соединенных линиями ключевых точек. Затем движения исходной модели переносятся на целевую и проходят нормализацию ввиду того, что разные люди могут иметь разные пропорции тела, а прямой перенос может привести к нереалистичным изменениям внешнего вида другого человека. После этого задействуется другой алгоритм pix2pixHD, который разработан в Университете Калифорнии совместно с NVIDIA, — он превращает движения модели в фотореалистичный видеоролик, в котором человек повторяет движения из исходного видео.
Основным заявленным недостатком является необходимость обучать алгоритм на видеоролике с множеством движений, а переносить заученные движения он сможет только на ролик с конкретным человеком, однако на исходниках могут присутствовать разные люди.
