ИИ общего применения: как ставить задачи нейросетям

Этапы формирования ТЗ для ИИ и нейросетей в маркетинге

Первым делом необходимо определить цель проекта и желаемый результат. Чем конкретнее будет цель, тем легче нейросети будет выполнить задачу. Опишите требования к функциональности и характеристикам результата, а также укажите ограничения и условия проекта. Это может включать в себя ограничения по времени, бюджету, доступу к данным и т. д.

Если проект включает в себя разработку пользовательского интерфейса, следует описать, что должен включать в себя интерфейс и какие принципы необходимо учесть. Если проект связан с обработкой конфиденциальной информации, непременно следует описать, какие меры безопасности должны быть приняты.

Ответы нейросети необходимо сначала критически оценить и, возможно, переработать. Маркетолог, копирайтер, дизайнер должны знать, что это всего лишь вспомогательный инструмент, который поможет ускорить работу на первом этапе, но вряд ли полностью решит задачу.

Примеры ТЗ для разных тем в маркетинге

Мы попросили GPTChat Bot показать, как, по его мнению, выглядит идеальное техническое задание. И получили вот такой результат в рамках ТЗ для разработки нейросети для анализа поведения пользователей на сайте.

Чат ответил, что именно такое ТЗ будет полным и понятным, что  позволит создать качественный продукт, соответствующий всем требованиям заказчика, с помощью ИИ. 

Вот еще один пример, который показал нам чат под запрос на написание текста для сети кофеен.

Мы получили два варианта грамотно прописанных запросов.

Вариант 1

Вариант 2 

Ну и самое интересное. Мы дали задание нейросети написать эти тексты по идеальному, на ее же взгляд, ТЗ.

И получили вот такую копирайтерскую работу:

Получается, что нейросеть сама может написать для себя техническое задание и выполнить его. Даже если у вас нет четкого понимания, как выстроить свое ТЗ, вы можете дать определенные вводные и попросить нейросеть помочь вам. Как, например, в этом варианте:

В ответ получаем пример ТЗ, которое, конечно, следует доработать руками, чтобы внести важные детали.

Изображения: генерация промтов, сравнение 

GPTChat поможет вам выполнить большую часть работы, важно лишь грамотно и четко сделать запрос. И это касается не только работы с текстом — важно четко формулировать ТЗ и для работы с изображениями. Поговорим о Midjourney — нейросети, которая создает красочные изображения по вашим текстовым описаниям. Единственный способ качественно и напрямую использовать нейросеть на данный момент — это голосовой мессенджер Discord. 

Мы не будем углубляться в детали регистрации и технических настроек, эту информацию можно легко найти в общем доступе во многих источниках. Расскажем непосредственно о процессе создания промта. Простыми словами, промт — это запрос в свободной форме или состоящий из ключевых слов и технических команд, по которому нейросеть генерирует изображение или другой контент.

Чтобы использовать Midjourney, вам нужно ввести команду /imagine, а затем детали, описывающие изображение, которое должен сгенерировать бот. Например, вы можете ввести: /draw a mobile app icon for marketers. Запрос должен быть на английском языке. 

После ввода команды /imagine и описания деталей нажмите Enter или отправьте сообщение. Это отправит ваш запрос боту Midjourney, который начнет генерировать изображения на основе вашей подсказки. Боту может потребоваться несколько минут, чтобы выполнить ваш запрос, так как ему необходимо обработать информацию для генерации.

Мы получили вот такой результат:

После завершения генерации бот отправит вам сообщение с сеткой изображений размером 2x2, каждое из которых представляет собой вариант, основанный на вашей подсказке. Вы можете выбрать нужное изображение, нажав на соответствующую кнопку в верхнем или нижнем ряду сетки.

Также вы увидите ряд команд в две строки. Первая строка — U1, U2, U3, U4 — это масштабирование фотографии. Цифра — это номер фотографии, которую необходимо увеличить. Вторая строка — V1, V2, V3, V4 — это создание новых экземпляров на основе версии фотографии. Если вам понравилась фотография, вы можете сделать еще четыре экземпляра на ее основе.

Если вы попросили увеличить понравившийся вариант, то можете увидеть дополнительные настройки. Make Variations — создать вариант увеличенного изображения и новую сетку из четырех вариантов. Beta / Light Upscale Redo — повторить масштабирование с использованием другой модели масштабирования. Web — открыть изображение в своей галерее на Midjourney.com.

Кроме того, вам доступны технические команды, которые позволяют загрузить референс, получить максимально детальное изображение, настроить соотношение сторон, качество картинки и многое другое. Эта нейросеть — гибкая и талантливая, но все еще требует доработки руками человека.

Ниже — примеры генерации изображения для дизайна интерьера в Midjourney с готовыми промтами.

Промт: Editorial Style Photo, Eye Level, Scandinavian, Kitchen, Island, Marble and Wood, Appliances and Accessories, White with pops of pastels, IKEA, Natural Light, Stockholm, Midday, Fresh, Contemporary:: Additive::0 --ar 16:9

Промт: Editorial Style photo, Low Angle, Mid-Century, Lounge, Armchair, Leather, Wood, Textiles, Wall Decor, Rug Detail, Earthy Tones, Knoll, Floor Lamp, Table Lamp, Palm Springs Modern Home, Afternoon, Relaxing:: Additive::0 --ar 16:9

Промт: Editorial Style Photo, Eye Level, Modern, Living Room, Fireplace, Leather and Wood, Built-in Shelves, Neutral with pops of blue, West Elm, Natural Light, New York City, Afternoon, Cozy, Art Deco:: Additive::0 --ar 16:9

Эти шаблоны можно адаптировать под себя и на их основе создавать уникальные дизайны. А вот здесь собраны еще несколько разнообразных промтов для Midjourney, которые можно взять в качестве примера. 

Важно отметить, что сегодня генерация изображения также доступна через ботов в «Телеграме». Это один из наиболее удобных способов получить быстрый результат без сложных регистраций. Пример — Kandinsky 2.1, разработка «Сбера».

В боте доступны форматы генерации изображений по тексту, смешивание картинок, смешивание картинок и текста, а также функция вариации картинок. Вы просто выбираете один из нужных вам вариантов и вводите запрос. Также бот предлагает нам воспользоваться двумя сайтами: fusionbrain.ai, rudalle.ru. Но качество выполнения точно такое же, как и внутри бота в «Телеграме».

Наш запрос выглядит так: «Нарисуй принцессу Диану в городе с бутылкой кока-колы в руках». Следом мы должны выбрать стиль:

Ждем и получаем такой результат в четырех стилях, которые предлагает нам бот:

Для сравнения: мы дали тот же запрос Midjourney и получили такой контент:

Потом немного уточнили запрос, он стал выглядеть так: «Принцесса Диана на фоне городского пейзажа Лондона, бутылка кока-колы в руках, белая шляпа на голове, красная футболка». И бот выдал нам такие изображения:

А вот такой запрос мы дали чат-боту Midjourney в Телеграме: Princess Diana on the moon with Coca-Cola in her hands («принцесса Диана на Луне с бутылкой кока-колы в руках»).

Результат:

Телеграм–бот работает на весьма высоком уровне, но очень долго из-за большого количества запросов.

Очевидно, что качество изображения и способности отрисовки у Midjourney выше, чем у Kandinsky 2.1, например. И каким бы подробным ни было ТЗ, степень обученности нейросети играет большую роль. Но у Midjourney уже вышла пятая версия, а у Kandinsky пока что только вторая, поэтому все еще впереди. 

Кстати, недавно «Яндекс» представил нейросеть «Шедеврум» для превращения текста в изображения и выпустил для нее приложение. Сейчас в приложении «Шедеврум» можно преимущественно знакомиться с результатами работы нейросети, отмечая понравившиеся изображения в ленте. Собственное описание для генерации изображения пока можно предложить в формате заявки и дождаться ее подтверждения. Но в перспективе это ограничение планируют снять, и отправлять свои описания смогут все зарегистрированные пользователи.

ИИ в видеопродакшене

В первую очередь следует ответить на вопрос: кому нужна нейросеть для видео. Кинематографисты, видеоредакторы, постпродюсеры, блогеры, компании по производству видео — всем им нейросети помогут быстро и просто улучшить качество видеоряда в самых разнообразных аспектах (от технических до содержательных). И все это — без необходимости тратиться на дорогостоящее оборудование и ПО, а также лет специализированного обучения.

Для чего можно использовать ИИ

— Создавать анимационных персонажей и объекты, которые выглядят очень реалистично. Большую популярность сегодня набирает технология дипфейк. 

— Автоматически распознавать и сцены в видео, что позволяет ускорить процесс монтажа и сократить время, затрачиваемое на поиск нужных кадров.

— Создавать персонализированный видеоконтент для каждого зрителя. Например, на основе данных о предпочтениях и интересах зрителя можно создавать уникальный контент, который будет привлекательным и интересным для него.

— Анализировать эффективность видеоконтента. На основе данных об уровне вовлеченности зрителей и других метрик можно определить, какие элементы контента работают лучше всего, и исходя из этого улучшать производство будущих видео.

В целом ИИ может существенно улучшить производство видео, но ТЗ в данном случае имеет уже намного больше нюансов в зависимости от потребностей и целей. 

Нейросети почти невозможно разделить по области применения, так как это целиком зависит от конечной задачи. Например, для одних задач какие-то нейросети могут использоваться на этапе препродакшена, а для других — на постпродакшене.

Вот некоторые нейросети, которые можно использовать в видеопродакшене:

• GPT, в том числе ChatGPT. Однако их много в open source, например: GPT-J 6B, GPT-4chan, Pygmalion, LLaMA, Pythia, GALACTICA etc. Могут использоваться для вдохновения по сценарию или сюжетам. А также как интерактивные поисковики (пример онлайн-поисковика — Bing Chat). Ссылка: https://github.com/oobabooga/text-generation-webui<
  
  
• Stable Diffusion. Разнообразные кастомные модели позволяют сгенерировать почти что угодно, в любых конфигурациях. Полезно для концепт-артов и поиска вдохновения по визуальному стилю. Пример — Midjourney. Правда, с недавних пор доступ к нему только по платной подписке. Поэтому советуем пользоваться AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui. Он дает гораздо более качественные результаты, чем Midjourney, а также больше разнообразия за счет того, что можно использовать разные кастомные модели.
  
  
• Deepfake. Постепенно дипфейки входят в видеопродакшен. На 2023 год лучший софт для производства дипфейков — DeepFaceLab. Ссылка: https://github.com/iperov/DeepFaceLab
  
  

Так или иначе, нужно понимать, что нейронные сети — это не универсальное решение всевозможных проблем, а лишь инструменты, которые помогают в работе специалистам. Поэтому ИИ, как и любым другим инструментом, нужно уметь пользоваться и изучать особенности их применения в конкретных кейсах.

Колоссальный прорыв, изменивший видеопродакшен, стал возможен только благодаря нейросетям. А сможет ли искусственный интеллект оставить без работы монтажеров и звукооператоров? Пока что нет. Несмотря на невероятные результаты, у искусственных нейронных сетей есть одно существенное отличие от человека — результат их работы пока случаен. 

Специалист-человек, когда работает с видео, всегда придерживается определенной концепции и следует идее. Искусственная же нейросеть этого еще не умеет. Это пока весьма упрощенный симулятор естественных нейронных сетей, не обладающий возможностью автономно думать. Поэтому и решает в основном сугубо прикладные и довольно узкие задачи. Но делает это подчас уже лучше человека. Хоть результаты работы во многом еще непостоянны, монтажерам и звукооператорам стоит сосредоточиться на освоении решений творческих и многосложных задач.