Как я создавал ИИ видео "Сны неандертальца"
Здравствуйте!
Запишу свои мысли, пригодятся ли кому - не ведаю.
Создавал я давеча видео в нейросетях на тему встречи неандертальца с роботом из будущего.
Первым делом мною было принято решение генерировать сначала изображения в нейросети Midjourney, по задуманному сценарию, а затем уже оживлять в нейросети Runway Gen-3. Почему я принял такое решение - потому как при генерации видео текстом результат не всегда предсказуем и почти не управляем. При оживлении изображения я уже заведомо могу придать направление, движение, эмоцию персонажам и сотворить нужную мне атмосферу и фон.
Полный видеоролик вы можете посмотреть ниже.
Для генерации видео я выбрал нейросеть Runway Gen-3, так как работаю с ней уже второй год. По соотношению цена - качество считаю нейросеть самой оптимальной. Работал в режиме Gen-3 Alpha Turbo. Будьте готовы, что на создание минутного ролика могут уйти десятки тысяч рублей. Генерации не всегда удачные и приходится продумывать prompts к изображению и делать неоднократные испытания. Замечу, что при одинаковом prompt и прикрепленном изображении - всегда будет немного разный результат на выходе, так пока работают все исследованные мной нейросети для создания видео.
При создании видеоролика я преследовал прежде всего ознакомительные цели для себя и нарабатывание личного опыта.
Да, потратив пару недель или месяц - можно было бы добиться идентичности персонажа в каждой сцене видео. Например, генерировать персонажа по референсу, а затем сторонним приложением монтировать лицо, что означало бы для меня дополнительные денежные расходы и дополнительное время на создание ролика. Но на данном этапе развития нейросетей, а это примерно 2 года, я получил отличный результат, увидел нюансы и решения проблем с нестабильностью внешностей персонажей. Потенциал у нейросетей огромный!
Для того, чтобы переместить моих персонажей в современную Москву - я создавал коллажи в Adobe Photoshop. Замечу, что верно пишут в manual к нейросетям - лучше оживлять изображения, созданные только в нейросети. И я на личном опыте убедился в этом. Прикрепляя коллажи в Runway Gen-3 заметил, что нейросеть буд-то распознает коллаж и некоторые части коллажа делает более статичными, не вовлеченными в динамику сцены. Также, если вы используете управление камерой в Runway Gen-3 - зумирование, сдвиг перспективы например - то нейросеть будет хуже понимать ваш prompt, а сконцентрируется лишь на движении камеры. Мною были проделаны сотни попыток генераций и могу сказать, так оно пока и есть, на данном этапе разыития нейросети Runway Gen-3.
Музыку для видеоролика я сгенерировал в нейросети Udio.
Монтировал в программе CapCut на компьютере. CapCut уверенно развивается, в программе есть и фильтры, которые кинематографично красят видеоролик, и эффекты перехода от сцены к сцене и многое другое.
При работе с заказчиками я уже четко для себя понимаю, какой ролик реально сотворить в нейросетях, а какой еще нет.
Существует множество нейросетей для видео генераций, почти все я испытывал, но на данном этапе Runway Gen-3 - мой фаворит.