Скрестили Fujifilm, Blackmagic и нейросети: как мы сняли клип с живыми актерами и AI-моделями (вперемешку)
Привет, Пикабу! Мы музыканты Costa Música. Недавно мы выпустили трек «Солнечное лето», но до этого нам много пришлось потрудиться над визуалом. Логика была простая: чистая графика – звучит фантастически, негде взять и не умеем, чистая съемка – ну что можно снять такого захватывающего, в отсутствие возможностей продюсеров и Голливуда?..
Мы решили пойти по срединному пути: снять живых актеров, участников группы, на серьезный киносетап, приправляя где это нужно AI-моделями.
Ниже короткая справка о том, как технологии дружили (и конфликтовали) на съемочной площадке, почему тяжелый рендер и отчего YouTube считает, что это сделали роботы.
Сетап: На что снимали?
Основой нашего кадра стали камеры Fujifilm X-T2 и Blackmagic 4К. Нам нужен был отличный сырой исходник с максимальным динамическим диапазоном (RAW) и правильным скинтоном. Нейросети очень капризны к качеству картинки: если на исходнике есть цифровой шум, «мыло» или плохой свет — на выходе AI выдаст не красивую модель, а нехорошее месиво из дешевого слэшера.
Эксперимент: Зачем смешивать живое и AI?
Мы хотели добиться эффекта «цифрового сна» — когда картинка кажется абсолютно реальной, но иногда вдруг атмосфера неуловимо меняется, и все идет не по плану. На самом деле, мы не знали тогда, чего хотим добиться – просто нейросети очень упростили отдельные вещи, но это случилось чуть позже, - сделав, к примеру сцену за 500 долларов просто бесплатной, а с другой стороны – поставив новые задачи, и задрав планку качества на запредельную высоту. Вспомните видео с Анной Герман, - что вообще не отменяет её божественности, - и вы поймете о чем я)
Как строился процесс:
Девушки, ребята, участницы и участники группы, изначально были яркими и привлекательными. Это важно, так как нейросеть копирует ключевые точки лица. Если актер заурядной внешности, то AI-модель легко превращается в манекен или отталкивающего типа.
Решили обойтись вообще без света, то есть сделать картинку совсем не киношной, а скорее документальной (но это не везде так было, потом приходилось работать и над «киношностью»).
Отсняли много видеофутажей (потом сделали короткую и длинную версии) и бэкстейджи. Материал был снят в 30 fps, но это был явно документальный перебор; пришлось потом все это возвращать в нормальные 25 кадров, и масса артефактов, возникших при этом, тоже потом доставила… удовольствие))
Обрабатывали часть материала, или даже скорее заменяли, нейросетями, чтобы сгенерировать новых персонажей, или добавить сцены к существующим.
Что пошло не так (мы были готовы ко всему, и все шло так и этак... но мы терпели)
Нейросети в 2026 году хоть и умные, но по-прежнему думать не умеют.
Глюки на склейках: Когда актер резко поворачивает голову, нейросеть на долю секунды «теряет» лицо, и модель превращается в странного типа. Приходилось вычищать эти кадры вручную на постобработке. На стоп-кадрах видны эти монструозные выражения лица… Некоторые сцены вообще не поддавались изготовлению, несмотря на изощренные промпты, все было не то… действовали тогда обходными путями – и получалось тоже порой неплохо, когда не ожидали)
Тяжелый рендер: Компьютер с трудом делал некоторые вещи, когда масками, рисованием, обработками плагинов и пр. его грузили по полной. Бэкстейдж съемок выглядит как обычное развлечение, а вот процесс обработки – это ад для видеокарты.
Что получилось в итоге?
Изготовили целое облако контента: 2 варианта видео (длинное и покороче), shorts для YouTube и бакстейджи (где видно, как фотоаппарат Fujifilm выдает что-то похожее на художественное и документальное кино одновременно). Blackmagic – это, конечно, волшебство и наше спасение, но не всегда была возможность, особенно в начале, с ним работать.
Эксперимент непонятно удался или нет: отзывов нету, все ушли в отпуск, и давно нам не пишут… )) Да, наверное, мы получили ту самую атмосферу «Солнечного лета», где стирается грань между аналоговым миром и… не аналоговым. Или что мы там получили? Некоторое видео - то что видно глазами… хотя нейросеть тоже может видеть, и даже как-то читает, сканируя, но как она это делает – уму непостижимо. Для нас важно, что оно наконец есть, и мы счастливы!)
Почему YouTube считает, что это сделали роботы – я потом как-нибудь напишу. Но сейчас у него есть просто галочка признания для этого. Возможно, скоро поставят сканер, он будет определять, что да, а что – нет.
Посмотреть можно здесь на YouTube:
В общем, сами видим, что гибрид получился очень разношерстным, профессиональные колористы рвут на себе волосы, конечно) В один loot загнать все это оказалось просто невозможным, желательно все-таки работать с одной сетью (и одной камерой), чтобы получилось единообразие, лучше higgsfield, он отличный, хоть дорогой.
Вопрос уважаемой публике… наверное риторический – когда и скоро ли нейронки убьют классический грим и кастинг… или живой человек на съемочной площадке всегда будет необходим?
