Как ИИ применяют в кино: магические маски и ландшафты. Заключительная часть исследования

В прошлых эссе мы разобрались, каким в кинематографе ИИ изображали на протяжении последних ста лет. Теперь пора разобраться, как его в кинематографе и шире — в видеографии — применяли и применяют.

Сперва разберемся с ИИ как с инструментом сугубо прикладным — инструментом монтажеров, операторов, звуковиков.

Первыми на ум приходят «умные» маски в программах для монтажа — последние годы нельзя представить ни одну монтажку без ИИ-фильтров и обработки. Даже мобильные приложение, например CapCut, активно используют нейросетевые компоненты. Современному специалисту по цветокоррекции или спецэффектам уже сложно вспомнить те времена, когда для того, чтобы покрасить человека отдельно от фона, или «закомпозить» какой-то эффект, приходилось бегать с хромакеем. Помогают нейросети и для наложения всевозможных автоматических субтитров и даже в создании раскадровок и отсмотре футажей.

«Волшебная маска» в DaVinci Resolve

Для операторов документального кино нейросети — возможность быстро сфокусироваться на человеке или объекте, а не подстраивать фокус вручную, на что не всегда есть время. Помощью генеративных моделей пользуются и для подбора локаций, и для генерации идей для сценария или постановки планов.

Но само-собой самое заметное применение ИИ — VFX. В «большом кино» генеративные модели начали применять для создания сцен не так давно — еще несколько лет назад весь интернет смотрел на Уилла Смита, поедающего макароны через нос. Использовали нейросети в тот момент скорее для помощи в написании сюжетов отдельных сцен и помощи в продумывании концепции.

Но всего спустя год, в 2024 году, китайские аниматоры уже сумели сгенерировать целый мультфильм — The Mirror of Mountains and Seas: Climbing the Waves. Там работа нейросетей хоть и заметна, но уже не столь сильно бросается в глаза. То же самое можно сказать и про «Этернавтов» от Netflix. В реалистичном сериале, где артефакты генерации нельзя списать на стилизацию, ИИ создал полноценную сцену, хоть и не без постобработки человеком.

Создатели сериалов вообще часто «грешат» использованием ИИ. Необходимость быстро выпускать продолжения и загруженность VFX команд делает использование генеративных моделей почти неизбежным. Пока что почти все ограничиваются дорисовыванием массовки и пейзажей, но с развитием ИИ индустрия неизбежно придет к генерации почти всего окружения даже в нестилизованном кино. Просто потому, что так дешевле.  Актёров уже омолаживают при помощи нейросетей, и делают это едва ли не лучше, чем классическими методами.

Мультипликация уже пришла к полноценной генерации. Помимо вышеозвученного The Mirror of Mountains and Seas, уже существуют отдельные нейросети, специализирующиеся на создании полноценных мультфильмов по промтам конкретных пользователей.

Да, пока что генеративный контент не пользуется особой популярностью. ИИ всё еще не до конца прошел своеобразную «зловещую долину». Модели уже достаточно хороши, чтобы не рисовать лишних пальцев, но еще недостаточно хороши, чтобы человек не замечал их работу спустя несколько кадров. И, как и в случае с гиперреалистичными мультфильмами начала нулевых, ИИ вызывает скорее отторжение. Пока это характерно даже для изрядно стилизованного контента, но пародии на «Рика и Морти» уже получаются вполне симпатичными.

И чем дальше, тем больше крупные студии будут инвестировать в специализированные для кино разработки. Так что мира, в котором каждый пользователь сможет по подписке сгенерировать по своему промту себе игровой фильм на вечер, не так и долго ждать.

Пока звучит так, будто вся индустрия «естественного» кинематографа вымрет, и все будут сидеть дома и генерировать себе фильмы на вечер по вкусу. Быть может, однажды так и будет, но вряд ли в ближайшем будущем. Пока что нейросети неоспоримо прогрессируют как в качестве генерации, так и в скорости работы. Но они все еще не способны придумать что-то полностью новое. Обученные на сумме «человеческого» контента, они способны, умело или не очень, комбинировать его, создавая суть пародии.

Да, живые режиссеры тоже не живут в вакууме, постоянно вдохновляются и отсылают к работам прошлого и настоящего. Но одновременно талантливые авторы способны или на создание какого-то нового аспекта фильма, качественного отличного от всего, что было раньше, или на комбинацию чего-то, что казалось бы, комбинированию не подлежит.

Нейросети же, напротив, стремятся делать контент, который понравится наибольшему числу людей. Так организовано их обучение, и пока индустрия как будто не способна предложить что-либо качественно иное. Они пригодны для создания массового кино, но сделать что-то действительно нишевое — не способны.

И речь не только о концепции или сценарии. Использовать редкий монтажный прием, или поставить камеру под абсолютно не академичным углом — ИИ на такое не идёт. Разумеется, его можно об этом попросить, но скорее всего результат будет или довольно стандартным, или сильно выбиваться из логики продукта.

Пока что выглядит так, будто модели будут продуцировать массовый и зрелищный контент, но в авторском кино, несущем какой-то завуалированный посыл и сложный символизм, им место найдется в качестве лишь вспомогательного инструмента.

По мере того, как ИИ будет всё больше вытеснять традиционные съемочные команды из крупнобюджетных блокбастеров, многие профессионалы могут попробовать себя в авторском кинематографе. С большим количеством специалистов может произойти даже новый бум независимого кино.

Найдется и много зрителей, желающих заплатить за «человеческий» контент. Ведь в 2010-е, с появлением почти совершенных матриц и оптики, многие режиссеры решили вернуться к пленке и советской оптике, и рынок их поддержал. Может, мир охватит мода на документальное кино, не обремененное чем-либо, что могла бы сгенерировать нейросеть.

Так что лично я не согласен с тезисами о смерти кинематографа от рук ИИ. Но индустрия однозначно трансформируется. А нам остается лишь смотреть за тем, как нейросети изменят кинематограф, сойдя с экранов в наш мир.