Я согласен с политикой конфиденциальности
ПРОБЛЕМЫ ПРИМЕНЕНИЯ НЕЙРОСЕТЕЙ В КИНО
ПРОБЛЕМЫ ПРИМЕНЕНИЯ НЕЙРОСЕТЕЙ В КИНО
Искусственный интеллект активно развивается и находит применение в большом количестве разных сфер. Киноиндустрия не стала исключением. Хотя мнения об использовании нейросетей в кино разделились: не все считают, что ИИ — это отличный помощник. Беспокойство вызывают проблемы, с которыми можно столкнуться. Давайте разберемся, какие есть плюсы и минусы.
Объекты нейросетей в кино
Для начала определим, какие вообще объекты могут быть созданы нейросетями для их использования в кинопроизводстве. Если такие объекты создаются для фильма, который состоит из объектов авторского права, то соответственно их можно найти в перечне объектов авторского права. Такой перечень указан в ст. 1259 ГК РФ. Однако то, что они входят в этот перечень еще не означает, что они будут охраняться авторским правом. Подробнее об этом — в другом материале.
Таким образом, к создаваемым нейросетями объектам можно отнести:
- литературные произведения;
- сценарные произведения;
- музыкальные произведения;
- аудиовизуальные произведения;
- произведения живописи;
- графические рассказы, комиксы;
- фотографии;
- другие произведения (в которые, исходя из практики внедрения нейросетей в кинопроизводство, можно включить анимацию, графические визуальные эффекты, персонажей).
Однако нейросети способны не только создавать какие-либо объекты, но и анализировать, сопоставлять данные и прогнозировать. Подобные навыки также могут быть использованы в кинопроизводстве.
Применение объектов нейросетей в кино
Перед тем, как перейти к обсуждению проблем применения в кинопроизводстве объектов, созданных нейросетями, подробнее остановимся на способах и примерах их использования.
Написание сценариев
Нейросети довольно хорошо себя проявляют при работе с текстом. Поэтому их начали широко применять и для написания сценариев. Например, нейросетями были созданы сюжеты к российскому сериалу «Сидоровы», а также к короткометражным фильмам Sunspring и It’s No Game.
Создание фильмов
Полнометражных фильмов нейросетям пока не удалось создать, однако первые шаги к этому уже сделаны. Так, нейросеть Benjamin под руководством инженера Росса Гудвина из Google создала черно-белую короткометражку Zone Out. Также на Twich транслируется созданный Mismatch Media с помощью нейросети ситком Nothing, Forever.
Генерация образов актеров
Для этого используется технология дипфейк (Deepfake). Ее задействуют в соединении и наложении существующих фото и видео на исходные материалы, используемые в фильме. Технология может быть применена для следующих случаев:
— Создание образа умершего актера;
— Замена актеров;
— Омоложение актеров;
— Создание цифровых двойников.
Реклама и продвижение
Помимо создания творческих объектов нейросети умеют анализировать и сопоставлять, что помогает в рекламе и в продвижении в кино:
— Анализ и создание трейлеров;
— Анализ реакции зрителей;
— Создание постеров;
— Подбор названия фильма.
Звуковое и музыкальное сопровождение
С помощью нейросетей воссоздается звуковое сопровождение фильмов, вроде скрипа дверей, ударов палок, воя ветра и прочих шумов. В режиме реального времени нейросеть распознает изображение, вычисляет, что на нем происходит, и подбирает соответствующий звук к каждой из сцен. Также можно создать звуки научной фантастики или звуковых ландшафтов, в том числе новые музыкальные сэмплы.
Написание сценариев
Нейросети довольно хорошо себя проявляют при работе с текстом. Поэтому их начали широко применять и для написания сценариев. Например, нейросетями были созданы сюжеты к российскому сериалу «Сидоровы», а также к короткометражным фильмам Sunspring и It’s No Game.
Создание фильмов
Полнометражных фильмов нейросетям пока не удалось создать, однако первые шаги к этому уже сделаны. Так, нейросеть Benjamin под руководством инженера Росса Гудвина из Google создала черно-белую короткометражку Zone Out. Также на Twich транслируется созданный Mismatch Media с помощью нейросети ситком Nothing, Forever.
Генерация образов актеров
Для этого используется технология дипфейк (Deepfake). Ее задействуют в соединении и наложении существующих фото и видео на исходные материалы, используемые в фильме. Технология может быть применена для следующих случаев:
— Создание образа умершего актера;
— Замена актеров;
— Омоложение актеров;
— Создание цифровых двойников.
Реклама и продвижение
Помимо создания творческих объектов нейросети умеют анализировать и сопоставлять, что помогает в рекламе и в продвижении в кино:
— Анализ и создание трейлеров;
— Анализ реакции зрителей;
— Создание постеров;
— Подбор названия фильма.
Звуковое и музыкальное сопровождение
С помощью нейросетей воссоздается звуковое сопровождение фильмов, вроде скрипа дверей, ударов палок, воя ветра и прочих шумов. В режиме реального времени нейросеть распознает изображение, вычисляет, что на нем происходит, и подбирает соответствующий звук к каждой из сцен. Также можно создать звуки научной фантастики или звуковых ландшафтов, в том числе новые музыкальные сэмплы.
Создание локаций
Изучив сценарий, нейросеть может предложить подходящие локации практически для каждой из сцен. Благодаря этому можно не подстраиваться под погодные условия и время суток, так как перспектива, окружение и свет могут изменяться в режиме реального времени. Такой процесс не только упрощает работу актерам, но и значительно сокращает расходы на постпродакшн.
Изучив сценарий, нейросеть может предложить подходящие локации практически для каждой из сцен. Благодаря этому можно не подстраиваться под погодные условия и время суток, так как перспектива, окружение и свет могут изменяться в режиме реального времени. Такой процесс не только упрощает работу актерам, но и значительно сокращает расходы на постпродакшн.
Создание анимации, спецэффектов, помощь в монтаже
При помощи нейросетей можно дорисовывать детали, менять фон, применять спецэффекты и фильтры, генерировать плавные переходы между кадрами, создавать анимацию для персонажей или объектов. Нейросети способны быстро объединить видеофрагменты, определить лучшие кадры, удалить дубликаты или неудачные дубли, улучшить качество видео. Также есть алгоритмы, удаляющие из кадра провода, маркерные метки и следы фломастеров, которые используют в монтажно-тонировочный период (клинап). Кроме того, нейросети помогают визуализировать сценарий и быстро создать раскадровку.
Аналитика и прогнозирование
Нейросети могут использоваться для прогнозирования того, какие фильмы могут стать успешными, а какие провалятся в прокате. Нейросети могут исследовать структуру произведения, сюжетную линию, актерский состав, имена режиссеров и сценаристов, размер бюджета, сравнить потенциальные кинопроекты с базой данных, где представлены широко известные фильмы, и в итоге предсказать возможную сумму кассовых сборов. Также нейросети могут выступать бета-ридерами — они изучают сценарии фильмов и прикидывают, насколько они удачны. Еще нейросеть помогает понять, как тот или иной актерский состав скажется на успехе продукта. Более того, можно оценить влияние участия конкретного актера на рейтинги. Все это позволяет экономить время на прослушиваниях нерелевантных кандидатов, а также правильно подобрать актеров для ремейков и франшиз.
Создание персонажей
При правильном запросе с указанием стилистики и подробного описания нейросеть способна сгенерировать вполне себе нового и неузнаваемого персонажа.
Помощь в создании документальной хроники
Нейросети могут распознавать лица и речь, быстрее идентифицировать запечатленных в кинохронике людей, удалять дефекты изображения и оптимизировать качество картинки, а также восстанавливать недостающие фрагменты фильмов, что может дать новый виток жизни для документалистики.
При помощи нейросетей можно дорисовывать детали, менять фон, применять спецэффекты и фильтры, генерировать плавные переходы между кадрами, создавать анимацию для персонажей или объектов. Нейросети способны быстро объединить видеофрагменты, определить лучшие кадры, удалить дубликаты или неудачные дубли, улучшить качество видео. Также есть алгоритмы, удаляющие из кадра провода, маркерные метки и следы фломастеров, которые используют в монтажно-тонировочный период (клинап). Кроме того, нейросети помогают визуализировать сценарий и быстро создать раскадровку.
Аналитика и прогнозирование
Нейросети могут использоваться для прогнозирования того, какие фильмы могут стать успешными, а какие провалятся в прокате. Нейросети могут исследовать структуру произведения, сюжетную линию, актерский состав, имена режиссеров и сценаристов, размер бюджета, сравнить потенциальные кинопроекты с базой данных, где представлены широко известные фильмы, и в итоге предсказать возможную сумму кассовых сборов. Также нейросети могут выступать бета-ридерами — они изучают сценарии фильмов и прикидывают, насколько они удачны. Еще нейросеть помогает понять, как тот или иной актерский состав скажется на успехе продукта. Более того, можно оценить влияние участия конкретного актера на рейтинги. Все это позволяет экономить время на прослушиваниях нерелевантных кандидатов, а также правильно подобрать актеров для ремейков и франшиз.
Создание персонажей
При правильном запросе с указанием стилистики и подробного описания нейросеть способна сгенерировать вполне себе нового и неузнаваемого персонажа.
Помощь в создании документальной хроники
Нейросети могут распознавать лица и речь, быстрее идентифицировать запечатленных в кинохронике людей, удалять дефекты изображения и оптимизировать качество картинки, а также восстанавливать недостающие фрагменты фильмов, что может дать новый виток жизни для документалистики.
Проблемы применения объектов нейросетей
Как мы видим, польза от нейросетей в кинопроизводстве велика. Они сокращают работу над созданием фильма, экономят бюджет, облегчают производственный процесс, возрождают и омолаживают актеров, предугадывают успех фильма и могут еще много чего интересного. При этом отсутствие динамики развития нейросетей в правовой сфере точно не остановит продюсеров от их применения в кино. Однако стоит не забывать, что помимо пробелов в правовом регулировании, нейросети имеют проблемы и насущные.
Аналитика и прогнозирование
Одна из проблем в том, что нейросети ограничены в своих возможностях, поскольку могут смотреть только в прошлое и анализировать уже произошедшее, не зная, какие тренды, вкусы и стили будут популярны в будущем. В данном аспекте нейросети подходят лишь как вспомогательный элемент. Например, нейросеть ScriptBook предсказала, что музыкальная драма «Ла-Ла-Лэнд» соберет в прокате 59 миллионов долларов, а в реальности же этот показатель составил 446 миллионов долларов.
Этот же способ использования нейросетей может быть неудачным при найме сотрудников. Например, компания Amazon была вынуждена прекратить использовать нейросеть, помогающую находить IT-специалистов, поскольку она не учитывала в поиске вакансии женщин, как соискателей, из-за того, что раньше в большинстве случае в IT было больше мужчин, чем женщин. На этом и строилась аналитика нейросети. Такой подход мог бы спровоцировать коллективный иск за сексизм.
Аналитика и прогнозирование
Одна из проблем в том, что нейросети ограничены в своих возможностях, поскольку могут смотреть только в прошлое и анализировать уже произошедшее, не зная, какие тренды, вкусы и стили будут популярны в будущем. В данном аспекте нейросети подходят лишь как вспомогательный элемент. Например, нейросеть ScriptBook предсказала, что музыкальная драма «Ла-Ла-Лэнд» соберет в прокате 59 миллионов долларов, а в реальности же этот показатель составил 446 миллионов долларов.
Этот же способ использования нейросетей может быть неудачным при найме сотрудников. Например, компания Amazon была вынуждена прекратить использовать нейросеть, помогающую находить IT-специалистов, поскольку она не учитывала в поиске вакансии женщин, как соискателей, из-за того, что раньше в большинстве случае в IT было больше мужчин, чем женщин. На этом и строилась аналитика нейросети. Такой подход мог бы спровоцировать коллективный иск за сексизм.
Необходимость человеческого участия
На сегодняшний день нейросети, по мнению индустрии кино, достаточно слабы для их использования в целях создания чего-то по-настоящему масштабного и серьезного. В целом они хорошо себя показывают при достижении определенных второстепенных задач, но не более. К примеру, нельзя полностью отдать в руки нейросети создание сценариев или персонажей. В данных случаях предполагается обязательное участие и творческий вклад человека, чтобы скорректировать и дополнить работу. К тому же результат нейросети нужно проверить перед тем, как пускать в ход.
Например, написанный нейросетью фильм Sunspring рассказывает о будущем, а актерами выступили живые люди. По мнению зрителей, фильм смотрится довольно нелепо. Сюжет вполне серьезный, но из-за того, что написание сценария полностью отдали машине, он не был раскрыт, как надо. На сегодняшний день для того, чтобы сделать качественный контент, создаваемые нейросетями объекты требуют доработки их пользователями, так как без человеческого восприятия, мировоззрения и творческой составляющей раскрыть потенциал любого фильма просто невозможно.
На сегодняшний день нейросети, по мнению индустрии кино, достаточно слабы для их использования в целях создания чего-то по-настоящему масштабного и серьезного. В целом они хорошо себя показывают при достижении определенных второстепенных задач, но не более. К примеру, нельзя полностью отдать в руки нейросети создание сценариев или персонажей. В данных случаях предполагается обязательное участие и творческий вклад человека, чтобы скорректировать и дополнить работу. К тому же результат нейросети нужно проверить перед тем, как пускать в ход.
Например, написанный нейросетью фильм Sunspring рассказывает о будущем, а актерами выступили живые люди. По мнению зрителей, фильм смотрится довольно нелепо. Сюжет вполне серьезный, но из-за того, что написание сценария полностью отдали машине, он не был раскрыт, как надо. На сегодняшний день для того, чтобы сделать качественный контент, создаваемые нейросетями объекты требуют доработки их пользователями, так как без человеческого восприятия, мировоззрения и творческой составляющей раскрыть потенциал любого фильма просто невозможно.
Замена участников творческой группы
Здесь проблема кроется уже не в пробелах нейросетей, а в замене человеческого труда. Конечно, какие-нибудь технические вещи нейросеть точно сделает быстрее и качественнее, чем человек, да еще и за меньший бюджет. Здесь продюсерам практически не остается другого выбора, так как здравый смысл преобладает. В скором времени при должном развитии нейросетей в кино может произойти замена именно тех, кто недостаточно развивается и интересуется своей сферой. Из-за этого «слабые» работники, скорее всего, потеряют свои места.
Злоупотребление объектами нейросетей
Злоупотребить использованием нейросети можно как умышленно, так и непроизвольно. Если без задней мысли в нее заложить множество сценариев, написанных одним человеком, то на выходе нейросеть может выдать какую-нибудь переработку, что допускается только с согласия автора. В таком случае есть вероятность предъявления иска о нарушении авторских прав. Как пример из судебной практики, иск художников к разработчикам нейросети MidJourney.
Применение дипфейков в кинопроизводстве путем замены актеров их цифровыми копиями или замены их голосов, в том числе в целях экономии средств и сокращения бюджета, без их согласия будет являться ущемлением прав. Это может привести к судебным разбирательствам и достаточно серьезным негативным последствиям, начиная от штрафов и заканчивая прекращением показа фильма, что в свою очередь принесет огромные убытки.
Примером защиты прав актеров и сценаристов от использования нейросетей в кино служит забастовка Гильдии киноактеров, Американской федерации артистов телевидения и радио (Sag-Aftra) и Гильдии сценаристов Америки (WGA). Участники забастовки требовали урегулировать использование нейросетей, чтобы их нельзя было применять для написания или переписывания литературных произведений, в том числе в качестве источника исходного материала, а также просили четко регламентировать создание двойников с помощью нейросетей и не допустить генерации цифровых образов без согласия «донора». Забастовка длилась пять месяцев и вынудила крупные студии остановить производство проектов. В итоге после завершения акции требования ее участников были выполнены.
Для достижения таких же результатов по защите своих прав в России предполагается создание таких же крепких и устойчивых гильдий. И государство поддерживает подобную инициативу. Об этом говорится в ст. 28 Закона «Основы законодательства Российской Федерации»:
Здесь проблема кроется уже не в пробелах нейросетей, а в замене человеческого труда. Конечно, какие-нибудь технические вещи нейросеть точно сделает быстрее и качественнее, чем человек, да еще и за меньший бюджет. Здесь продюсерам практически не остается другого выбора, так как здравый смысл преобладает. В скором времени при должном развитии нейросетей в кино может произойти замена именно тех, кто недостаточно развивается и интересуется своей сферой. Из-за этого «слабые» работники, скорее всего, потеряют свои места.
Злоупотребление объектами нейросетей
Злоупотребить использованием нейросети можно как умышленно, так и непроизвольно. Если без задней мысли в нее заложить множество сценариев, написанных одним человеком, то на выходе нейросеть может выдать какую-нибудь переработку, что допускается только с согласия автора. В таком случае есть вероятность предъявления иска о нарушении авторских прав. Как пример из судебной практики, иск художников к разработчикам нейросети MidJourney.
Применение дипфейков в кинопроизводстве путем замены актеров их цифровыми копиями или замены их голосов, в том числе в целях экономии средств и сокращения бюджета, без их согласия будет являться ущемлением прав. Это может привести к судебным разбирательствам и достаточно серьезным негативным последствиям, начиная от штрафов и заканчивая прекращением показа фильма, что в свою очередь принесет огромные убытки.
Примером защиты прав актеров и сценаристов от использования нейросетей в кино служит забастовка Гильдии киноактеров, Американской федерации артистов телевидения и радио (Sag-Aftra) и Гильдии сценаристов Америки (WGA). Участники забастовки требовали урегулировать использование нейросетей, чтобы их нельзя было применять для написания или переписывания литературных произведений, в том числе в качестве источника исходного материала, а также просили четко регламентировать создание двойников с помощью нейросетей и не допустить генерации цифровых образов без согласия «донора». Забастовка длилась пять месяцев и вынудила крупные студии остановить производство проектов. В итоге после завершения акции требования ее участников были выполнены.
Для достижения таких же результатов по защите своих прав в России предполагается создание таких же крепких и устойчивых гильдий. И государство поддерживает подобную инициативу. Об этом говорится в ст. 28 Закона «Основы законодательства Российской Федерации»:
Российская Федерация содействует созданию и деятельности организаций творческих работников — ассоциаций, творческих союзов, гильдий и иных, а также федераций и конфедераций таких организаций, филиалов и отделений международных сообществ творческих работников.
Нейросети могут быть очень полезным инструментом для работы в киноиндустрии, однако в целях продуктивности использования их результат должен быть скорректирован человеком и применен с осторожностью и уважением к правам и интересам творческих профессий.
