Forwarded from Ai Filmmaker (Dmitriy Alekseev)
Media is too big
VIEW IN TELEGRAM
Luma Dream Machine
Инсайдеры давненько обещали что это лето будет жарким на анонсы. Но то что видео модель выпустит Luma labs вряд ли кто то ожидал.
Так и для меня было неожиданным официальное приглашение в закрытое бета тестирование. Пока у нас нет Sora, Kling и Gen3 это лучшее что есть сейчас в доступе. Ну и самое приятное, что есть доступ на 30 генераций в месяц бесплатным юзерам. Новую нейросеть можно испытать здесь.
Как и полагается первой версии модели есть куча ограничений и артефактов, но я привык искать возможности. И поэтому запилил небольшой бодрый ролик в духе fashion видео ;)
Делитесь своими шедеврами в комментах!
#LumaDreamMachine
Инсайдеры давненько обещали что это лето будет жарким на анонсы. Но то что видео модель выпустит Luma labs вряд ли кто то ожидал.
Так и для меня было неожиданным официальное приглашение в закрытое бета тестирование. Пока у нас нет Sora, Kling и Gen3 это лучшее что есть сейчас в доступе. Ну и самое приятное, что есть доступ на 30 генераций в месяц бесплатным юзерам. Новую нейросеть можно испытать здесь.
Как и полагается первой версии модели есть куча ограничений и артефактов, но я привык искать возможности. И поэтому запилил небольшой бодрый ролик в духе fashion видео ;)
Делитесь своими шедеврами в комментах!
#LumaDreamMachine
BLACKTRACED
PAIN: Push The Pusher Дорогие друзья! Состоялась премьера нашего с Дмитрием Алексеевым AI ретро-аниме клипа для шведской группы Pain, авторов легендарного хита «Shut Your Mouth». Этот клип мы с Дмитрием бок о бок создавали на протяжении трёх месяцев в прошлом…
Наш клип Push The Pusher стал поводом для создания новой категории на фестивале Unknown Film Festival
28—30 июня в Екатеринбурге состоялся ежегодный международный кинофестиваль Unknown Film Festival, куда отправили более 600 работ творцы с разных уголков планеты. Лишь 50 работ попали в шорт-листы и стали номинантами на звание лучших в одной из 5 категорий.
Наш с Дмитрием клип для группы Pain стал номинантом в категории Music Video. Хоть наша работа и не попала в тройку лучших именно в этой категории, произошло кое-что куда более значимое.
Организаторы феста выдали нам "спецприз" за открытие новой категории на фестивале — Искусственный Интеллект. Это большая победа для нас, ведь мы в буквальном смысле оставили свой след в истории феста и пушим ИИ-творчество к новым горизонтам, и несомненно, это круто, что именно наша работа стала поводом для такого решения.
Я очень рад, что у нас в стране достаточно тепло относятся к творчеству, созданному при помощи ИИ-инструментов. Мы с Дмитрием стараемся создавать свои работы так, чтобы они выглядели эстетически красиво и интересно, не только в контексте нейронок, но и вообще в контексте творчества и кинематографа. И это прекрасно, что такой подход даёт свой отклик.
Спасибо за внимание!
28—30 июня в Екатеринбурге состоялся ежегодный международный кинофестиваль Unknown Film Festival, куда отправили более 600 работ творцы с разных уголков планеты. Лишь 50 работ попали в шорт-листы и стали номинантами на звание лучших в одной из 5 категорий.
Наш с Дмитрием клип для группы Pain стал номинантом в категории Music Video. Хоть наша работа и не попала в тройку лучших именно в этой категории, произошло кое-что куда более значимое.
Организаторы феста выдали нам "спецприз" за открытие новой категории на фестивале — Искусственный Интеллект. Это большая победа для нас, ведь мы в буквальном смысле оставили свой след в истории феста и пушим ИИ-творчество к новым горизонтам, и несомненно, это круто, что именно наша работа стала поводом для такого решения.
Я очень рад, что у нас в стране достаточно тепло относятся к творчеству, созданному при помощи ИИ-инструментов. Мы с Дмитрием стараемся создавать свои работы так, чтобы они выглядели эстетически красиво и интересно, не только в контексте нейронок, но и вообще в контексте творчества и кинематографа. И это прекрасно, что такой подход даёт свой отклик.
Спасибо за внимание!
Media is too big
VIEW IN TELEGRAM
Нашему ролику «Childhood Memories» сегодня исполняется год!
Сегодня, 16 августа, нашему с Дмитрием ролику «Childhood Memories», посвящённый воспоминаниям о нашем детстве в 90х, исполняется год!
Это был чистой воды эксперимент: «давай попробуем и посмотрим, что вообще из этого получится». Для нас, как и всегда, самым бесценным был опыт — в процессе создания, мы поняли, как можно работать с нейросетками для создания анимационного контента, как вообще мы применим их в своей творческой работе и что в перспективе с этим можно творить дальше.
Сейчас у нас очень много идей, много проектов в работе, на каждом из которых мы стараемся повышать планку качества и очень жаль, что мы не можем их реализовывать настолько быстро, насколько этого хотелось бы. И само собой, нам не терпится поделиться с Вами своими новыми работами!
Естественно, вспоминая о «Childhood Memories», сразу вспоминается и его популярность. Совершенно неожиданно для нас, на следующий день после публикации, этот ролик разлетелся буквально по всему интернету. Его начали публиковать крупные Телеграм-каналы и различные СМИ, о нём сняли репортаж на телевидении, напечатали статью в газете московского метрополитена, сам Дима рассказывал об этом ролике на конференции Яндекса, где 5000 зрителей смогли посмотреть это видео вживую на огромном экране! Некоторые ссылки на публикации собраны у Дмитрия, а также у меня в заблокированной социальной сети в хайлайтах «Media».
Очень приятно осознавать, что этот ролик нашёл отклик в сердцах у такого огромного количества людей! Спасибо огромное всем кто его репостил и комментировал, всем редакторам СМИ и каналов, кто опубликовал наш ролик, всем, кто поделился нашим творчеством!
С Днём Рождения, родной!
Сегодня, 16 августа, нашему с Дмитрием ролику «Childhood Memories», посвящённый воспоминаниям о нашем детстве в 90х, исполняется год!
Это был чистой воды эксперимент: «давай попробуем и посмотрим, что вообще из этого получится». Для нас, как и всегда, самым бесценным был опыт — в процессе создания, мы поняли, как можно работать с нейросетками для создания анимационного контента, как вообще мы применим их в своей творческой работе и что в перспективе с этим можно творить дальше.
Сейчас у нас очень много идей, много проектов в работе, на каждом из которых мы стараемся повышать планку качества и очень жаль, что мы не можем их реализовывать настолько быстро, насколько этого хотелось бы. И само собой, нам не терпится поделиться с Вами своими новыми работами!
Естественно, вспоминая о «Childhood Memories», сразу вспоминается и его популярность. Совершенно неожиданно для нас, на следующий день после публикации, этот ролик разлетелся буквально по всему интернету. Его начали публиковать крупные Телеграм-каналы и различные СМИ, о нём сняли репортаж на телевидении, напечатали статью в газете московского метрополитена, сам Дима рассказывал об этом ролике на конференции Яндекса, где 5000 зрителей смогли посмотреть это видео вживую на огромном экране! Некоторые ссылки на публикации собраны у Дмитрия, а также у меня в заблокированной социальной сети в хайлайтах «Media».
Очень приятно осознавать, что этот ролик нашёл отклик в сердцах у такого огромного количества людей! Спасибо огромное всем кто его репостил и комментировал, всем редакторам СМИ и каналов, кто опубликовал наш ролик, всем, кто поделился нашим творчеством!
С Днём Рождения, родной!
Forwarded from Ai Filmmaker (Dmitriy Alekseev)
Media is too big
VIEW IN TELEGRAM
"Ур Торум": Предпродакшн
После написания сценария ролика по ключевым сценам повести встал вопрос реализации задуманного. Как это будет выглядеть? Как передать те самые ощущения мира и истории на экран?
Для начала, чтобы показать свое режиссерское видение, обычно я делаю сизл трейлер (ролик собранный из кадров других фильмов на схожую тематику). Это позволяет уже на первых вариантах монтажа, увидеть все ошибки допущенные в сценарии и доработать повествование на монтаже.
Но как быть с персонажами, которые произносят реплики в кадре? Обычно для презентации своих идей через такие черновые ролики, делают либо свою озвучку, либо берут из фильмов общие подходящие фразы. Это была не наша история, ведь это был фактически первый черновик нашего трейлера.
И тут на помощь пришел нейросетевой генератор озвучки Steos Voice. А именно режим клонирования голоса, когда в ответ на ваше голосовое присылается "переозвучка" выбранным из базы голосом. В нем содержится огромная база голосов актеров озвучания из известных игр. И это идеальный инструменты для черновой озвучки, которая позволяет понять какие голоса будут органичны, а также для более точного тайминга монтажа. Так весело я и провел время играя то сурового старосту, то ехидную ведьму.
Ниже вы можете увидеть тот самый сизл трейлер.
После написания сценария ролика по ключевым сценам повести встал вопрос реализации задуманного. Как это будет выглядеть? Как передать те самые ощущения мира и истории на экран?
Для начала, чтобы показать свое режиссерское видение, обычно я делаю сизл трейлер (ролик собранный из кадров других фильмов на схожую тематику). Это позволяет уже на первых вариантах монтажа, увидеть все ошибки допущенные в сценарии и доработать повествование на монтаже.
Но как быть с персонажами, которые произносят реплики в кадре? Обычно для презентации своих идей через такие черновые ролики, делают либо свою озвучку, либо берут из фильмов общие подходящие фразы. Это была не наша история, ведь это был фактически первый черновик нашего трейлера.
И тут на помощь пришел нейросетевой генератор озвучки Steos Voice. А именно режим клонирования голоса, когда в ответ на ваше голосовое присылается "переозвучка" выбранным из базы голосом. В нем содержится огромная база голосов актеров озвучания из известных игр. И это идеальный инструменты для черновой озвучки, которая позволяет понять какие голоса будут органичны, а также для более точного тайминга монтажа. Так весело я и провел время играя то сурового старосту, то ехидную ведьму.
Ниже вы можете увидеть тот самый сизл трейлер.
Ур Торум: Дизайн персонажей
Этап обсуждения дизайна персонажей у нас начался чуть раньше общего визуала (о котором я расскажу в следующей части). Изначально у Дмитрия были мысли снова сделать аниме, так как после предыдущего проекта у нас была рабочая формула, но обсудив это, мы оба пришли к выводу, что аниме в контексте нынешнего проекта не подойдет. Причём, основным инструментом для разработки визуала была уже не Niji V5, как на предыдущем проекте, а MJ V6, со своим пониманием промптов и иным результатом, поэтому старый метод не гарантировал успеха сейчас.
Я предложил держать курс в сторону «нарисованного кино», персонажи должны быть в стиле европейской анимации и выглядеть достаточно натурально, чтобы гармонировать с серьёзным и мрачным тоном произведения, чтобы при просмотре возникало ощущение, будто это в первую очередь некий анимационный фильм, а не мультик.
Чтобы добиться нужного результата, у меня был такой подход: сперва я генерировал фотореалистичные кинематографические стиллшоты, а затем использовал их как референс для их трансформации в анимационный стиль, имея возможность контролировать степень реализма в дизайне персонажей.
Первые тесты получились неплохими, я более ли менее слепил ключевой стиль, который можно было вшивать в промпты для генерации других героев. Из этих технических тестовых изображений Дима собрал мини-тизер, чтобы мы смогли оценить, как шоты смотрятся вместе, заодно показать клиенту и студии анимации, в каком направлении мы собрались двигаться. Но нужно было учитывать два важных момента — рандом нейросетей и смогут ли в таком стиле работать аниматоры, в обозначенных временных рамках.
Казалось бы, формула найдена, но тут, конечно же, палки в колёса начал вставлять рандом. Персонажи получались то слишком уродскими, то слишком реалистичными, то MJ просто не попадал в заданный стиль и эстетику, делая нечто иное. Посоветовавшись с Дмитрием, мы приняли решение упрощать визуал в более "мультяшную" эстетику. Во-первых, простой дизайн будет возможность поправить руками, а во-вторых, всё равно нужно было адаптировать стиль для комфортной работы аниматоров.
Упростили. Когда MJ плюс-минус начал поддаваться, мы сгенерировали персонажей для всех сцен, примерно замэтчив их по стилю, и далее руками пришлось доделывать почти всё. Тут сыграло ещё важную роль то, что большинство персонажей были всего на пару сцен. А вот с главным героем пришлось повозиться. По итогу получилось так, что мы сгенерировали эталон главного героя, использовали его для генерации примерно похожего на себя во всех сценах персонажа и затем снова руками я его дорабатывал, с фиксами по одежде и тд, и затем уже такой готовый вариант передавался аниматорам. В этом плане было, конечно, достаточно много ручной работы. Не говоря уже о том, что для каждой сцены уходило чуть ли не под сотню попыток, чтобы получить даже не идеальный результат.
В прикреплённых к посту изображениях, Вы можете посмотреть первые тесты, сырые генерации и сравнение с финальным результатом.
#AI #Midjourney #нейросети #анимация
😳 @BLACKTRACED
Этап обсуждения дизайна персонажей у нас начался чуть раньше общего визуала (о котором я расскажу в следующей части). Изначально у Дмитрия были мысли снова сделать аниме, так как после предыдущего проекта у нас была рабочая формула, но обсудив это, мы оба пришли к выводу, что аниме в контексте нынешнего проекта не подойдет. Причём, основным инструментом для разработки визуала была уже не Niji V5, как на предыдущем проекте, а MJ V6, со своим пониманием промптов и иным результатом, поэтому старый метод не гарантировал успеха сейчас.
Я предложил держать курс в сторону «нарисованного кино», персонажи должны быть в стиле европейской анимации и выглядеть достаточно натурально, чтобы гармонировать с серьёзным и мрачным тоном произведения, чтобы при просмотре возникало ощущение, будто это в первую очередь некий анимационный фильм, а не мультик.
Чтобы добиться нужного результата, у меня был такой подход: сперва я генерировал фотореалистичные кинематографические стиллшоты, а затем использовал их как референс для их трансформации в анимационный стиль, имея возможность контролировать степень реализма в дизайне персонажей.
Первые тесты получились неплохими, я более ли менее слепил ключевой стиль, который можно было вшивать в промпты для генерации других героев. Из этих технических тестовых изображений Дима собрал мини-тизер, чтобы мы смогли оценить, как шоты смотрятся вместе, заодно показать клиенту и студии анимации, в каком направлении мы собрались двигаться. Но нужно было учитывать два важных момента — рандом нейросетей и смогут ли в таком стиле работать аниматоры, в обозначенных временных рамках.
Казалось бы, формула найдена, но тут, конечно же, палки в колёса начал вставлять рандом. Персонажи получались то слишком уродскими, то слишком реалистичными, то MJ просто не попадал в заданный стиль и эстетику, делая нечто иное. Посоветовавшись с Дмитрием, мы приняли решение упрощать визуал в более "мультяшную" эстетику. Во-первых, простой дизайн будет возможность поправить руками, а во-вторых, всё равно нужно было адаптировать стиль для комфортной работы аниматоров.
Упростили. Когда MJ плюс-минус начал поддаваться, мы сгенерировали персонажей для всех сцен, примерно замэтчив их по стилю, и далее руками пришлось доделывать почти всё. Тут сыграло ещё важную роль то, что большинство персонажей были всего на пару сцен. А вот с главным героем пришлось повозиться. По итогу получилось так, что мы сгенерировали эталон главного героя, использовали его для генерации примерно похожего на себя во всех сценах персонажа и затем снова руками я его дорабатывал, с фиксами по одежде и тд, и затем уже такой готовый вариант передавался аниматорам. В этом плане было, конечно, достаточно много ручной работы. Не говоря уже о том, что для каждой сцены уходило чуть ли не под сотню попыток, чтобы получить даже не идеальный результат.
В прикреплённых к посту изображениях, Вы можете посмотреть первые тесты, сырые генерации и сравнение с финальным результатом.
#AI #Midjourney #нейросети #анимация
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Ур Торум: Дизайн локаций
С дизайном локаций было попроще. Хоть мы и не собирались делать аниме, но именно то, как реалистично нарисованы фоны в полнометражных аниме, нам было нужно.
У нас в ролике преимущественно лес, если с интерьерами всё было более ли менее понятно (интерьеры, кстати, делались по той же технике, что и персонажи), то с лесом должно было быть какое-то иное решение. Потому что деревья у Midjourney в контексте густого леса — это всегда кошмар, они слепляются друг с другом или странно «врастают» одно в другое, всё в таком духе. Плюс, одна из странных и непонятных мне обязательных фишек у MJ при генерации леса — почти всегда присутствует туман или густой дым, который приходится убирать.
Решение по визуалу пришло само собой, когда Дима показал мне первые черновые генерации монстра в лесу. На них лес был нарисован нейронкой так, что заснеженная земля была детализированной и объёмной, а деревья и всякие торчащие палочки-веточки были просто силуэтами практически без какой-либо детализации. Я предложил, что вот именно таким мы должны делать лес. В моём понимании, эти чёрные силуэты деревьев больше вызывали ощущение, что это мистический и жуткий лес, в котором обитает нечто жуткое. В итоге, эту черновую генерацию взяли как Style Reference для всех сцен с лесом.
У меня сразу появилось несколько идей, как можно манипулировать изображениями с таким упрощённым визуалом, чтобы при этом мы не жертвовали киношностью и сцены не выглядели плоскими. В прикреплённом видео Вы можете посмотреть одни из сделанных мною сцен в лесу. Благодаря таким простым формам, я создавал фейковую глубину кадра, делая параллаксы и искажения.
Если немного глубже копнуть в процесс, возьмём, к примеру, ту сцену, где камера плывет за ведьмой над деревьями: я сделал кучу вариаций одной генерации, из кусков которых потом руками лепил финальную сцену, заодно оставляя элементы сцены на отдельных слоях, чтобы их анимировать. Сама анимация в этой сцене — это обычное движение слоев вниз + стандартный инструмент Mesh Warp в AE. Как итог, передать ощущение того, будто мы правда продвигаемся куда-то вглубь кадра, думаю, у меня получилось.
Если Вам интересно узнать подробнее, как делались другие сцены, спрашивайте в комментариях. Свои заключительные мысли о создании ролика и о работе с нейронками для создания подобных проектов, я напишу в следующей части.
#AI #Midjourney #нейросети #анимация
😳 @BLACKTRACED
С дизайном локаций было попроще. Хоть мы и не собирались делать аниме, но именно то, как реалистично нарисованы фоны в полнометражных аниме, нам было нужно.
У нас в ролике преимущественно лес, если с интерьерами всё было более ли менее понятно (интерьеры, кстати, делались по той же технике, что и персонажи), то с лесом должно было быть какое-то иное решение. Потому что деревья у Midjourney в контексте густого леса — это всегда кошмар, они слепляются друг с другом или странно «врастают» одно в другое, всё в таком духе. Плюс, одна из странных и непонятных мне обязательных фишек у MJ при генерации леса — почти всегда присутствует туман или густой дым, который приходится убирать.
Решение по визуалу пришло само собой, когда Дима показал мне первые черновые генерации монстра в лесу. На них лес был нарисован нейронкой так, что заснеженная земля была детализированной и объёмной, а деревья и всякие торчащие палочки-веточки были просто силуэтами практически без какой-либо детализации. Я предложил, что вот именно таким мы должны делать лес. В моём понимании, эти чёрные силуэты деревьев больше вызывали ощущение, что это мистический и жуткий лес, в котором обитает нечто жуткое. В итоге, эту черновую генерацию взяли как Style Reference для всех сцен с лесом.
У меня сразу появилось несколько идей, как можно манипулировать изображениями с таким упрощённым визуалом, чтобы при этом мы не жертвовали киношностью и сцены не выглядели плоскими. В прикреплённом видео Вы можете посмотреть одни из сделанных мною сцен в лесу. Благодаря таким простым формам, я создавал фейковую глубину кадра, делая параллаксы и искажения.
Если немного глубже копнуть в процесс, возьмём, к примеру, ту сцену, где камера плывет за ведьмой над деревьями: я сделал кучу вариаций одной генерации, из кусков которых потом руками лепил финальную сцену, заодно оставляя элементы сцены на отдельных слоях, чтобы их анимировать. Сама анимация в этой сцене — это обычное движение слоев вниз + стандартный инструмент Mesh Warp в AE. Как итог, передать ощущение того, будто мы правда продвигаемся куда-то вглубь кадра, думаю, у меня получилось.
Если Вам интересно узнать подробнее, как делались другие сцены, спрашивайте в комментариях. Свои заключительные мысли о создании ролика и о работе с нейронками для создания подобных проектов, я напишу в следующей части.
#AI #Midjourney #нейросети #анимация
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Ai Filmmaker (Dmitriy Alekseev)
This media is not supported in your browser
VIEW IN TELEGRAM
Ур Торум: Предпродакшн
Одним из главных плюсов нейросетей - это быстрый тест своих идей. Почти всегда на первых этапах работы над проектами, то что у тебя в голове часто не работает на практике. А также цена ошибки не так велика. Ведь когда задуманное одним человеком должно превратиться в труд множества людей, то и ответственность другая.
Ну и в конце концов это возможность дать своему внутреннему ребенку художнику увидеть первые плоды творчества и порадоваться, как классно всё будет. Увидев первые подходящие тестовые изображения, я не удержался и склеил их в один небольшой муд ролик. Ощущение что мы идем правильным путем усилилось.
Также это производит один интересный эффект. Одним из начальных этапов производства роликов является бордоматик. Это монтаж статичных картинок раскадровки, которые показывают как складывается история во времени и каком темпо-ритме. А уже потом или делается продвинутый анимированный черновик в виде аниматика или сразу чистовая съемка. Но здесь эти границы стираются. Те арты что сгенерированы для бордоматика, после утверждения сразу берутся в работу, чистятся от артефактов и анимируются в финальный вариант.
Ниже вы можете увидеть тестовую сборку, в которой можно заметить первоначальный образ монстра, который изменился в процессе.
Одним из главных плюсов нейросетей - это быстрый тест своих идей. Почти всегда на первых этапах работы над проектами, то что у тебя в голове часто не работает на практике. А также цена ошибки не так велика. Ведь когда задуманное одним человеком должно превратиться в труд множества людей, то и ответственность другая.
Ну и в конце концов это возможность дать своему внутреннему ребенку художнику увидеть первые плоды творчества и порадоваться, как классно всё будет. Увидев первые подходящие тестовые изображения, я не удержался и склеил их в один небольшой муд ролик. Ощущение что мы идем правильным путем усилилось.
Также это производит один интересный эффект. Одним из начальных этапов производства роликов является бордоматик. Это монтаж статичных картинок раскадровки, которые показывают как складывается история во времени и каком темпо-ритме. А уже потом или делается продвинутый анимированный черновик в виде аниматика или сразу чистовая съемка. Но здесь эти границы стираются. Те арты что сгенерированы для бордоматика, после утверждения сразу берутся в работу, чистятся от артефактов и анимируются в финальный вариант.
Ниже вы можете увидеть тестовую сборку, в которой можно заметить первоначальный образ монстра, который изменился в процессе.
Forwarded from Ai Filmmaker (Dmitriy Alekseev)
Ур Торум: Ai анимация
Те кто работает в индустрии производства разного рода творческого контента, знают как важна гибкость.
Множество факторов способны повлиять на процесс. Несвоевременные правки,смена настроений заказчиков, резкое сокращение бюджетов или времени на производство. И очень часто это губительно влияет на итоговый результат. Самым ярким примером в последние годы является деградация качества компьютерной графики в голливудских блокбастерах.
Для меня эта самая гибкость обрела новое значение при работе над проектами с использованием нейросетей.
Еще во время работы над клипом для группы Pain, некоторые кадры, были отложены на конец производства из-за отсутствия понимания как их сделать. И только после выхода новых ИИ инструментов, всё получилось.
Ур Торум не стал исключением. В начале лета мне пришло письмо от компании Luma Labs с приглашением на недельный закрытый бета тест их новой нейронки Dream Machine. А позже и вовсе дали доступ на год к премимум аккаунту.
Мы начали тестить и оказалось, что эта модель очень даже хорошо может анимировать составные части наших сцен. Так практически весь огонь, свечи, вороны на ветке и главный герой в паре сцен ожили в кратчайшие сроки.
А наш по большей части моушн комикс ролик, стал еще больше походить на анимационное кино.
Отдельного упоминания стоит сцена бега героя на крупном и общем плане.
Если с тем что 2D аниматоры из студии Blaster должны были анимировать персонажей с более точными движениями было всё ясно, то как быть с окружением если оно должно двигаться? Я пробовал собрать 3Д сцену леса из слоев в After Effects. Выглядело на превизе это мягко говоря так себе. Вот тут мне и пришла идея закинуть арт в Luma. И это была фееричная мазня!
Но первые пару секунд показали, что этот кадр может быть крутым и динамичным с ручной камерой! 2D аниматор начала рисовать персонажа по этому рефу а я закинул в Luma фон и написалпромт: pov оператор с ручной камерой бежит по лесу. Результат буквально с первых попыток получился хорошим. Но как органично вписать туда героя, анимация которого нарисованна в ручную? По заветам старого доброго Эндрю Крамера( те кто по старше знают его как гуру визуальных эффектов из подручных средств на домашнем компьютере с After Effects) я прилепил на стену бумажку с маркером движения и отснял видео на телефон имитируя тряску камеры при беге. После этого перенес движение камеры телефона на виртуальную камеру в сцену с бегом а персонажа и фон превратил в два 3Д слоя. Добавим размытия при движении и наша сцена готова!
Видео с кадрами в которых нам помогла Luma , а также разбор сцены бега вы можете увидеть выше.
И так как это последний пост о создании проекта "Ур Торум", в завершении хотелось бы сказать. Нейросети не изменят сами индустрию и вашу жизнь! Но вы можете изменить их используя нейросети!
Те кто работает в индустрии производства разного рода творческого контента, знают как важна гибкость.
Множество факторов способны повлиять на процесс. Несвоевременные правки,смена настроений заказчиков, резкое сокращение бюджетов или времени на производство. И очень часто это губительно влияет на итоговый результат. Самым ярким примером в последние годы является деградация качества компьютерной графики в голливудских блокбастерах.
Для меня эта самая гибкость обрела новое значение при работе над проектами с использованием нейросетей.
Еще во время работы над клипом для группы Pain, некоторые кадры, были отложены на конец производства из-за отсутствия понимания как их сделать. И только после выхода новых ИИ инструментов, всё получилось.
Ур Торум не стал исключением. В начале лета мне пришло письмо от компании Luma Labs с приглашением на недельный закрытый бета тест их новой нейронки Dream Machine. А позже и вовсе дали доступ на год к премимум аккаунту.
Мы начали тестить и оказалось, что эта модель очень даже хорошо может анимировать составные части наших сцен. Так практически весь огонь, свечи, вороны на ветке и главный герой в паре сцен ожили в кратчайшие сроки.
А наш по большей части моушн комикс ролик, стал еще больше походить на анимационное кино.
Отдельного упоминания стоит сцена бега героя на крупном и общем плане.
Если с тем что 2D аниматоры из студии Blaster должны были анимировать персонажей с более точными движениями было всё ясно, то как быть с окружением если оно должно двигаться? Я пробовал собрать 3Д сцену леса из слоев в After Effects. Выглядело на превизе это мягко говоря так себе. Вот тут мне и пришла идея закинуть арт в Luma. И это была фееричная мазня!
Но первые пару секунд показали, что этот кадр может быть крутым и динамичным с ручной камерой! 2D аниматор начала рисовать персонажа по этому рефу а я закинул в Luma фон и написалпромт: pov оператор с ручной камерой бежит по лесу. Результат буквально с первых попыток получился хорошим. Но как органично вписать туда героя, анимация которого нарисованна в ручную? По заветам старого доброго Эндрю Крамера( те кто по старше знают его как гуру визуальных эффектов из подручных средств на домашнем компьютере с After Effects) я прилепил на стену бумажку с маркером движения и отснял видео на телефон имитируя тряску камеры при беге. После этого перенес движение камеры телефона на виртуальную камеру в сцену с бегом а персонажа и фон превратил в два 3Д слоя. Добавим размытия при движении и наша сцена готова!
Видео с кадрами в которых нам помогла Luma , а также разбор сцены бега вы можете увидеть выше.
И так как это последний пост о создании проекта "Ур Торум", в завершении хотелось бы сказать. Нейросети не изменят сами индустрию и вашу жизнь! Но вы можете изменить их используя нейросети!