эйай ньюз

0:03

This media is not supported in your browser

VIEW IN TELEGRAM

CAT3D: Как это работает?

1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.

В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.

Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.

@ai_newz

www.group-telegram.com/cn/ai_newz.com/2715

23.3K viewsMay 17, 2024 at 11:45

CAT3D: Как это работает?

1. Имея любое количество исходных изображений и набор целевых новых ракурсов, диффузия генерирует согласованные новые виды сцены.
2. Эти сгенерированные виды затем используются в качестве входных данных для тренирвоки NeRF.
3. В результате получается 3D-представление, которое можно рендерить с любого ракурса в реальном времени.

В качестве диффузии, тут взяли Latent Diffusion и сперва натренили ее генерить 2d картинки в 512x512 по тексту. Все внутри Гугла, они не использовали публичные Stable Diffusion. А затем дотюнили модель на генерацию сразу серии консистентных видов по нескольких входным фото. Консистентность здесь - это ключ к хорошему результату.

Весь процесс, включая генерацию новых видов и 3D-реконструкцию, занимает всего около минуты. Это значительно быстрее существующих методов создания 3D по одному изображению или небольшому набору ракурсов.

@ai_newz

BY эйай ньюз