Тем временем SANA стала ваистену опенсорсной (правда, только код :D)
https://github.com/NVlabs/Sana
https://github.com/NVlabs/Sana
GitHub
GitHub - NVlabs/Sana: SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer
SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer - NVlabs/Sana
Sa2VA: Marrying SAM2 with LLaVA for Dense Grounded Understanding of Images and Videos
К Sam2 прикрутили llava, и теперь можно сегментировать картинки и видео по текстовому запросу, как было в sam+grounding dino.
Трекает тоже хорошо, даже с перекрытием объектов.
X
Demo
Paper
@derplearning
К Sam2 прикрутили llava, и теперь можно сегментировать картинки и видео по текстовому запросу, как было в sam+grounding dino.
Трекает тоже хорошо, даже с перекрытием объектов.
X
Demo
Paper
@derplearning
MicroDiT;
Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget
Внезапно, Sony Research выкатили фреймворк для обучения 1.16b DiT до уровня StableDiffusion 1.5 за 2k$ с нуля.
Если мне не изменяет память, sd1.x обошелся в 130000$ :D
В целом, давно хотелось какого-то text2img бенчмарка вроде llm.c от Карпатыча, но при этом не на основе непонятного претрена, и с результатом, который можно оценить не только по метрикам, но и визуально.
Чтобы тестить разные архитектурные фишки с понятным бейзлайном.
Например, натренить эту модель с DC-AE и другими фишками из EfficientViT\SANA
Т.к. модель тренят в 4 этапа (256+маска, 256, 512+маска, 512), вполне можно гонять тесты на 256х256.
Ура товарищи!
paper
code
models
@derplearning
Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget
Внезапно, Sony Research выкатили фреймворк для обучения 1.16b DiT до уровня StableDiffusion 1.5 за 2k$ с нуля.
Если мне не изменяет память, sd1.x обошелся в 130000$ :D
В целом, давно хотелось какого-то text2img бенчмарка вроде llm.c от Карпатыча, но при этом не на основе непонятного претрена, и с результатом, который можно оценить не только по метрикам, но и визуально.
Чтобы тестить разные архитектурные фишки с понятным бейзлайном.
Например, натренить эту модель с DC-AE и другими фишками из EfficientViT\SANA
Т.к. модель тренят в 4 этапа (256+маска, 256, 512+маска, 512), вполне можно гонять тесты на 256х256.
Ура товарищи!
paper
code
models
@derplearning
Forwarded from Zavtracast (Ярослав Ивус)
Программист провёл расчёты, чтобы выяснить, насколько эффективно дарить инженерам из компании конкурентов Factorio, чтобы саботировать их работу. В качестве примера он взял стартап Палмера Лаки Anduril, который работает на армию США.
Автор расчётов взял данные о доходах сотрудников компании и раскидал их на три категории: 20% тех, у кого уже есть Factorio, 60% неиграющих и 20% тех, кто будет проводить 1-5 часов в день после того, как внезапно получит Factorio.
Каждый инженер из последней категории будет в среднем приносить убыток компании в $84 в неделю. При этом Factorio с DLC обойдётся в $70.
@zavtracast
Автор расчётов взял данные о доходах сотрудников компании и раскидал их на три категории: 20% тех, у кого уже есть Factorio, 60% неиграющих и 20% тех, кто будет проводить 1-5 часов в день после того, как внезапно получит Factorio.
Каждый инженер из последней категории будет в среднем приносить убыток компании в $84 в неделю. При этом Factorio с DLC обойдётся в $70.
@zavtracast
Forwarded from Gamba
Ахахахаха напомнило мне как на какой-то конфе по wearables я встретил Филипп Кана, фаундера Borland
Я рассказал ему, как ещё школьником писал на борланд си в 91 году в компьютерной лабе у папы в институте, и студент, который там подрабатывал, был для меня прям начальник, инженеры - магами, а начальник лабы - богом
И тут я говорю с фаундером бля борланда, если бы тридцать лет назад мне кто-то такое сказал я б не поверил
А он мне рассказывает как в 90 он поехал делать бизнес в Москве, и как всё накрылось во время путча и как они с помощью бандитов получили свою инвестицию назад вагоном икры и вагоном водки
Я рассказал ему, как ещё школьником писал на борланд си в 91 году в компьютерной лабе у папы в институте, и студент, который там подрабатывал, был для меня прям начальник, инженеры - магами, а начальник лабы - богом
И тут я говорю с фаундером бля борланда, если бы тридцать лет назад мне кто-то такое сказал я б не поверил
А он мне рассказывает как в 90 он поехал делать бизнес в Москве, и как всё накрылось во время путча и как они с помощью бандитов получили свою инвестицию назад вагоном икры и вагоном водки
This media is not supported in your browser
VIEW IN TELEGRAM
Тем временем в SpaceX устроили незапланированный салют памяти Дэвида Линча
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Вот вам пример видеогенерации, от которого у меня немного закипел мозг.
Мы тут извращаемся в промптах, пытаясь заставить двигаться камеру или персонажа.
Но.
Оказывается, можно попросить ИИ добавить на видео гринскрин (этим я вас не удивлю) и, внимание, маркеры для трекинга камеры (а вот этим удивлю). Для того, чтобы потом оттрекать камеру в AE или Нюке, восстановить движение объектов в 3Д, убрать фон и навалить сверху нормальной графики или футажа.
В общем все, как на съемках с парой супервазеров, мешком маркеров, тейпов, рулеток, далее по списку. Только промптом!
И судя по этому примеру у Veo2 (пока крайней мере у него, но думаю и у остальных) в голове есть реальная модель 3Д мира и вполне себе эвклидово пространство, ибо это работает и условная фотограмметрия не ломается.
Я в шоке. А вы не поленитесь, почитайте нехилый такой промпт, где написано про маркеры, гринскрин и прочую супервайзерскую требуху (тут есть момент, чтобы писать такой промпт, надо как бы быть в супервайзерской теме, но об этом в другой раз).
Я уж не знаю, на чему учили Veo2, но то, что это вообще работает, приводит меня в восторг.
Подробности тут.
Кто совсем ничего не понял: здесь только девушка (см. промпт). Среднее видео демонстрирует добавление созданной человеком модели (андроид, G) в сцену, созданную ИИ, а нижнее - объединение созданного ИИ персонажа (девушки) в созданную человеком сцену (сакура и небесное пространство). В обоих случаях необходимы данные с камеры, полученные в результате работы ИИ.
Попробуйте в Клинге что ли...
@cgevent
Мы тут извращаемся в промптах, пытаясь заставить двигаться камеру или персонажа.
Но.
Оказывается, можно попросить ИИ добавить на видео гринскрин (этим я вас не удивлю) и, внимание, маркеры для трекинга камеры (а вот этим удивлю). Для того, чтобы потом оттрекать камеру в AE или Нюке, восстановить движение объектов в 3Д, убрать фон и навалить сверху нормальной графики или футажа.
В общем все, как на съемках с парой супервазеров, мешком маркеров, тейпов, рулеток, далее по списку. Только промптом!
И судя по этому примеру у Veo2 (пока крайней мере у него, но думаю и у остальных) в голове есть реальная модель 3Д мира и вполне себе эвклидово пространство, ибо это работает и условная фотограмметрия не ломается.
Я в шоке. А вы не поленитесь, почитайте нехилый такой промпт, где написано про маркеры, гринскрин и прочую супервайзерскую требуху
Я уж не знаю, на чему учили Veo2, но то, что это вообще работает, приводит меня в восторг.
Подробности тут.
Кто совсем ничего не понял: здесь только девушка (см. промпт). Среднее видео демонстрирует добавление созданной человеком модели (андроид, G) в сцену, созданную ИИ, а нижнее - объединение созданного ИИ персонажа (девушки) в созданную человеком сцену (сакура и небесное пространство). В обоих случаях необходимы данные с камеры, полученные в результате работы ИИ.
Попробуйте в Клинге что ли...
@cgevent
Derp Learning
MicroDiT; Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget Внезапно, Sony Research выкатили фреймворк для обучения 1.16b DiT до уровня StableDiffusion 1.5 за 2k$ с нуля. Если мне не изменяет память, sd1.x обошелся в 130000$ :D В…
Забавно, в этом пейпере указали стоимость обучения 1890$ (2.6 8xH100 дней), т.е. 3.7$/gpu/час
Сейчас несложно найти 8xH100 за 2.99$/gpu/час
Т.е. с момента обучения до выхода статьи процесс подешевел до 1492$, почти на 20%!
Пишем новый пейпер "waiting for a few months is all you need"
Сейчас несложно найти 8xH100 за 2.99$/gpu/час
Т.е. с момента обучения до выхода статьи процесс подешевел до 1492$, почти на 20%!
Пишем новый пейпер "waiting for a few months is all you need"