Чувствую следующий год будет очень интересным

Появляется все больше примеров "симуляций мира". Простое объяснение: это управление движением в реальном времени на уровне кадров в генеративной модели.

Все это про создание реалистичных миров с бесконечным генеративным контентом, создание симуляций в научных и развлекательных целях.

Пример в посте – проект The Matrix. Проект направлен на создание бесконечно генерируемого мира с реалистичной графикой и возможностью взаимодействия в реальном времени. Система обеспечивает точное управление на уровне кадров, визуальные эффекты и бесконечные возможности для исследования. Она обучена на данных из AAA-игр, таких как Forza Horizon 5 и Cyberpunk 2077, а также на реальных видеоматериалах, что позволяет пользователям исследовать разнообразные ландшафты, включая пустыни, города и леса, в непрерывных видеороликах.

Скоро у них выйдет демка. Очень жду. Пока что визуально это одна из самых "не галлюционирующих" моделей мира.

Runway становится еще более киношным

Теперь кадры можно аутпейнтить (расширять контекст за счет зум-аута) и далее возвращаться обратно.

Такое расширение можно делать не только по промпту, но и по референсному изображению!

Anthropic показали универсальный способ общения LLM с внешним миром

MCP (Model Context Protocol) - открытый протокол, позволяющий любой LLM получать доступ к инструментам и информации. В качестве демо Claude попросили создать веб-страницу, залить её на GitHub, создать issue и PR, что он успешно и сделал (показано на видео).

Вдохновлялись LSP - протоколом, который позволил написать ядро интеграции языка с IDE один раз и использовать её повсюду, чем изменил рынок редакторов кода, дав маленьким проектам конкурировать с большими IDE.

MCP работает по простой клиент-серверной архитектуре - приложения на основе LLM (клиенты) могут запрашивать информацию у серверов, а также пользоваться предоставленными серверами инструментами. Ещё серверы могут задавать ряд промптов. Сделать сервер довольно просто - показанный в видео сервер для GitHub написали меньше чем за час.

Клиент пока что только один - Claude Desktop, а серверы нужно разворачивать своими руками локально. Потом обещают поддержку сторонних серверов - то есть в каком-то Notion будет кнопка "привязать Claude/ChatGPT/Gemini", через которую LLM будет даваться доступ к вашим данным.

Выглядит это куда интереснее, чем то как пытаются сделать интеграции OpenAI и Google в ChatGPT и Gemini. Во-первых, MCP более гибкий - авторы приложений могут встраивать туда MCP-серверы. Во-вторых, открытость протокола позволит более маленьким провайдерам, вроде Mistral или DeepSeek, использовать куда больше тулов, чем если бы они пытались сделать это сами. Ну и, конечно же, это приближает эру агентов.

Взлетит или не взлетит - пока ещё непонятно, но выглядит многообещающе. В качестве примеров для разработчиков Anthropic сделали 9 MCP-серверов - Slack, Google Maps, GitHub и ещё несколько. Несколько компаний уже принялись делать и сторонних клиентов - к примеру, авторы Zed и Codeium.

Примеры интеграций
Туториал по протоколу

@ai_newz

Runway буквально релизнули Миджорни внутри Gen-3 Alpha

Знакомьтесь, Frames.

Это инструмент, который позволяет создавать визуальный контент с полным контролем над стилем и вариациями. Runway называет этот подход "Мирами": каждая генерация остаётся в рамках выбранной эстетики, но предлагает массу уникальных вариаций.

#videoGenerative #imageGenerative

Моя любимая рубрика AI + AR

Ну точнее MR (смешанная реальность).

Хотя суть поста вовсе не в формате просмотра через очки, а в самом контенте. Это динамический Gaussian Splatting от Gracia AI.

Вот таких ультрареалистичных результатов можно добиваться за считанные секунды благодаря этой невероятной технологии. Говорят эту демку можно потестить в очках Meta Quest 3. Я сам пока не тестировал.

Классный пример разбивки видео на слои

Этот новый метод, разработанный Google DeepMind, раскидывает видео на слои, включая объекты и связанные с ними эффекты, например, тени и отражения.

Предыдущие методы не обрабатывали:

- динамические фоны
- окклюзии
- ассоциацию эффектов для нескольких объектов одновеременно.

Как вам AI+AR эксперимент 2019 года?

Это еще задолго до текущего AI-хайпа.

Здесь ML-корги безуспешно пытается распознать котика.

Если вам нужен бесплатный image-to-image

Иногда для простеньких задач юзаю этот сервис.

Тут под капотом много моделей и очень медленно тратятся кредиты.

Важно: после загрузки референсного изображения и выбора модели под вашу задачу – не забывать про бегунок с "темепературой" генерации. Он находится в поле с референс-изображением. Ниже 50% – это путь к большему креативу от модели, выше – будет ближе к вашему референсу.

#imageEditing

Новое AI-музыкальное видео Дениса Семенова будет показано в рамках параллельной программы Art Basel Miami ⚡️

Давненько не находил новых нормальных AI-собиралок презентаций

Понравилась Gamma.

По части дизайна есть и более симпатичные продукты, но по работе со смысловой частью я пока лучше не встречал. Очень подробный пошаговый промптинг и кастомизация, удобный интерфейс.

Кроме презенетаций с нуля можно дорабатывать загруженные документы, а также создавать веб-странички. Работает на русском языке.

Другие похожие сервисы по хэштегу #presentation.

Krea AI не отстают в гонке видеоредакторов и анонсируют Krea Editor

На этом коротком промо-видео видно, как минимум, generative fill и аутпейнтинг.

Ну и пока что кнопка сайта на бета-тестирование ведет на этот пост в X, можно, конечно, попробовать отреагировать на игривое предложение и написать в комментариях, что хотите в бета-тест. Вдруг повезет!

Не спишь?
Я подсяду?

У меня похожая история:
У меня есть бот для связи, который называется Denis Sexy IT feedback и мне тоже иногда пишут туда какие-то запросы:

– Часто это просто попытка посмотреть порно, таким я скидываю цитаты про грехи и они отстают

– Какое-то время люди думали, что это бот для раздевания женщин нейронкой по фото, присылали кого-то в бикини и я пару раз фотошопил им офисную одежду и слал обратно, потому что могу

– Но мой любимый случай, это про чела, который на арабском скинул простыню текста с вопросами по починке трансмиссии, я честно сходил в чатгпт и помог человеку вернувшись с ответом

Короче, у владельцев ботов для связи в телеге своя атмосфера

Кому ChatGPT за 200$ в месяц?

OpenAI выпустили o1-Pro — по всем показателям модель сильно превосходит большинство текущих, но нюанс со стоимостью добавляет горечи🥲

Еще один перспективный стартап с "моделями мира" для геймдева

Это World Labs. Система преобразует одно изображение в интерактивную 3D-сцену, которую можно исследовать прямо в браузере. Хотя область исследования пока ограничена, это лишь начало. Компания активно работает над увеличением размеров и улучшением качества создаваемых миров.

World Labs уже привлекла $230 миллионов инвестиций и планирует выпустить свой первый продукт в 2025 году.

Адвент-календарь от OpenAI

Забыл сказать, что вчерашний анонс про Pro-лицензии ChatGPT был первым из 12 анонсов оупен эйай.

Вот здесь можно следить за новостями, сегодня второй день. То есть впереди еще 10 сюрпризов. Как думаете, публичный релиз Sora произойдет?

Сегодняшний анонс про возможность тренировки собственной модели на o1, но это только для организаций и учебных заведений, простым смертным предлагают ждать следующих анонсов.

Чад Нельсон из OpenAI показал Sora v2 на C21Media Keynote в Лондоне. И он сказал, что мы увидим это очень очень скоро 🤯🤯🤯у меня нет слов, думаю у Netflix и подобных компаний тоже... чувствую это подготовка к публичному доступу к Sora v1, ну а мы можем посмотреть как будут выглядеть следующие генерации видео-LLM в ближайшем будущем🌚

Есть тут музыканты?

Нашел такую штуку, называется Cyanite – ИИ для музыкального анализа.

Что умеет?

– Тональный анализ — понимает настроение, эмоции, жанры, темп и даже энергию трека.
– Поиск похожих треков — находит музыкальные дубли или похожие композиции для плейлистов, каталогов или саундтреков. Еще можно загрузить ваш трек и посмотреть на что он похож.
– Автоматизация каталогов — идеально для лейблов, студий и музыкальных библиотек, чтобы структурировать огромные архивы музыки.
– Интеграция через API.

Напишите, если решите потестить, интересно!

#music

Мы дождались?

По ссылочке страны, для которых будет доступна Sora!

Если нашли себя в списке – ⚡️
Если нет – 🦄