World and Human Action Models towards gameplay ideation
Anssi Kanervisto, Dave Bignell, Linda Yilin Wen, Martin Grayson, Raluca Georgescu, Sergio Valcarcel Macua, Shan Zheng Tan, Tabish Rashid, Tim Pearce, Yuhan Cao, Abdelhak Lemkhenter, Chentian Jiang, Gavin Costello, Gunshi Gupta, Marko Tot, Shu Ishida, Tarun Gupta, Udit Arora, Ryen W. White, Sam Devlin, Cecily Morrison & Katja Hofmann
Статья: https://www.nature.com/articles/s41586-025-08600-3
Модели: https://huggingface.co/microsoft/wham
Пост: https://news.xbox.com/en-us/2025/02/19/muse-ai-xbox-empowering-creators-and-players/
Более подробный пост: https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/
Не так давно на новый год я писал свой топ результатов (https://www.group-telegram.com/gonzo_ML.com/3175) и одним из них были World Models (https://www.group-telegram.com/gonzo_ML.com/3176), а также изменения, назревающие в игровой индустрии.
На прошлой неделе Microsoft (точнее Xbox) сделал сильный ход здесь, выпустив Muse.
Muse -- это World and Human Action Model (WHAM), обученная на игре Bleeding Edge (https://www.bleedingedge.com/en). Это модель, которая моделирует динамику игры, по сути позволяет играть.
Muse обучена на записях игры человека, она предсказывает кадры и действия игрока. Это декодер трансформера, работающий с дискретными токенами, в которых чередуются последовательности кадров и действий на игровом контроллере. За кодирование изображения в токены и декодирование обратно отвечает VQGAN.
Датасет -- это 500,000 анонимизированных игровых сессий, более 7 лет непрерывной игры по семи разным картам игры. Он и называется соответственно, 7 Maps. Есть фильтрованный вариант, где оставили карту Skygarden и 1 год игры.
Трансформеры (вариация nanoGPT) обучены размером от 15M до 894M с VQGAN на 60M параметров, и отдельный самый большой трансформер на 1.6B плюс ViT-VQGAN на 300M. Размер контекста -- 1 секунда игры, для малых трансформеров это 2,720 токенов, для большого 5,560. Размер картинки для малых 128×128 и 256 токенов, для большого 300×180 и 540 токенов.
Ну то есть по архитектуре всё довольно традиционно.
Бюджет на обучение большой модели 10^22 FLOPS. Скромно на фоне фронтира (https://epoch.ai/blog/tracking-large-scale-ai-models). Обучали на 98xH100 GPUs в течение 5 дней. PyTorch Lightning, FSDP, Flash Attention.
На HF опубликованы две модели, на 200M и 1.6B параметров.
Оценивали модель по Consistency (в геймплее не должно быть резких изменений и всё должно быть когерентно), Diversity (для поддержки ‘Divergent thinking’ нужно разнообразие!), Persistency (должна позволять модификации пользователем и давать интерактивность).
Позиционируют как для gameplay ideation. Но мы ждём нейроигр!
Anssi Kanervisto, Dave Bignell, Linda Yilin Wen, Martin Grayson, Raluca Georgescu, Sergio Valcarcel Macua, Shan Zheng Tan, Tabish Rashid, Tim Pearce, Yuhan Cao, Abdelhak Lemkhenter, Chentian Jiang, Gavin Costello, Gunshi Gupta, Marko Tot, Shu Ishida, Tarun Gupta, Udit Arora, Ryen W. White, Sam Devlin, Cecily Morrison & Katja Hofmann
Статья: https://www.nature.com/articles/s41586-025-08600-3
Модели: https://huggingface.co/microsoft/wham
Пост: https://news.xbox.com/en-us/2025/02/19/muse-ai-xbox-empowering-creators-and-players/
Более подробный пост: https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/
Не так давно на новый год я писал свой топ результатов (https://www.group-telegram.com/gonzo_ML.com/3175) и одним из них были World Models (https://www.group-telegram.com/gonzo_ML.com/3176), а также изменения, назревающие в игровой индустрии.
На прошлой неделе Microsoft (точнее Xbox) сделал сильный ход здесь, выпустив Muse.
Muse -- это World and Human Action Model (WHAM), обученная на игре Bleeding Edge (https://www.bleedingedge.com/en). Это модель, которая моделирует динамику игры, по сути позволяет играть.
Muse обучена на записях игры человека, она предсказывает кадры и действия игрока. Это декодер трансформера, работающий с дискретными токенами, в которых чередуются последовательности кадров и действий на игровом контроллере. За кодирование изображения в токены и декодирование обратно отвечает VQGAN.
Датасет -- это 500,000 анонимизированных игровых сессий, более 7 лет непрерывной игры по семи разным картам игры. Он и называется соответственно, 7 Maps. Есть фильтрованный вариант, где оставили карту Skygarden и 1 год игры.
Трансформеры (вариация nanoGPT) обучены размером от 15M до 894M с VQGAN на 60M параметров, и отдельный самый большой трансформер на 1.6B плюс ViT-VQGAN на 300M. Размер контекста -- 1 секунда игры, для малых трансформеров это 2,720 токенов, для большого 5,560. Размер картинки для малых 128×128 и 256 токенов, для большого 300×180 и 540 токенов.
Ну то есть по архитектуре всё довольно традиционно.
Бюджет на обучение большой модели 10^22 FLOPS. Скромно на фоне фронтира (https://epoch.ai/blog/tracking-large-scale-ai-models). Обучали на 98xH100 GPUs в течение 5 дней. PyTorch Lightning, FSDP, Flash Attention.
На HF опубликованы две модели, на 200M и 1.6B параметров.
Оценивали модель по Consistency (в геймплее не должно быть резких изменений и всё должно быть когерентно), Diversity (для поддержки ‘Divergent thinking’ нужно разнообразие!), Persistency (должна позволять модификации пользователем и давать интерактивность).
Позиционируют как для gameplay ideation. Но мы ждём нейроигр!
Nature
World and Human Action Models towards gameplay ideation
Nature - A state-of-the-art generative artificial intelligence model of a video game is introduced to allow the support of human creative ideation, with the analysis of user study data highlighting...
Media is too big
VIEW IN TELEGRAM
6.5 минут рассказа про работу с демонстрациями
О, Sonnet 3.7 подоспел!
У модели теперь можно включать Extended thinking режим:
https://www.anthropic.com/research/visible-extended-thinking
И вроде как они приняли решения не скрывать "мысленный процесс" модели. Это почётно. Гугл вот убрал :(
Цены прежние: $3/$15 за входные/выходные токены, последние включают thinking tokens.
https://anthropic.com/news/claude-3-7-sonnet
У модели теперь можно включать Extended thinking режим:
https://www.anthropic.com/research/visible-extended-thinking
И вроде как они приняли решения не скрывать "мысленный процесс" модели. Это почётно. Гугл вот убрал :(
Цены прежние: $3/$15 за входные/выходные токены, последние включают thinking tokens.
https://anthropic.com/news/claude-3-7-sonnet
Anthropic
Claude 3.7 Sonnet and Claude Code
Today, we’re announcing Claude 3.7 Sonnet, our most intelligent model to date and the first hybrid reasoning model generally available on the market.
DeepSeek пошёл всё опенсорсить на этой неделе.
Сегодня опубликовали DeepEP, коммуникационную библиотеку для MoE с GPU кернелами
https://github.com/deepseek-ai/DeepEP
Вчера выложили кернелы для MLA
https://github.com/deepseek-ai/FlashMLA
Завтра ещё что-нибудь выложат.
Сегодня опубликовали DeepEP, коммуникационную библиотеку для MoE с GPU кернелами
https://github.com/deepseek-ai/DeepEP
Вчера выложили кернелы для MLA
https://github.com/deepseek-ai/FlashMLA
Завтра ещё что-нибудь выложат.
GitHub
GitHub - deepseek-ai/DeepEP: DeepEP: an efficient expert-parallel communication library
DeepEP: an efficient expert-parallel communication library - deepseek-ai/DeepEP