ИИ и роботы в стройке

0:31

This media is not supported in your browser

VIEW IN TELEGRAM

Подборка движков для обучения роботов, беспилотников и стройтехники по методу Sim2Real

Sim2Real — это метод обучения в виртуальной среде от моделирования к реальности. Например, если нужно обучить беспилотный грузовик ездить по пересеченной местности, то в симуляции его тестируют на огромном датасете всех возможных преград и только потом выпускают на дороги. В каждой симуляции свои физические параметры — перепады высоты, вид покрытия, трение, погода и т.д.

В основе сред обучения физика реального мира — если посадить там Ньютона под яблоню, то яблоко упадет ему на макушку, и он снова откроет закон всемирного тяготения — поэтому такие движки называются физическими. Движки разрабатывают производители машин и ИИ и вполне себе логично — производители игр. Потому что они уже натренированы, и есть инфраструктура. Игровые движки, как правило, отличаются очень реалистичной картинкой. Картинка неигровых порой выглядит как первый Симс, но зато там прокачена физика.

Из движков выделяют:
⚫️Игровой от Unity, интегрированный с инструментом для прототипирования роботов ROS (Robotic Operation System).

⚫️Игровой от Unreal Engine с реалистичной картинкой — его используют для обучения беспилотных машин.

⚫️PyBullet — open-source со слабой картинкой, но хорошо проработанной физикой мира.

⚫️Mujoco — проект с открытым кодом, настолько хороший, что его купил Google для своего DeepMind, а также используют OpenAI, Nvidia, Boston Dynamics, Dyson.

⚫️NVIDIA Flex, где можно тестировать деформирующиеся объекты и жидкости.

⚫️Симуляторы CarCraft, Simulation City и Waymax от Waymo. По ним машины концерна проехали 5 млрд миль — так обкатываются все релизы перед выпуском в свет.

⚫️Infinity Simulator и Ghost Gym от Wavve. Первый сразу создали на игровом движке, для второго собирали реальный датасет — фото, видео реальных улиц, размечали, создали цифровой двойник.

Как происходит обучение
Создают нейросеть под определенную задачу. Например, как controller на видео. Потом ее обучили в симуляторе Isaac по методу подкрепления и выпустили робота в свет — ходить по улицам, как вот этот из видео.

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/cn/best_in_development.com/1213

7.3K viewsedited  Jan 11 at 10:52

Подборка движков для обучения роботов, беспилотников и стройтехники по методу Sim2Real

Sim2Real — это метод обучения в виртуальной среде от моделирования к реальности. Например, если нужно обучить беспилотный грузовик ездить по пересеченной местности, то в симуляции его тестируют на огромном датасете всех возможных преград и только потом выпускают на дороги. В каждой симуляции свои физические параметры — перепады высоты, вид покрытия, трение, погода и т.д.

В основе сред обучения физика реального мира — если посадить там Ньютона под яблоню, то яблоко упадет ему на макушку, и он снова откроет закон всемирного тяготения — поэтому такие движки называются физическими. Движки разрабатывают производители машин и ИИ и вполне себе логично — производители игр. Потому что они уже натренированы, и есть инфраструктура. Игровые движки, как правило, отличаются очень реалистичной картинкой. Картинка неигровых порой выглядит как первый Симс, но зато там прокачена физика.

Из движков выделяют:
⚫️Игровой от Unity, интегрированный с инструментом для прототипирования роботов ROS (Robotic Operation System).

⚫️Игровой от Unreal Engine с реалистичной картинкой — его используют для обучения беспилотных машин.

⚫️PyBullet — open-source со слабой картинкой, но хорошо проработанной физикой мира.

⚫️Mujoco — проект с открытым кодом, настолько хороший, что его купил Google для своего DeepMind, а также используют OpenAI, Nvidia, Boston Dynamics, Dyson.

⚫️NVIDIA Flex, где можно тестировать деформирующиеся объекты и жидкости.

⚫️Симуляторы CarCraft, Simulation City и Waymax от Waymo. По ним машины концерна проехали 5 млрд миль — так обкатываются все релизы перед выпуском в свет.

⚫️Infinity Simulator и Ghost Gym от Wavve. Первый сразу создали на игровом движке, для второго собирали реальный датасет — фото, видео реальных улиц, размечали, создали цифровой двойник.

Как происходит обучение
Создают нейросеть под определенную задачу. Например, как controller на видео. Потом ее обучили в симуляторе Isaac по методу подкрепления и выпустили робота в свет — ходить по улицам, как вот этот из видео.