DL in NLP | Telegram Webview: dlinnlp/1750 -

Telegram Group & Telegram Channel

Humanoid Locomotion as Next Token Prediction
arxiv.org/abs/2402.19469

В этом году с гуманоидными роботами будет жара. Авторы предлагают обучать языковую модель на сенсомоторных траекториях с роботов или из YouTube видео людей где траектории получены с помощью обратной кинематики (использовали PHALP)

Обучались на:
1. Траекториях робота который управляется классическим алгоритмом
1. Траекториях из симуляции с RL-policy
1. Человеческих motion-capture
1. YouTube видео с людьми к которым применяли обратную кинематику чтобы получить траекторию

Плюсы подхода к этому через языковое моделирование: можно обучаться на данных у которых отсутствуют некоторые модальности. Например на YouTube видосах у вас нету actions, есть только траектория. Вы просто маскируете эти отсутствующие токены и языковая модель просто делает своё дело.

Модель обученная всего на 27 часах данных может управлять роботом в городе без какого-либо дообучения 🔥

Также показали наметки scaling law, но самая большая моделька (всего 8M параметров lol) уже отходит от scaling law, так что возможно данных надо сильно больше.

www.group-telegram.com/sg/dlinnlp.com/1750

13.7K viewsVlad Lialin, Mar 1, 2024 at 18:48

group-telegram.com/dlinnlp/1750

Create: 2024-03-01
Last Update: 2025-01-08 18:50:23

Humanoid Locomotion as Next Token Prediction
arxiv.org/abs/2402.19469

В этом году с гуманоидными роботами будет жара. Авторы предлагают обучать языковую модель на сенсомоторных траекториях с роботов или из YouTube видео людей где траектории получены с помощью обратной кинематики (использовали PHALP)

Обучались на:
1. Траекториях робота который управляется классическим алгоритмом
1. Траекториях из симуляции с RL-policy
1. Человеческих motion-capture
1. YouTube видео с людьми к которым применяли обратную кинематику чтобы получить траекторию

Плюсы подхода к этому через языковое моделирование: можно обучаться на данных у которых отсутствуют некоторые модальности. Например на YouTube видосах у вас нету actions, есть только траектория. Вы просто маскируете эти отсутствующие токены и языковая модель просто делает своё дело.

Модель обученная всего на 27 часах данных может управлять роботом в городе без какого-либо дообучения 🔥

Также показали наметки scaling law, но самая большая моделька (всего 8M параметров lol) уже отходит от scaling law, так что возможно данных надо сильно больше.

BY DL in NLP

Share with your friend now:
group-telegram.com/dlinnlp/1750

Open in Telegram

Telegram | DID YOU KNOW?

Date: 2025-01-08|

"Your messages about the movement of the enemy through the official chatbot … bring new trophies every day," the government agency tweeted. Again, in contrast to Facebook, Google and Twitter, Telegram's founder Pavel Durov runs his company in relative secrecy from Dubai. "This time we received the coordinates of enemy vehicles marked 'V' in Kyiv region," it added. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands.
from sg

Telegram DL in NLP
FROM American