Аспирант подчинил себе робота с помощью очков Apple Vision Pro - видео

Ученые создали программу, позволяющую им управлять роботом с помощью жестов рук, надевая гарнитуру Apple Vision Pro VR. Его можно использовать для удаленного управления машинами в разных сценариях - от бытовых дел до спасения жизней. И разработчик программы опубликовали видео, показывающее систему в действии.

Приложение под названием "Tracking Streamer" отслеживает движения человека - в частности движения головы, запястья и пальцев - и передает эти данные через соединение Wi-Fi работу, находящуюся в той же сети, пишет LiveScience. Затем подключенный робот преобразует данные в ответные движения. Всего фиксируются 26 точек на руках и запястьях, а также отдельные точки на голове. Также отслеживаются и пространственные свойства, к примеру, рост человека.

Разработчик программы Юнхэ Пак из Массачусетского технологического института опубликовал видео, показывающее систему действия. В нем соавтор исследования Гейб Марголис, аспирант Массачусетского технологического института, руководит четырехлапым роботом, используя руки и телодвижения.

🥽 Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

В видео Марголис жестами дает команду работу подойти к закрытой двери, повернуть ручку своим захватом и войти. В другом эпизоде ​​он жестом просит работа поднять пластиковую крышку мусорного бака и бросить ее в мусор. В какой-то момент он также наклоняется, что заставляет работа подражать ему.

Apple выпустила гарнитуру виртуальной реальности (VR) Vision Pro в феврале 2024 года. Незадолго до выпуска устройства ученые опубликовали исследование, в котором рассказали, как хорошо VR-гарнитуры работают, если использовать их в повседневной жизни. Они обнаружили, что устройства приводят к задержке действий, делают невозможным периферическое зрение и вызывают искажения, похожие на отражение. Исходя из полученных данных, исследователи предостерегают от ношения VR-гарнитур во время вождения или спуска по лестнице.

В своей статье Парк и Марголис предположили, что некоторые пользователи могут носить Apple Vision Pro постоянно, как очки, и что дальнейшее использование предоставит больше данных, которые можно использовать для обучения роботов тому, как двигаются люди.

Подписывайтесь на наш Telegram-канал, чтобы не пропустить важные новости. Подписаться на канал в Viber можно здесь.