Аспірант підпорядкував собі робота за допомогою окулярів Apple Vision Pro - відео

Вчені створили програму, яка дозволяє їм керувати роботом за допомогою жестів рук, надягаючи гарнітуру Apple Vision Pro VR. Його можна використовувати для віддаленого керування машинами у різних сценаріях - від побутових справ до порятунку життів. І розробник програми опублікували відео, що показує систему в дії.

Додаток під назвою "Tracking Streamer" відстежує рухи людини - зокрема, рухи голови, зап'ястя та пальців - і передає ці дані через з'єднання Wi-Fi роботу, що знаходиться в тій же мережі, пише LiveScience. Потім підключений робот перетворює дані у відповідні рухи. Усього фіксуються 26 точок на руках та зап'ястях, а також окремі точки на голові. Також відстежуються і просторові характеристики, наприклад, зріст людини.

Розробник програми Юнхе Пак з Массачусетського технологічного інституту опублікував відео, що показує систему в дії. У ньому співавтор дослідження Гейб Марголіс, аспірант Массачусетського технологічного інституту, керує чотирилапим роботом, використовуючи руки та рухи тіла.

🥽 Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

У відео Марголіс жестами дає команду роботу підійти до зачинених дверей, повернути ручку своїм захопленням та увійти. В іншому епізоді він жестом просить робота підняти пластикову кришку сміттєвого бака і кинути її у сміття. У якийсь момент він також нахиляється, що змушує робота наслідувати його.

Apple випустила гарнітуру віртуальної реальності (VR) Vision Pro у лютому 2024 року. Незадовго до випуску пристрою вчені опублікували дослідження, в якому розповіли, наскільки добре VR-гарнітури працюють, якщо використовувати їх у повсякденному житті. Вони виявили, що пристрої призводять до затримки дій, унеможливлюють периферійний зір і викликають спотворення, схожі на віддзеркалення. Виходячи з отриманих даних, дослідники застерігають від ношення VR-гарнітур під час водіння або спуску сходами.

У своїй статті Парк і Марголіс припустили, що деякі користувачі можуть носити Apple Vision Pro постійно, як окуляри, і що подальше використання надасть більше даних, які можна використовувати для навчання роботів тому, як рухаються люди.

Підписуйтесь на наш Telegram-канал, щоб не пропустити важливих новин. Підписатися на канал у Viber можна тут.