Vědci vyvinuli aplikaci pro smíšenou realitu Apple Vision Pro, která umožňuje uživatelům ovládat robota pouze pomocí gest hlavy a rukou

Aplikace by mohla sloužit k dálkovému ovládání strojů v různých situacích – od žertování až po navigaci v zóně postižené katastrofou. Aplikace nazvaná „Tracking Streamer“ sleduje pohyby člověka – zejména to, jak se pohybuje hlava, zápěstí a prsty, a tato data přenáší prostřednictvím připojení Wi-Fi do robota ve stejné síti. Připojený robot pak data převádí na odpovídající pohyby.

Vývojář zveřejnil na sociální síti X, video, které ukazuje systém v akci. V krátkém videoklipu student MIT, ovládá čtyřnohého robota pomocí rukou a pohybů těla, uvádí portál Live Science.

? Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

Provádí gesta, kterými dává robotovi povel, aby se přiblížil k zavřeným dveřím, otočil klikou s chapadlem a vstoupil dovnitř. V jiné sekvenci gestem přiměje robota, aby zvedl plastové víko od odpadkového koše a vyhodil ho do koše. V jednu chvíli se také sehne, což vyvolá, že ho robot napodobí.

Společnost Apple uvedla náhlavní soupravu pro virtuální realitu (VR) Vision Pro na trh v únoru 2024 a od té doby se objevují záběry lidí, kteří toto zařízení nosí v každodenním životě. Krátce před uvedením na trh vědci zveřejnili výzkum, který zkoumal, jak dobře fungují náhlavní soupravy VR, pokud je máte používat v každodenním životě.

zdroj: Live Science