Robot dostal fotky místností vyfocené na iPhonu. Potom v místnosti prováděl úkoly

Tým robotiků z New York University ve spolupráci s kolegou z oddělení AI ze společnosti Meta vyvinul robota, který je schopen vyzvednout určené předměty v neznámé místnosti a umístit je na nové určené místo. Výzkumníci poznamenali, že vizuální jazykové modely (VLM) za posledních několik let velmi pokročily a staly se velmi dobrými v rozpoznávání objektů na základě jazykových výzev.

Do dnešní doby se zlepšily i dovednosti robotů – dokážou uchopit věci, aniž by je zlomili, přenést je na požadovaná místa a položit je. Dosud se však pro kombinování VLM s kvalifikovanými roboty udělalo jen málo. Pro se výzkumníci pokusili udělat právě toto s robotem prodávaným společností Hello Robot. Má kola, tyč a výsuvná ramena s úchopovými sponami místo rukou. Výzkumný tým rbotovi dal dříve vyškolený VLM.

Poté robota přenesli do 10 domovů důchodců, kde pomocí iPhonu vytvořili 3D videa a předali je robotovi, aby získal celkový dojem z uspořádání daného domu. Poté robota požádali, aby provedl několik jednoduchých pohybových úkolů – například „přesuň růžovou láhev na polici do odpadkového koše,“ uvádí Techxplore.

Celkem požádali robota, aby provedl 170 takových úkolů – dokázal je úspěšně provést v 58 % případů. Výzkumníci zjistili, že by mohli zlepšit jeho úspěšnost až na 82% tím, že uklidí pracovní prostor.

Výzkumný tým poukazuje na to, že jejich systém používá algoritmus zero-shot, což znamená, že robot nebyl trénován v prostředí, ve kterém pracoval. Také naznačují, že úspěšnost, které dosáhli, dokazuje, že robotické systémy založené na VLM jsou životaschopné.

zdroj: Techxplore