System TWIST: technologia przechwytywania ruchu (MoCap) rewolucjonizuje sterowanie robotami humanoidalnymi – Zdjęcie: Xpert.Digital
Teleoperacyjny system imitujący całe ciało: Interakcja człowieka z robotem w czasie rzeczywistym zmieni robotykę
Ruchy człowieka dla robotów: potencjał systemu TWIST
Naukowcy osiągnęli znaczący przełom w rozwoju systemów teleoperacji dla robotów humanoidalnych. Dzięki technologii przechwytywania ruchu (motion capture), roboty humanoidalne mogą teraz wykonywać ruchy zbliżone do ludzkich w czasie rzeczywistym. Ta innowacja umożliwia precyzyjne i intuicyjne sterowanie robotami, co stanowi ważny krok w kierunku rozwoju robotów z pełną zręcznością całego ciała. Na szczególną uwagę zasługuje nowy system TWIST (Teleoperated Whole-Body Imitation System), który przesyła do robota ruchy całego ciała człowieka, zapoczątkowując tym samym nową erę interakcji człowiek-robot.
W związku z tym:
Podstawy teleoperacji opartej na przechwytywaniu ruchu
Teleoperacja odnosi się do zdalnego sterowania maszynami i ma szczególne znaczenie w dziedzinie robotyki. Systemy telerobotyczne są stosowane, gdy przestrzeń robocza jest zbyt oddalona, zbyt mała, zbyt duża lub zbyt niebezpieczna dla ludzi. Przestrzenne oddzielenie człowieka (operatora) od robota (teleoperatora) umożliwia zastosowania w różnych dziedzinach, takich jak chirurgia małoinwazyjna, rozbrajanie bomb i zastosowania kosmiczne.
Technologia przechwytywania ruchu (MoCap) stanowi podstawę nowoczesnych systemów teleoperacyjnych. Technologia ta umożliwia szczegółowe rejestrowanie i symulowanie ruchu człowieka, umożliwiając digitalizację pojedynczych osób lub całych grup. Przechwycone ruchy są inteligentnie przetwarzane i mogą być wykorzystywane do animowania ciał i ich ruchów.
Jak działa technologia przechwytywania ruchu
Technologia przechwytywania ruchu precyzyjnie śledzi i rejestruje ruchy ciała prawdziwych ludzi za pomocą specjalnego kombinezonu wyposażonego w znaczniki i systemy optyczne. Proces ten gromadzi dane dotyczące ruchu wszystkich części ciała – nie tylko ramion, dłoni, nóg i stóp, ale także tułowia, bioder i głowy. Te kompleksowe dane są następnie przekształcane w polecenia, które humanoidalne roboty mogą wykonywać dzięki sztucznej inteligencji (AI).
System TWIST: przełom w teleoperacji robotów
System TWIST, opracowany na Uniwersytecie Stanforda i Uniwersytecie Simona Frasera, stanowi znaczący postęp w teleoperacji robotów humanoidalnych. Łączy on technologię przechwytywania ruchu z metodami uczenia się przez wzmacnianie i imitację.
„Chcemy, aby humanoidy posiadały taki sam poziom sprawności całego ciała jak ludzie” – wyjaśnia Yanjie Ze, główna autorka badania TWIST. „Wyobraźmy sobie bałagan w kuchni. Ludzie potrafią trzymać przedmioty obiema rękami i stopami przesuwać przeszkody, takie jak kosz na podłodze. Potrafią również otwierać drzwi bokami ciała lub łokciami. Chcemy, aby humanoidy potrafiły robić to samo, bezpośrednio naśladując ludzi”
Techniczna implementacja TWIST
System TWIST składa się z trzech zasadniczych komponentów:
- Akwizycja danych i retargeting: Dzięki retargetingowi offline i online, ruchy człowieka są dostosowywane do potrzeb robota. Osiąga się to poprzez zoptymalizowaną transmisję trójwymiarowych pozycji i orientacji stawów, a także regulację położenia ciała i stóp w czasie rzeczywistym.
- Szkolenie kontrolerów w symulacji: TWIST wykorzystuje dwuetapowe podejście z wykorzystaniem metodologii „nauczyciel-uczeń”:
- Kontroler „Nauczyciel” ma uprzywilejowany dostęp do przyszłych ruchów referencyjnych, co pozwala mu na planowanie płynniejszych ruchów.
- Kontroler „uczeń” jest szkolony poprzez kombinację uczenia przez wzmacnianie (RL) i klonowania zachowań (BC) i może uzyskać dostęp wyłącznie do bieżących informacji o ruchu.
- Kontroler całego ciała: Wyszkolony kontroler umożliwia robotowi wykorzystanie wszystkich stopni swobody przy jednoczesnym zachowaniu równowagi. Dzięki temu ruchy są bardziej naturalne i zbliżone do ludzkich.
Podczas testów z humanoidalnym robotem G1 firmy Unitree naukowcy odkryli, że wystarczyło uchwycić ruchy całego ciała i precyzyjnie przenieść je na stawy robota, co zapewniało koordynację ruchów różnych kończyn.
W związku z tym:
Wyzwania w teleoperacji humanoidalnej
Rozwój systemów teleoperacyjnych dla robotów humanoidalnych stawia przed naukowcami kilka złożonych wyzwań:
Przerzucanie mostu nad luką wcielania
Kluczowym wyzwaniem jest pokonanie „luki ucieleśnienia” – różnic anatomicznych między ludźmi a robotami. Ponieważ roboty mają inne proporcje, konfiguracje stawów i właściwości fizyczne niż ludzie, bezpośrednie przeniesienie ruchów człowieka nie jest łatwe.
Równowaga i koordynacja całego ciała
Śledzenie całego ciała humanoidalnego wymaga nie tylko precyzyjnej kontroli poszczególnych stawów, ale także dynamicznego utrzymania równowagi podczas złożonych ruchów. Konwencjonalne systemy teleoperacyjne często koncentrują się jedynie na ruchach izolowanych, takich jak lokomocja czy manipulacja, podczas gdy TWIST umożliwia skoordynowane ruchy całego ciała.
Opóźnienie i sprzężenie zwrotne sensoryczne
Systemy teleoperacji muszą przezwyciężyć problemy takie jak opóźnienie czasowe i ograniczenia w sprzężeniu zwrotnym sensorycznym. Czynniki te mogą utrudniać synchronizację działań człowieka z odpowiedziami robota.
Różnorodne zastosowania teleoperacji przechwytywania ruchu
Teleoperacja robotów humanoidalnych oparta na technologii przechwytywania ruchu otwiera liczne możliwości zastosowań:
Sytuacje niebezpieczne i akcje ratunkowe
W niebezpiecznych środowiskach zdalnie sterowane roboty mogą zastąpić ludzi, na przykład w saperstwie (EOD). W latach 2015–2020 w samej Wielkiej Brytanii przeprowadzano około 2000 operacji EOD rocznie, co podkreśla potrzebę bezpiecznych alternatyw.
Złożone zadania manipulacyjne
Roboty humanoidalne mogą wykonywać złożone zadania manipulacyjne za pomocą teleoperacji, na przykład w nieustrukturyzowanych środowiskach, takich jak kuchnie czy warsztaty. Ich zdolność do koordynowania użycia całego ciała, w tym ramion, dłoni, nóg i stóp, oferuje w tym kontekście kluczowe korzyści.
Robotyka społeczna i ekspresja
Dla humanoidalnych robotów społecznych zdolność do wykonywania ekspresyjnych ruchów jest niezbędna. System OCRA (Optimization-based Customizable Retargeting Algorithm), opracowany w MPI, umożliwia mapowanie ruchu w czasie rzeczywistym pomiędzy różnymi łańcuchami kinematycznymi, co przekłada się na intuicyjne i zbliżone do ludzkich ruchy.
Alternatywne podejścia i porównanie różnych systemów
Oprócz TWIST istnieją inne podejścia do teleoperacji opartej na przechwytywaniu ruchu:
Systemy oparte na IMU
Niektórzy badacze wykorzystują systemy przechwytywania ruchu oparte na IMU (Inertial Measurement Unit), które są przenośne i tańsze niż systemy optyczne. Technologia ta jest wykorzystywana na przykład do teleoperacji zadań lokomanipulacyjnych, łączących lokomocję i manipulację.
Podejścia oparte na sieciach neuronowych
Alternatywne podejście wykorzystuje sieci neuronowe do nauki mapowania między danymi z czujników z kombinezonu do przechwytywania ruchu a położeniami kątowymi siłowników robota. Metoda ta nie wymaga wcześniejszego analitycznego ani matematycznego modelu robota i dlatego może być stosowana w różnych parach człowiek-robot.
Systemy dla określonych części ciała
Oprócz systemów teleoperacyjnych obejmujących całe ciało, istnieją również systemy specjalistyczne, które koncentrują się na określonych częściach ciała, takie jak systemy przechwytywania ruchu obu rąk. Systemy te odgrywają ważną rolę w precyzyjnym sterowaniu bionicznym robotem dwuręcznym, wykonującym delikatne zadania manipulacyjne.
W związku z tym:
Ostatnie postępy i perspektywy na przyszłość
Rozwój systemów teleoperacyjnych dla robotów humanoidalnych postępuje dynamicznie. Oprócz TWIST, naukowcy zaprezentowali ostatnio inne innowacyjne systemy:
H2O: Od człowieka do humanoida
System H2O umożliwia teleoperację w czasie rzeczywistym w pełni humanoidalnego robota, wykorzystując jedynie kamerę RGB. Wykorzystuje on ramkę RL i proces „sim-to-data” do filtrowania i wybierania odpowiednich ruchów dla robotów humanoidalnych.
Teleoperacja wspomagana przez AR
Naukowcy badają również, w jaki sposób rzeczywistość rozszerzona (AR) może wspierać teleoperację opartą na przechwytywaniu ruchu. Wizualizacja wirtualnego odniesienia ludzkiego ramienia obok ramienia robota pozwala użytkownikom lepiej zrozumieć mapowanie ruchu.
Sztuczna inteligencja i przechwytywanie ruchu: przyszłość interakcji człowiek-robot
Teleoperacja robotów humanoidalnych oparta na technologii przechwytywania ruchu (motion-capture) znacznie się rozwinęła w ostatnich latach. Systemy takie jak TWIST stanowią istotny krok naprzód, umożliwiając robotom wykonywanie ruchów przypominających ruchy całego ciała człowieka w czasie rzeczywistym.
Połączenie technologii przechwytywania ruchu (motion-capture) i zaawansowanych metod sztucznej inteligencji (AI), takich jak uczenie przez wzmacnianie i klonowanie zachowań, otwiera nowe możliwości interakcji między człowiekiem a robotem. Roboty humanoidalne mogą teraz wykonywać nie tylko izolowane ruchy, ale także skoordynowane działania całym ciałem, co zapewnia większą zręczność i ekspresję.
W przyszłości technologie te mogą znacząco rozszerzyć zastosowanie robotów humanoidalnych w niebezpiecznych środowiskach, do skomplikowanych zadań manipulacyjnych oraz w kontekstach społecznych. Ciągłe doskonalenie precyzji, niezawodności i łatwości obsługi systemów teleoperacyjnych pomoże jeszcze bardziej zredukować przepaść między możliwościami człowieka a możliwościami robotów.
W związku z tym:
Twój globalny partner w zakresie marketingu i rozwoju biznesu
☑️ Naszym językiem biznesowym jest angielski lub niemiecki
☑️ NOWOŚĆ: Korespondencja w Twoim ojczystym języku!
Konrad Wolfenstein
Ja i mój zespół chętnie będziemy do Państwa dyspozycji jako osobisty doradca.
Możesz się ze mną skontaktować, wypełniając formularz kontaktowy tutaj po prostu dzwoniąc pod numer +49 7348 4088 965. Mój adres e-mail to wolfenstein@xpert.digital:lub
Nie mogę się doczekać naszego wspólnego projektu.
