Gepubliceerd op: 20 mei 2025 / Bijgewerkt op: 20 mei 2025 – Auteur: Konrad Wolfenstein
Het TWIST-systeem: Motion capture-technologie (MoCap) zorgt voor een revolutie in de besturing van humanoïde robots – Afbeelding: Xpert.Digital
Teleoperated Whole-Body Imitation System: Real-time mens-robotinteractie zal de robotica veranderen
Menselijke bewegingen voor robots: het potentieel van het TWIST-systeem
Wetenschappers hebben een belangrijke doorbraak bereikt in de ontwikkeling van teleoperatiesystemen voor humanoïde robots. Door gebruik te maken van bewegingsregistratietechnologie kunnen humanoïde robots nu in realtime mensachtige bewegingen uitvoeren. Deze innovatie maakt nauwkeurige en intuïtieve besturing van robots mogelijk en is een belangrijke stap in de richting van de ontwikkeling van robots met volledige lichaamsbehendigheid. Bijzonder opmerkelijk is het nieuwe systeem TWIST (Teleoperated Whole-Body Imitation System), dat de volledige lichaamsbewegingen van een persoon naar een robot overbrengt en daarmee een nieuw tijdperk van mens-robotinteractie inluidt.
Dit is hiermee gerelateerd:
De basisprincipes van teleoperatie op basis van motion capture
Teleoperatie verwijst naar het besturen van machines op afstand en is van bijzonder belang in de robotica. Telerobotische systemen worden gebruikt wanneer de werkruimte te ver weg, te klein, te groot of te gevaarlijk is voor mensen. De ruimtelijke ontkoppeling tussen mens (operator) en robot (teleoperator) maakt toepassingen mogelijk in diverse gebieden, zoals minimaal invasieve chirurgie, het ontmantelen van bommen en ruimtevaarttoepassingen.
Motion capture-technologie (MoCap) vormt de basis voor moderne teleoperatiesystemen. Deze technologie maakt gedetailleerde opnames en simulaties van menselijke bewegingen mogelijk, waardoor individuen of complete groepen mensen gedigitaliseerd kunnen worden. De vastgelegde bewegingen worden intelligent verwerkt en kunnen gebruikt worden om lichamen en hun bewegingen te animeren.
Hoe werkt bewegingsregistratietechnologie?
Motion capture-technologie volgt en registreert nauwkeurig de lichaamsbewegingen van echte mensen met behulp van een speciaal pak dat is uitgerust met markers en optische systemen. Dit proces verzamelt bewegingsgegevens van alle lichaamsdelen – niet alleen armen, handen, benen en voeten, maar ook de romp, heupen en het hoofd. Deze uitgebreide gegevens worden vervolgens omgezet in commando's die humanoïde robots kunnen uitvoeren met behulp van kunstmatige intelligentie (AI).
Het TWIST-systeem: een doorbraak in robotteleoperatie
Het TWIST-systeem, ontwikkeld aan de Stanford University en de Simon Fraser University, is een belangrijke doorbraak in de teleoperatie van humanoïde robots. Het combineert bewegingsregistratietechnologie met methoden van versterkingsleren en imitatieleren.
"We willen dat humanoïden dezelfde mate van lichaamsbehendigheid bezitten als mensen," legt Yanjie Ze, hoofdauteur van de TWIST-studie, uit. "Stel je een rommelige keuken voor. Mensen kunnen dingen met beide handen vasthouden en hun voeten gebruiken om obstakels te verplaatsen, zoals een mand op de grond. Mensen kunnen ook een deur openen met de zijkanten van hun lichaam of hun ellebogen. We willen dat humanoïden hetzelfde kunnen door mensen direct na te bootsen."
Technische implementatie van TWIST
Het TWIST-systeem bestaat uit drie essentiële componenten:
- Gegevensverwerving en -aanpassing: Door middel van offline en online aanpassing worden menselijke bewegingen aangepast aan de robot. Dit wordt bereikt door geoptimaliseerde overdracht van 3D-gewrichtsposities en -oriëntaties, waarbij ook de lichaamshouding en voetplaatsing in realtime worden aangepast.
- Controller-training in simulatie: TWIST gebruikt een tweestapsbenadering met een 'leraar-leerling'-methodologie:
- De "leraar"-controller heeft bevoorrechte toegang tot toekomstige referentiebewegingen, waardoor deze vloeiendere bewegingen kan plannen.
- De "leerling"-controller wordt getraind door een combinatie van Reinforcement Learning (RL) en Behavior Cloning (BC) en heeft alleen toegang tot actuele bewegingsinformatie.
- Volledige lichaamsbesturing: De getrainde besturing stelt de robot in staat om alle bewegingsvrijheidsgraden te benutten en tegelijkertijd het evenwicht te bewaren. Dit resulteert in meer natuurlijke en mensachtige bewegingen.
Bij tests met de humanoïde G1-robot van Unitree ontdekten onderzoekers dat het voldoende was om bewegingen van het hele lichaam vast te leggen en deze nauwkeurig over te brengen naar de gewrichten van de robot, waardoor de bewegingen van de verschillende ledematen gecoördineerd bleven.
Dit is hiermee gerelateerd:
Uitdagingen bij teleoperatie van humanoïde robots
De ontwikkeling van teleoperatiesystemen voor humanoïde robots stelt onderzoekers voor een aantal complexe uitdagingen:
De kloof tussen lichamelijkheid en realiteit overbruggen
Een belangrijke uitdaging is het overbruggen van de "lichamelijke kloof"—de anatomische verschillen tussen mensen en robots. Omdat robots andere verhoudingen, gewrichtsconfiguraties en fysieke eigenschappen hebben dan mensen, is een directe overdracht van menselijke bewegingen niet eenvoudig mogelijk.
Evenwicht en coördinatie van het hele lichaam
Het volgen van het hele lichaam van een humanoïde vereist niet alleen de precieze aansturing van individuele gewrichten, maar ook het dynamisch behouden van evenwicht tijdens complexe bewegingen. Conventionele teleoperatiesystemen richten zich vaak alleen op geïsoleerde bewegingen zoals voortbeweging of manipulatie, terwijl TWIST gecoördineerde bewegingen van het hele lichaam mogelijk maakt.
Latentie en sensorische feedback
Teleoperatiesystemen moeten problemen zoals latentie (tijdvertraging) en beperkingen in sensorische feedback overwinnen. Deze factoren kunnen de synchronisatie van menselijke handelingen met robotreacties belemmeren.
Diverse toepassingen van teleoperatie met bewegingsregistratie
Op bewegingsregistratie gebaseerde teleoperatie van humanoïde robots opent talrijke toepassingsmogelijkheden:
Gevaarlijke situaties en reddingsoperaties
In gevaarlijke omgevingen kunnen op afstand bestuurbare robots mensen vervangen, bijvoorbeeld bij het onschadelijk maken van explosieven (EOD). Tussen 2015 en 2020 vonden er alleen al in het Verenigd Koninkrijk jaarlijks ongeveer 2000 EOD-operaties plaats, wat de behoefte aan veilige alternatieven onderstreept.
Complexe manipulatietaken
Mensachtige robots kunnen complexe manipulatietaken uitvoeren via teleoperatie, bijvoorbeeld in ongestructureerde omgevingen zoals keukens of werkplaatsen. Hun vermogen om het gebruik van hun hele lichaam, inclusief armen, handen, benen en voeten, te coördineren, biedt in deze context cruciale voordelen.
Sociale robotica en expressiviteit
Voor humanoïde sociale robots is het vermogen om expressieve bewegingen uit te voeren essentieel. Het OCRA-systeem (Optimization-based Customizable Retargeting Algorithm), ontwikkeld bij het MPI, maakt realtime bewegingsmapping tussen verschillende kinematische ketens mogelijk, wat resulteert in intuïtieve en mensachtige bewegingen.
Alternatieve benaderingen en vergelijking van verschillende systemen
Naast TWIST bestaan er diverse andere benaderingen voor teleoperatie op basis van bewegingsregistratie:
IMU-gebaseerde systemen
Sommige onderzoekers gebruiken op IMU gebaseerde bewegingsregistratiesystemen (Inertial Measurement Unit), die draagbaar en goedkoper zijn dan optische systemen. Deze technologie wordt bijvoorbeeld gebruikt voor de teleoperatie van locomanipulatietaken, waarbij voortbeweging en manipulatie gecombineerd worden.
benaderingen gebaseerd op neurale netwerken
Een alternatieve aanpak maakt gebruik van neurale netwerken om een verband te leren tussen de sensorgegevens van het bewegingsregistratiepak en de hoekposities van de robotactuatoren. Deze methode vereist geen voorafgaand analytisch of wiskundig model van de robot en kan daarom worden toegepast op diverse mens-robotcombinaties.
Systemen voor specifieke lichaamsdelen
Naast systemen voor teleoperatie van het hele lichaam bestaan er ook gespecialiseerde systemen die zich richten op specifieke lichaamsdelen, zoals systemen voor het vastleggen van bewegingen van beide handen. Deze systemen spelen een belangrijke rol in de precieze besturing van bionische robots met twee handen voor delicate manipulatietaken.
Dit is hiermee gerelateerd:
Recente vorderingen en toekomstperspectieven
De ontwikkeling van teleoperatiesystemen voor humanoïde robots vordert snel. Naast TWIST hebben onderzoekers recentelijk andere innovatieve systemen gepresenteerd:
H2O: Van mens naar humanoïde
Het H2O-systeem maakt realtime teleoperatie van een volledig humanoïde robot mogelijk met alleen een RGB-camera. Het maakt gebruik van een op RL gebaseerd frame en een "sim-naar-data"-proces om geschikte bewegingen voor humanoïde robots te filteren en te selecteren.
AR-ondersteunde teleoperatie
Onderzoekers onderzoeken ook hoe augmented reality (AR) teleoperatie op basis van bewegingsregistratie kan ondersteunen. Door een virtuele referentie van de menselijke arm naast de robotarm te visualiseren, kunnen gebruikers de bewegingsmapping beter begrijpen.
AI en bewegingsregistratie: de toekomst van mens-robotinteractie
De teleoperatie van humanoïde robots op basis van motion capture heeft de afgelopen jaren aanzienlijke vooruitgang geboekt. Systemen zoals TWIST vormen een belangrijke stap voorwaarts doordat robots hiermee in realtime mensachtige bewegingen met het hele lichaam kunnen uitvoeren.
De combinatie van bewegingsregistratietechnologie en geavanceerde AI-methoden zoals reinforcement learning en gedragscloning opent nieuwe mogelijkheden voor de interactie tussen mens en robot. Humanoïde robots kunnen nu niet alleen geïsoleerde bewegingen uitvoeren, maar ook gecoördineerde acties met het hele lichaam, wat zorgt voor meer behendigheid en expressiviteit.
In de toekomst zouden deze technologieën het gebruik van humanoïde robots in gevaarlijke omgevingen, voor complexe manipulatietaken en in sociale contexten aanzienlijk kunnen uitbreiden. De voortdurende verbetering van de precisie, robuustheid en gebruiksvriendelijkheid van teleoperatiesystemen zal ertoe bijdragen de kloof tussen menselijke capaciteiten en robotuitvoering verder te verkleinen.
Dit is hiermee gerelateerd:
Uw wereldwijde partner voor marketing en bedrijfsontwikkeling
☑️ Onze zakelijke voertaal is Engels of Duits
☑️ NIEUW: Correspondentie in uw moedertaal!
Konrad Wolfenstein
Mijn team en ik staan graag tot uw beschikking als uw persoonlijke adviseur.
U kunt contact met mij opnemen door hier het contactformulier in te vullen of door mij te bellen op +49 89 89 674 804 ( München) . Mijn e-mailadres is: [email protected]
Ik kijk uit naar ons gezamenlijke project.
