Udgivet den: 20. maj 2025 / Opdateret den: 20. maj 2025 – Forfatter: Konrad Wolfenstein
TWIST-systemet: Motion capture-teknologi (MoCap) revolutionerer styringen af humanoide robotter – Billede: Xpert.Digital
Teleopereret helkropsimitationssystem: Interaktion mellem menneske og robot i realtid vil ændre robotteknologien
Menneskelige bevægelser for robotter: TWIST-systemets potentiale
Forskere har opnået et betydeligt gennembrud i udviklingen af teleoperationssystemer til humanoide robotter. Ved at bruge motion capture-teknologi kan humanoide robotter nu udføre menneskelignende bevægelser i realtid. Denne innovation muliggør præcis og intuitiv styring af robotter, hvilket repræsenterer et vigtigt skridt i retning af udviklingen af robotter med fuldkropsfærdighed. Særligt bemærkelsesværdigt er det nye system TWIST (Teleoperated Whole-Body Imitation System), som overfører en persons komplette kropsbevægelser til en robot og dermed indleder en ny æra af menneske-robot-interaktion.
Relateret til dette:
Grundlæggende principper for motion-capture-baseret teleoperation
Teleoperation refererer til fjernstyring af maskiner og er af særlig betydning inden for robotteknologi. Telerobotiske systemer anvendes, når arbejdsområdet er for langt væk, for lille, for stort eller for farligt for mennesker. Den rumlige afkobling mellem menneske (operatør) og robot (teleoperatør) muliggør anvendelser inden for forskellige områder såsom minimalt invasiv kirurgi, bomberydning og rumfartsapplikationer.
Motion capture-teknologi (MoCap) danner grundlaget for moderne teleoperationssystemer. Denne teknologi muliggør detaljerede optagelser og simuleringer af menneskelig bevægelse, hvilket muliggør digitalisering af enkeltpersoner eller hele grupper af mennesker. De optagede bevægelser behandles intelligent og kan bruges til at animere kroppe og deres bevægelser.
Sådan fungerer motion capture-teknologi
Motion capture-teknologi sporer og registrerer præcist kropsbevægelser hos rigtige mennesker ved hjælp af en speciel dragt udstyret med markører og optiske systemer. Denne proces indsamler bevægelsesdata fra alle kropsdele – ikke kun arme, hænder, ben og fødder, men også torso, hofter og hoved. Disse omfattende data omdannes derefter til kommandoer, som humanoide robotter kan udføre ved hjælp af kunstig intelligens (AI).
TWIST-systemet: Et gennembrud inden for robotteleoperation
TWIST-systemet, udviklet på Stanford University og Simon Fraser University, repræsenterer et betydeligt fremskridt inden for teleoperation med humanoid robot. Det kombinerer bevægelsesfangstteknologi med metoder til forstærkningslæring og imitationlæring.
"Vi ønsker, at humanoider skal have samme niveau af fuldkropsfærdighed som mennesker," forklarer Yanjie Ze, hovedforfatter af TWIST-undersøgelsen. "Forestil dig et rodet køkken. Mennesker kan holde ting med begge hænder og bruge deres fødder til at flytte forhindringer, såsom en kurv på gulvet. Mennesker kan også åbne døren med siderne af deres krop eller deres albuer. Vi ønsker, at humanoider skal være i stand til at gøre det samme ved direkte at imitere mennesker."
Teknisk implementering af TWIST
TWIST-systemet består af tre væsentlige komponenter:
- Dataindsamling og retargeting: Gennem offline og online retargeting tilpasses menneskelige bevægelser til robotten. Dette opnås gennem optimeret transmission af 3D-ledpositioner og -orienteringer, hvor kropsorientering og fodplacering også justeres i realtid.
- Controllertræning i simulering: TWIST bruger en to-trins tilgang med en "lærer-elev"-metodologi:
- "Teacher"-controlleren har privilegeret adgang til fremtidige referencebevægelser, hvilket gør det muligt at planlægge mere jævne bevægelser.
- "Elev"-controlleren trænes gennem en kombination af forstærkningslæring (RL) og adfærdskloning (BC) og kan kun tilgå aktuelle bevægelsesoplysninger.
- Fuldkropscontroller: Den trænede controller gør det muligt for robotten at udnytte alle frihedsgrader, samtidig med at den opretholder balancen. Dette resulterer i mere naturlige og menneskelignende bevægelser.
I tests med Unitrees humanoide G1-robot fandt forskerne ud af, at den var tilstrækkelig til at opfange helkropsbevægelser og overføre dem præcist til robottens led, hvilket sikrede, at bevægelserne i de forskellige lemmer blev koordineret.
Relateret til dette:
Udfordringer i humanoid teleoperation
Udviklingen af teleoperationssystemer til humanoide robotter stiller forskere over for adskillige komplekse udfordringer:
Brobygning af kløften mellem udførelsesformer
En central udfordring er at bygge bro over "legembedsevnekløften" - de anatomiske forskelle mellem mennesker og robotter. Fordi robotter har andre proportioner, ledkonfigurationer og fysiske egenskaber end mennesker, er en direkte overførsel af menneskelige bevægelser ikke umiddelbart mulig.
Balance og koordination af hele kroppen
Humanoid helkropssporing kræver ikke kun præcis kontrol af individuelle led, men også dynamisk opretholdelse af balance under komplekse bevægelser. Konventionelle teleoperationssystemer fokuserer ofte kun på isolerede bevægelser såsom bevægelse eller manipulation, hvorimod TWIST muliggør koordinerede helkropsbevægelser.
Latens og sensorisk feedback
Teleoperationssystemer skal overvinde problemer som latenstid (tidsforsinkelse) og begrænsninger i sensorisk feedback. Disse faktorer kan forringe synkroniseringen af menneskelige handlinger med robotresponser.
Forskellige anvendelser af motion-capture teleoperation
Teleoperation af humanoide robotter baseret på bevægelsesfangst åbner op for adskillige anvendelsesmuligheder:
Farlige situationer og redningsaktioner
I farlige miljøer kan fjernbetjente robotter bruges i stedet for mennesker, for eksempel til bortskaffelse af eksplosiver (EOD). Mellem 2015 og 2020 var der årligt cirka 2.000 EOD-operationer alene i Storbritannien, hvilket understreger behovet for sikre alternativer.
Komplekse manipulationsopgaver
Humanoide robotter kan udføre komplekse manipulationsopgaver via teleoperation, for eksempel i ustrukturerede miljøer som køkkener eller værksteder. Deres evne til at koordinere brugen af hele kroppen, inklusive arme, hænder, ben og fødder, tilbyder afgørende fordele i denne sammenhæng.
Social robotik og udtryksevne
For humanoide sociale robotter er evnen til at udføre udtryksfulde bevægelser afgørende. OCRA-systemet (Optimization-based Customizable Retargeting Algorithm), udviklet på MPI, muliggør realtidsbevægelseskortlægning mellem forskellige kinematiske kæder, hvilket resulterer i intuitive og menneskelignende bevægelser.
Alternative tilgange og sammenligning af forskellige systemer
Udover TWIST findes der forskellige andre tilgange til motion-capture-baseret teleoperation:
IMU-baserede systemer
Nogle forskere bruger IMU-baserede (Inertial Measurement Unit) motion-capture-systemer, som er bærbare og billigere end optiske systemer. Denne teknologi bruges for eksempel til teleoperation af bevægelsesmanipulationsopgaver, der kombinerer bevægelse og manipulation.
Neurale netværksbaserede tilgange
En alternativ tilgang bruger neurale netværk til at lære en kortlægning mellem sensordataene fra motion-capture-dragten og robotaktuatorernes vinkelpositioner. Denne metode kræver ikke en forudgående analytisk eller matematisk model af robotten og kan derfor anvendes på forskellige menneske-robot-parringer.
Systemer til specifikke kropsdele
Udover helkrops-teleoperationssystemer findes der også specialiserede systemer, der fokuserer på specifikke kropsdele, såsom dobbelthånds-motion capture. Disse systemer spiller en vigtig rolle i den præcise styring af bioniske bimanuelle robotter til delikate manipulationsopgaver.
Relateret til dette:
Seneste fremskridt og fremtidsudsigter
Udviklingen af teleoperationssystemer til humanoide robotter skrider hurtigt frem. Udover TWIST har forskere for nylig præsenteret andre innovative systemer:
H2O: Menneske til menneskelignende
H2O-systemet muliggør realtids teleoperation af en fuldt humanoid robot ved kun at bruge et RGB-kamera. Det bruger en RL-baseret ramme og en "sim-to-data"-proces til at filtrere og vælge passende bevægelser til humanoide robotter.
AR-understøttet teleoperation
Forskere undersøger også, hvordan augmented reality (AR) kan understøtte teleoperation baseret på motion capture. Ved at visualisere en virtuel reference af den menneskelige arm ved siden af robotarmen kan brugerne bedre forstå bevægelseskortlægningen.
AI og bevægelsesfangst: Fremtiden for menneske-robot-interaktion
Teleoperation af menneskelignende robotter baseret på bevægelsesfangst har udviklet sig betydeligt i de senere år. Systemer som TWIST repræsenterer et betydeligt skridt fremad ved at gøre det muligt for robotter at udføre menneskelignende bevægelser med hele kroppen i realtid.
Kombinationen af motion-capture-teknologi og avancerede AI-metoder som forstærkningslæring og adfærdskloning åbner nye muligheder for interaktion mellem menneske og robot. Humanoide robotter kan nu ikke kun udføre isolerede bevægelser, men også koordinerede helkropshandlinger, hvilket muliggør større fingerfærdighed og udtryksevne.
I fremtiden kan disse teknologier betydeligt udvide brugen af humanoide robotter i farlige miljøer, til komplekse manipulationsopgaver og i sociale sammenhænge. Den løbende forbedring af præcisionen, robustheden og brugervenligheden af teleoperationssystemer vil bidrage til yderligere at mindske kløften mellem menneskelige evner og robotudførelse.
Relateret til dette:
Din globale marketing- og forretningsudviklingspartner
☑️ Vores forretningssprog er engelsk eller tysk
☑️ NYT: Korrespondance på dit modersmål!
Konrad Wolfenstein
Jeg og mit team er glade for at stå til rådighed for dig som din personlige rådgiver.
Du kan kontakte mig ved at udfylde kontaktformularen her eller blot ringe til mig på +49 89 89 674 804 ( München) . Min e-mailadresse er: [email protected]
Jeg glæder mig til vores fælles projekt.
