TWIST-systemet: Rörelseinspelningsteknik (MoCap) revolutionerar styrningen av humanoida robotar – Bild: Xpert.Digital
Teleopererat helkroppsimitationssystem: Interaktion mellan människa och robot i realtid kommer att förändra robottekniken
Mänskliga rörelser för robotar: TWIST-systemets potential
Forskare har gjort ett betydande genombrott i utvecklingen av teleoperationssystem för humanoida robotar. Genom att använda rörelseinspelningsteknik kan humanoida robotar nu utföra människoliknande rörelser i realtid. Denna innovation möjliggör exakt och intuitiv styrning av robotar, vilket representerar ett viktigt steg mot utvecklingen av robotar med helkroppsförmåga. Särskilt anmärkningsvärt är det nya systemet TWIST (Teleoperated Whole-Body Imitation System), som överför en persons fullständiga kroppsrörelser till en robot och därmed inleder en ny era av människa-robotinteraktion.
Lämplig för detta:
Grunderna i motion-capture-baserad teleoperation
Teleoperation avser fjärrstyrning av maskiner och är av särskild betydelse inom robotikområdet. Telerobotsystem används när arbetsytan är för långt borta, för liten, för stor eller för farlig för människor. Den rumsliga frikopplingen mellan människa (operatör) och robot (teleoperatör) möjliggör tillämpningar inom olika områden såsom minimalinvasiv kirurgi, bombdestruktion och rymdtillämpningar.
Rörelseinspelningsteknik (MoCap) utgör grunden för moderna teleoperationssystem. Denna teknik möjliggör detaljerade inspelningar och simuleringar av mänskliga rörelser, vilket möjliggör digitalisering av individer eller hela grupper av människor. De inspelade rörelserna bearbetas intelligent och kan användas för att animera kroppar och deras rörelser.
Hur rörelseinspelningsteknik fungerar
Rörelseinspelningsteknik spårar och registrerar exakt kroppsrörelser hos riktiga människor med hjälp av en speciell dräkt utrustad med markörer och optiska system. Denna process samlar in rörelsedata från alla kroppsdelar – inte bara armar, händer, ben och fötter, utan även bål, höfter och huvud. Denna omfattande data omvandlas sedan till kommandon som humanoida robotar kan utföra med hjälp av artificiell intelligens (AI).
TWIST-systemet: Ett genombrott inom robotteleoperation
TWIST-systemet, som utvecklats vid Stanford University och Simon Fraser University, representerar ett betydande framsteg inom teleoperation med humanoida robotar. Det kombinerar rörelseinspelningsteknik med metoder för förstärkningsinlärning och imitationsinlärning.
”Vi vill att humanoider ska ha samma nivå av helkroppsskicklighet som människor”, förklarar Yanjie Ze, huvudförfattare till TWIST-studien. ”Tänk dig ett stökigt kök. Människor kan hålla saker med båda händerna och använda fötterna för att flytta hinder, som en korg på golvet. Människor kan också öppna dörren med sidorna av kroppen eller armbågarna. Vi vill att humanoider ska kunna göra detsamma genom att direkt imitera människor.”
Teknisk implementering av TWIST
TWIST-systemet består av tre viktiga komponenter:
- Datainsamling och retargeting: Genom offline- och online-retargeting anpassas mänskliga rörelser för roboten. Detta uppnås genom optimerad överföring av 3D-ledpositioner och -orienteringar, där kroppsorientering och fotplacering också justeras i realtid.
- Kontrollträning i simulering: TWIST använder en tvåstegsmetod med en "lärare-elev"-metodik:
- "Teacher"-styrenheten har privilegierad åtkomst till framtida referensrörelser, vilket gör att den kan planera jämnare rörelser.
- "Student"-kontrollanten tränas genom en kombination av förstärkningsinlärning (RL) och beteendekloning (BC) och kan bara komma åt aktuell rörelseinformation.
- Helkroppskontroll: Den tränade kontrollen gör det möjligt för roboten att utnyttja alla frihetsgrader samtidigt som balansen bibehålls. Detta resulterar i mer naturliga och människoliknande rörelser.
I tester med Unitrees humanoida G1-robot fann forskarna att det räckte med att fånga helkroppsrörelser och överföra dem exakt till robotens leder, vilket säkerställde att de olika lemmarnas rörelser var samordnade.
Lämplig för detta:
Utmaningar inom humanoid teleoperation
Utvecklingen av teleoperationssystem för humanoida robotar ställer forskare inför flera komplexa utmaningar:
Överbrygga klyftan mellan utföranden
En central utmaning är att överbrygga "förkroppsligandegapet" – de anatomiska skillnaderna mellan människor och robotar. Eftersom robotar har andra proportioner, ledkonfigurationer och fysiska egenskaper än människor, är en direkt överföring av mänskliga rörelser inte lätt möjlig.
Balans och helkroppskoordination
Humanoid helkroppsspårning kräver inte bara exakt kontroll av enskilda leder, utan även dynamiskt upprätthållande av balans under komplexa rörelser. Konventionella teleoperationssystem fokuserar ofta endast på isolerade rörelser som förflyttning eller manipulation, medan TWIST möjliggör koordinerade helkroppsrörelser.
Latens och sensorisk återkoppling
Teleoperationssystem måste övervinna problem som latens (tidsfördröjning) och begränsningar i sensorisk feedback. Dessa faktorer kan försämra synkroniseringen av mänskliga handlingar med robotresponser.
Olika tillämpningar av motion-capture teleoperation
Rörelsefångningsbaserad teleoperation av humanoida robotar öppnar upp för många tillämpningsmöjligheter:
Farliga situationer och räddningsinsatser
I farliga miljöer kan telestyrda robotar användas istället för människor, till exempel vid explosiv ammunitionshantering (EOD). Mellan 2015 och 2020 genomfördes cirka 2 000 EOD-insatser årligen enbart i Storbritannien, vilket belyser behovet av säkra alternativ.
Komplexa manipulationsuppgifter
Humanoida robotar kan utföra komplexa manipulationsuppgifter via teleoperation, till exempel i ostrukturerade miljöer som kök eller verkstäder. Deras förmåga att koordinera användningen av hela kroppen, inklusive armar, händer, ben och fötter, erbjuder avgörande fördelar i detta sammanhang.
Social robotik och uttrycksförmåga
För humanoida sociala robotar är förmågan att utföra uttrycksfulla rörelser avgörande. OCRA-systemet (Optimization-based Customizable Retargeting Algorithm), utvecklat vid MPI, möjliggör rörelsemappning i realtid mellan olika kinematiska kedjor, vilket resulterar i intuitiva och människoliknande rörelser.
Alternativa tillvägagångssätt och jämförelse av olika system
Förutom TWIST finns det flera andra metoder för rörelseinspelningsbaserad teleoperation:
IMU-baserade system
Vissa forskare använder IMU-baserade (Inertial Measurement Unit) rörelseregistreringssystem, vilka är portabla och billigare än optiska system. Denna teknik används till exempel för teleoperation av rörelsemanipulationsuppgifter, som kombinerar förflyttning och manipulation.
Neurala nätverksbaserade metoder
Ett alternativt tillvägagångssätt använder neurala nätverk för att lära sig en mappning mellan sensordata från rörelsefångstdräkten och robotens ställdoners vinkelpositioner. Denna metod kräver inte en tidigare analytisk eller matematisk modell av roboten och kan därför tillämpas på olika människa-robot-parningar.
System för specifika kroppsdelar
Förutom helkroppsbaserade teleoperationssystem finns det även specialiserade system som fokuserar på specifika kroppsdelar, såsom rörelseinspelning med dubbla händer. Dessa system spelar en viktig roll i den exakta styrningen av bioniska bimanuella robotar för känsliga manipulationsuppgifter.
Lämplig för detta:
Senaste framsteg och framtidsutsikter
Utvecklingen av teleoperationssystem för humanoida robotar går snabbt framåt. Förutom TWIST har forskare nyligen presenterat andra innovativa system:
H2O: Människa till människoliknande
H2O-systemet möjliggör realtidsoperation av en helt humanoid robot med endast en RGB-kamera. Det använder en RL-baserad bildruta och en "sim-to-data"-process för att filtrera och välja lämpliga rörelser för humanoida robotar.
AR-stödd teleoperation
Forskare undersöker också hur förstärkt verklighet (AR) kan stödja rörelseinspelningsbaserad teleoperation. Genom att visualisera en virtuell referens av den mänskliga armen bredvid robotarmen kan användare bättre förstå rörelsekartläggningen.
AI och rörelseinspelning: Framtiden för människa-robot-interaktion
Rörelsefångningsbaserad teleoperation av humanoida robotar har utvecklats avsevärt de senaste åren. System som TWIST representerar ett betydande steg framåt genom att göra det möjligt för robotar att utföra människoliknande helkroppsrörelser i realtid.
Kombinationen av rörelseinspelningsteknik och avancerade AI-metoder som förstärkningsinlärning och beteendekloning öppnar upp nya möjligheter för interaktion mellan människa och robot. Humanoida robotar kan nu utföra inte bara isolerade rörelser, utan även koordinerade helkroppshandlingar, vilket möjliggör större fingerfärdighet och uttrycksförmåga.
I framtiden skulle dessa tekniker kunna avsevärt utöka användningen av humanoida robotar i farliga miljöer, för komplexa manipulationsuppgifter och i sociala sammanhang. Den kontinuerliga förbättringen av precisionen, robustheten och användarvänligheten hos teleoperationssystem kommer att bidra till att ytterligare minska klyftan mellan mänskliga förmågor och robotutförande.
Lämplig för detta:
Din globala marknadsförings- och affärsutvecklingspartner
☑ Vårt affärsspråk är engelska eller tyska
☑ Nytt: korrespondens på ditt nationella språk!
Konrad Wolfenstein
Jag är glad att vara tillgänglig för dig och mitt team som personlig konsult.
Du kan kontakta mig genom att fylla i kontaktformuläret eller helt enkelt ringa mig på +49 89 674 804 (München) . Min e -postadress är: Wolfenstein ∂ xpert.digital
Jag ser fram emot vårt gemensamma projekt.
