Udgivet den: 18. marts 2025 / Opdateret den: 18. marts 2025 – Forfatter: Konrad Wolfenstein
Humanoid stående kontrol: Med HoST lærer humanoider at stå op – Gennembruddet for robotter i hverdagen – Billede: humanoid-standingup.github.io
Mere end bare at rejse sig: HoST baner vejen for autonome og alsidige menneskelignende robotter
Fra simulering til virkelighed: Hvordan HoST lærer humanoide robotter at stå oprejst selvstændigt
I den fascinerende verden af humanoide robotter, hvor maskiner i stigende grad efterligner menneskelige evner, spiller en tilsyneladende simpel, men fundamentalt vigtig færdighed en central rolle: at stå op. For os mennesker er det en anden natur, en ubevidst bevægelse, vi udfører utallige gange hver dag. Men for en humanoid robot er det at stå op en kompleks udfordring, der kræver sofistikerede styresystemer, præcise sensorer og intelligente algoritmer. Denne evne er ikke kun en imponerende demonstration af ingeniørmæssig kunnen, men også en essentiel forudsætning for, at humanoide robotter kan finde deres plads i vores dagligdag og støtte os i en bred vifte af opgaver.
Evnen til at stå op fra forskellige positioner er langt mere end blot en fin ekstra funktion. Det er fundamentet for humanoide robotters autonomi og alsidighed. Forestil dig en robot, der hjælper dig rundt i huset, assisterer med pleje eller arbejder i farlige miljøer. I alle disse scenarier er evnen til at stå op uafhængigt fra forskellige positioner afgørende. En robot, der kun fungerer i ideelle startpositioner og efterlades hjælpeløs efter et fald, er simpelthen ubrugelig i den virkelige verden. Udvikling af robuste og alsidige ståstrategier er derfor et vigtigt skridt i at bringe humanoide robotter fra forskningslaboratoriet ind i den virkelige verden.
Tidligere tilgange til at løse dette problem nåede ofte deres grænser. Mange var afhængige af omhyggeligt forprogrammerede bevægelsessekvenser, der fungerede i kontrollerede miljøer, men som hurtigt nåede deres grænser i en uforudsigelig virkelighed. Disse rigide systemer var ufleksible, ude af stand til at tilpasse sig skiftende forhold og fejlede fatalt, når robotten landede i en uventet position eller på ujævnt terræn. Andre tilgange brugte komplekse simuleringsmiljøer, men deres resultater var ofte vanskelige at overføre til virkelige robotter. Springet fra simulering til virkelighed, den såkaldte "sim-til-real-overførsel", viste sig at være en forhindring for mange lovende forskningsmetoder.
I denne sammenhæng er der ved at opstå en innovativ ramme, der fundamentalt kan ændre den måde, vi tænker på menneskelignende robotter, der står op: HoST, en forkortelse for Humanoid Standing-up Control. HoST er mere end blot endnu en metode; det er et paradigmeskift. HoST er udviklet af et konsortium af anerkendte universiteter i Asien , herunder Shanghai Jiao Tong University, University of Hong Kong, Zhejiang University og det kinesiske universitet i Hong Kong, og bryder med traditionelle tilgange og skaber en helt ny vej til at lære menneskelignende robotter at stå op – på en måde, der er forbløffende alsidig, robust og realistisk.
Relateret til dette:
HoST: Et rammeværk, der lærer af fejl
Kernen i HoSTs innovation ligger i anvendelsen af reinforcement learning (RL), en maskinlæringsmetode inspireret af, hvordan mennesker og dyr lærer. Forestil dig at lære et barn at cykle. Du giver dem ikke detaljerede instruktioner til hver muskelbevægelse; i stedet lader du dem bare prøve. Hvis barnet falder, korrigerer de deres bevægelser ved næste forsøg. Gennem trial and error, gennem positiv og negativ feedback, lærer barnet gradvist at mestre cyklen. Reinforcement learning fungerer efter et lignende princip.
I HoST-projektet placeres en humanoid robot i et simuleret miljø og får til opgave at rejse sig fra forskellige positioner. Robotten fungerer som en "agent" i dette miljø og udfører handlinger, i dette tilfælde bevægelser af sine led og krop. For hver handling modtager den en "belønning" eller "straf", afhængigt af dens succes. At rejse sig resulterer i en positiv belønning, mens at falde eller foretage uønskede bevægelser resulterer i en negativ belønning. Gennem utallige forsøg, erfaringsoptimering og strategioptimering lærer robotten gradvist at udvikle den bedst mulige stående strategi.
Den afgørende forskel fra tidligere RL-baserede tilgange er, at HoST lærer fra bunden. Den bruger ingen forprogrammerede bevægelsesbaner, ingen menneskelige demonstrationer eller anden forudgående viden. Robotten starter med en blank tavle og udvikler sine stand-up-strategier helt uafhængigt. Dette er en fundamental forbedring, fordi den giver systemet mulighed for at finde løsninger, der langt overgår, hvad menneskelige ingeniører kunne have udtænkt. Desuden gør den systemet ekstremt tilpasningsdygtigt, da det ikke er afhængigt af rigide antagelser eller menneskelige bias.
Magien ved multikritisk arkitektur
Et andet centralt element i HoST-innovationen er multikritikarkitekturen. For at forstå dette skal vi kort undersøge, hvordan reinforcement learning fungerer. I typiske RL-systemer er der to centrale komponenter: aktøren og kritikeren. Aktøren er så at sige robottens hjerne, der udvælger handlinger og beslutter, hvilke bevægelser der skal udføres. Kritikeren evaluerer aktørens handlinger og giver feedback. Den fortæller aktøren, om dens handlinger var gode eller dårlige, og hvordan de kan forbedres. I traditionelle RL-tilgange er der normalt kun én kritiker.
HoST bryder med denne konvention og er i stedet afhængig af flere specialiserede kritikere. Forestil dig, at det at rejse sig involverer flere vigtige aspekter: at opretholde balancen, indtage den korrekte kropsholdning, koordinere leddene og kontrollere rotationsmomentum. Hvert af disse aspekter kunne evalueres af sin egen "ekspert". Det er præcis, hvad multikritikerarkitekturen gør. HoST bruger flere kritikernetværk, der hver især specialiserer sig i et specifikt aspekt af ståendeprocessen. For eksempel kunne én kritiker evaluere balance, en anden ledkoordination og en tredje rotationsmomentum.
Denne opdeling i specialiserede kritikere har vist sig enormt effektiv. Den løser et problem, der ofte opstår i traditionelle læringsstyringssystemer: negativ interferens. Når en enkelt kritiker forsøger at evaluere alle aspekter af en kompleks opgave samtidigt, kan der opstå konflikter og forvirring. De forskellige læringsmål kan hæmme hinanden, forsinke eller endda forårsage, at læringsprocessen mislykkes. Multikritikerarkitekturen omgår dette problem ved at opdele læringsopgaven i mindre, mere håndterbare delopgaver og tildele en specialiseret kritiker til hver delopgave. Aktøren modtager derefter feedback fra alle kritikere og lærer optimalt at kombinere de forskellige aspekter af at rejse sig.
Denne multikritiske arkitektur er særligt relevant for den komplekse opgave at stå op. At stå op kræver en række finmotoriske færdigheder og præcis kontrol af rotationsmomentum for at opretholde balancen og undgå at falde. Gennem sine specialiserede kritikere kan HoST specifikt træne og optimere disse forskellige aspekter af at stå op, hvilket fører til betydeligt bedre resultater end konventionelle tilgange, der bruger en enkelt kritiker. Forskerne har i deres studier vist, at multikritikarkitekturen muliggør en betydelig præstationsforbedring og giver HoST mulighed for at udvikle ståstrategier, der ville være uopnåelige med konventionelle metoder.
Læreplaner: Fra simpelt til komplekst
En anden nøgle til HoSTs succes er læseplanbaseret træning. Denne metode er baseret på den menneskelige læringsproces, hvor vi tilegner os komplekse færdigheder trin for trin, startende med simple grundlæggende færdigheder og derefter gradvist arbejder os op til mere vanskelige opgaver. Tænk igen på eksemplet med at cykle. Før et barn lærer at cykle på to hjul, kan de først lære at balancere på en løbecykel eller bruge støttehjul. Disse forberedende øvelser letter den senere læringsproces og sikrer hurtigere og mere succesfulde fremskridt.
HoST implementerer et lignende princip. Robotten konfronteres ikke med den sværeste opgave fra starten – nemlig at rejse sig fra en hvilken som helst position på en hvilken som helst overflade. I stedet gennemgår den et niveauopdelt pensum, hvor opgaverne gradvist bliver mere komplekse. Træningen begynder med simple scenarier, såsom at rejse sig fra en liggende stilling på et fladt gulv. Når robotten har mestret denne opgave, bliver forholdene gradvist mere udfordrende. Nye startpositioner tilføjes, såsom at rejse sig fra en siddende stilling eller fra at ligge ned og læne sig op ad en væg. Underlaget er også varieret, fra fladt gulv til let ujævne overflader og endelig til mere krævende terræn.
Denne læseplanbaserede træning tilbyder flere fordele. For det første muliggør den en mere effektiv udforskning af løsningsområdet. Robotten fokuserer indledningsvis på de grundlæggende aspekter ved at stå op og lærer at mestre disse i simple scenarier. Dette accelererer læringsprocessen, hvilket gør det muligt for robotten at nå et godt præstationsniveau hurtigere. For det andet forbedrer læseplanen modellens generaliserbarhed. Ved gradvist at udsætte robotten for mere forskelligartede og komplekse opgaver lærer den at tilpasse sig forskellige situationer og udvikle robuste ståstrategier, der fungerer ikke kun i ideelle, men også i virkelige miljøer. Variationen af træningsforhold er afgørende for systemets robusthed i den virkelige verden, hvor uforudsigelige overflader og startpositioner er reglen, ikke undtagelsen.
Relateret til dette:
Realisme gennem bevægelsesrestriktioner
Et andet vigtigt aspekt af HoST er dets overvejelse af anvendelighed i den virkelige verden. Mens simuleringer er et effektivt værktøj til robottræning, er den virkelige verden langt mere kompleks og uforudsigelig. For at kunne bygge bro mellem simulering og virkelighed implementerer HoST to essentielle bevægelsesbegrænsninger, der sikrer, at de lærte strategier kan anvendes på virkelig hardware uden at beskadige robotten.
Den første begrænsning er regularisering af glathed. Dette har til formål at reducere oscillerende bevægelser. I simuleringer kan robotter udføre bevægelser, der ville være problematiske i virkeligheden. For eksempel kan de lave rykvise, rystende bevægelser, der kan beskadige den fysiske hardware eller føre til ustabil adfærd. Regularisering af glathed sikrer, at de lærte bevægelser er glattere og mere flydende, hvilket ikke kun er mere skånsomt for hardwaren, men også resulterer i mere naturlig og stabil oprejsningsadfærd.
Den anden begrænsning er den implicitte hastighedsgrænse. Dette forhindrer for hurtige eller pludselige bevægelser. Igen repræsenterer simuleringer ofte idealiserede forhold, hvor robotter kunne udføre bevægelser med urealistisk høje hastigheder. I den virkelige verden kan sådanne pludselige bevægelser dog skade robotten, for eksempel ved at overbelaste motorerne eller beskadige leddene. Hastighedsgrænsen sikrer, at de lærte bevægelser forbliver inden for de fysiske grænser for den virkelige hardware og ikke bringer robotten i fare.
Disse bevægelsesbegrænsninger er afgørende for overførsel af viden fra simulering til den virkelige verden. De sikrer, at strategier lært i simulering ikke kun fungerer teoretisk, men også kan implementeres praktisk på virkelige robotter uden at overbelaste eller beskadige hardwaren. De er et vigtigt skridt i at bygge bro mellem simulering og virkelighed og forberede humanoide robotter til brug i den virkelige verden.
Den praktiske test: HoST på Unitree G1
Den sande test af enhver robotstyringsmetode er dens praktiske implementering på rigtig hardware. For at demonstrere HoSTs muligheder overførte forskerne de styringsstrategier, der blev lært i simuleringen, til den humanoide robot Unitree G1. Unitree G1 er en avanceret humanoid platform, der er kendetegnet ved sin smidighed, robusthed og realistiske design. Den er et ideelt testmiljø til at evaluere HoSTs muligheder i den virkelige verden.
Resultaterne af de praktiske tests var imponerende og bekræftede HoST-tilgangens effektivitet. Unitree G1-robotten, styret af HoST, demonstrerede bemærkelsesværdige stående evner fra en bred vifte af positioner. Den rejste sig med succes fra liggende stilling, siddende stilling, knælende stilling og endda fra positioner, hvor den lænede sig op ad genstande eller på ujævnt terræn. Overførslen af de simulerede evner til den virkelige verden var næsten problemfri, hvilket understreger den høje kvalitet af HoSTs simulerede-til-virkelige overførsel.
Af særlig betydning er den robusthed over for forstyrrelser, som den HoST-styrede Unitree G1 har demonstreret. I eksperimentelle tests blev robotten udsat for eksterne kræfter, såsom stød og slag. Den blev konfronteret med forhindringer, der blokerede dens evne til at stå oprejst. Den blev endda belastet med tunge belastninger (op til 12 kg) for at teste dens stabilitet og bæreevne. I alle disse situationer udviste robotten bemærkelsesværdig robusthed og rettede sig op uden at miste balancen eller vælte.
En imponerende demonstrationsvideo illustrerede tydeligt robustheden af HoST. Den viste en person, der skubbede og sparkede Unitree G1-robotten, mens den rejste sig. Trods disse betydelige forstyrrelser forblev robotten upåvirket. Den korrigerede sine bevægelser i realtid, tilpassede sig de uventede stød og rejste sig i sidste ende sikkert og stabilt. Denne demonstration illustrerer imponerende den praktiske anvendelighed og pålidelighed af HoST-systemet i virkelige, uforudsigelige miljøer.
Relateret til dette:
Ablationsstudier: Samspillet mellem komponenter
For at undersøge betydningen af HoSTs individuelle komponenter nærmere, udførte forskerne omfattende ablationsstudier. I disse studier blev individuelle elementer i HoST-rammeværket fjernet eller modificeret for at analysere deres indvirkning på den samlede ydeevne. Resultaterne af disse studier gav værdifuld indsigt i HoSTs funktionalitet og bekræftede vigtigheden af dens kerneinnovationer.
Et centralt fund i ablationsstudierne var bekræftelsen af den afgørende rolle, som multikritikarkitekturen spiller. Da forskerne modificerede systemet til kun at bruge én enkelt kritiker, fejlede systemet fatalt. Det var ikke længere i stand til at lære succesfulde ståmønstre, og robotten forblev hjælpeløst liggende i de fleste tilfælde. Dette resultat understreger den centrale betydning af multikritikarkitekturen for HoST's ydeevne og bekræfter, at de specialiserede kritikere faktisk yder et væsentligt bidrag til læringssucces.
Læreplanbaseret træning viste sig også at være en central succesfaktor i ablationsstudierne. Da forskerne erstattede læseplanen med randomiseret træning uden en gradvis stigning i sværhedsgraden, forringedes systemets ydeevne betydeligt. Robotten lærte langsommere, opnåede et lavere præstationsniveau og var mindre robust over for forskellige startpositioner og overflader. Dette bekræfter antagelsen om, at læseplanbaseret træning forbedrer læringsprocessens effektivitet og øger modellens generaliserbarhed.
De implementerede bevægelsesbegrænsninger bidrog også væsentligt til den samlede ydeevne, især med hensyn til praktisk anvendelighed. Da forskerne fjernede regulariseringen af glathed og bevægelseshastighedsgrænsen, lærte robotten stadig restitutionsstrategier i simuleringen, men disse var mindre stabile i virkeligheden og resulterede oftere i fald eller uønskede, rykvise bevægelser. Dette viser, at selvom bevægelsesbegrænsninger begrænser systemets fleksibilitet en smule i simuleringen, er de afgørende i den virkelige verden for at sikre robust, sikker og hardwarevenlig adfærd.
HoST: Et springbræt for alsidige menneskelignende robotter
Evnen til at stå op fra forskellige positioner kan virke triviel ved første øjekast, men det er i virkeligheden en fundamental brik i puslespillet for at udvikle virkelig alsidige og autonome humanoide robotter. Det danner grundlag for integration i mere komplekse bevægelses- og manipulationssystemer og åbner op for en lang række nye anvendelsesmuligheder. Forestil dig en robot, der ikke kun kan stå op, men også bevæge sig problemfrit mellem forskellige opgaver – at rejse sig fra sofaen, gå hen til bordet, gribe fat i genstande, undgå forhindringer og rejse sig igen, hvis den snubler. Denne form for problemfri interaktion med omgivelserne, som er en selvfølge for os mennesker, er målet med humanoid robotteknologi, og HoST bringer os et afgørende skridt tættere på at opnå det.
Med HoST kan humanoide robotter i fremtiden bruges inden for en række forskellige områder, hvor deres menneskelige form og evne til at interagere med det menneskelige miljø er fordelagtig. Inden for pleje kan de støtte ældre eller syge mennesker, hjælpe dem med at komme op og sætte sig ned, give dem genstande eller hjælpe med huslige opgaver. Inden for servicesektoren kan de bruges på hoteller, restauranter eller butikker til at betjene kunder, transportere varer eller give information. I farlige miljøer, såsom katastrofehjælp eller industrianlæg, kan de overtage opgaver, der er for risikable eller anstrengende for mennesker.
Derudover er evnen til at rejse sig afgørende for at komme sig efter et fald. Fald er et almindeligt problem for humanoide robotter, især i ujævne eller dynamiske miljøer. En robot, der ikke kan rejse sig selv efter et fald, bliver hurtigt hjælpeløs i sådanne miljøer. HoST tilbyder en løsning her, da den gør det muligt for robotten at rette sig op, selv fra uventede positioner, og fortsætte sin opgave. Dette øger pålideligheden og sikkerheden af humanoide robotter, hvilket gør dem til mere robuste og praktiske værktøjer.
HoST baner vejen for en ny generation af humanoide robotter
HoST er mere end blot en videreudvikling af eksisterende metoder; det repræsenterer et betydeligt gennembrud inden for styring af humanoide robotter. Gennem innovativ brug af forstærkningslæring med en multikritisk arkitektur og læseplanbaseret træning overvinder det begrænsningerne ved tidligere tilgange og gør det muligt for robotter at stå oprejst fra en bemærkelsesværdig række forskellige positioner og på forskellige overflader. Den vellykkede overførsel fra simulering til virkelige robotter, demonstreret på Unitree G1, og dens imponerende robusthed over for forstyrrelser understreger det enorme potentiale ved denne metode til praktiske anvendelser.
HoST er et vigtigt skridt i retning af humanoide robotter, der ikke kun imponerer i laboratoriet, men også kan tilbyde reel merværdi i den virkelige verden. Det bringer os tættere på visionen om en fremtid, hvor humanoide robotter integreres problemfrit i vores hverdag, støtter os i en række forskellige opgaver og gør vores liv sikrere, mere behageligt og mere effektivt. Med teknologier som HoST bliver den engang så futuristiske idé om humanoide robotter, der ledsager os i vores dagligdag, stadig mere håndgribelig.
Relateret til dette:
Din globale marketing- og forretningsudviklingspartner
☑️ Vores forretningssprog er engelsk eller tysk
☑️ NYT: Korrespondance på dit modersmål!
Konrad Wolfenstein
Jeg og mit team er glade for at stå til rådighed for dig som din personlige rådgiver.
Du kan kontakte mig ved at udfylde kontaktformularen her eller blot ringe til mig på +49 89 89 674 804 ( München) . Min e-mailadresse er: [email protected]
Jeg glæder mig til vores fælles projekt.
