Gepubliceerd op: 18 maart 2025 / Bijgewerkt op: 18 maart 2025 – Auteur: Konrad Wolfenstein
Humanoid Standing-up Control: Met HoST leren humanoïden rechtop staan – De doorbraak voor robots in het dagelijks leven – Afbeelding: humanoid-standingup.github.io
Meer dan alleen opstaan: HoST effent de weg voor autonome en veelzijdige humanoïde robots
Van simulatie naar realiteit: hoe HoST humanoïde robots leert zelfstandig op te staan
In de fascinerende wereld van humanoïde robotica, waar machines steeds meer menselijke vaardigheden nabootsen, speelt een ogenschijnlijk eenvoudige maar fundamenteel belangrijke vaardigheid een centrale rol: opstaan. Voor ons mensen is het een tweede natuur, een onbewuste beweging die we talloze keren per dag uitvoeren. Maar voor een humanoïde robot is opstaan een complexe uitdaging die geavanceerde besturingssystemen, precieze sensoren en intelligente algoritmes vereist. Deze vaardigheid is niet alleen een indrukwekkende demonstratie van technische bekwaamheid, maar ook een essentiële voorwaarde voor humanoïde robots om hun plaats in ons dagelijks leven te vinden en ons te ondersteunen bij een breed scala aan taken.
Het vermogen om vanuit verschillende posities op te staan is veel meer dan een leuke extra functie. Het vormt de basis voor de autonomie en veelzijdigheid van humanoïde robots. Stel je een robot voor die je helpt in huis, assisteert bij de verzorging of werkt in gevaarlijke omgevingen. In al deze scenario's is het vermogen om zelfstandig vanuit verschillende posities op te staan cruciaal. Een robot die alleen functioneert in ideale startposities en hulpeloos is na een val, is in de praktijk simpelweg nutteloos. Het ontwikkelen van robuuste en veelzijdige opstastrategieën is daarom een belangrijke stap om humanoïde robots vanuit het onderzoekslaboratorium naar de echte wereld te brengen.
Eerdere benaderingen om dit probleem op te lossen liepen vaak tegen hun grenzen aan. Veel ervan waren gebaseerd op zorgvuldig voorgeprogrammeerde bewegingssequenties die functioneerden in gecontroleerde omgevingen, maar al snel hun beperkingen bereikten in de onvoorspelbare realiteit. Deze rigide systemen waren inflexibel, niet in staat zich aan te passen aan veranderende omstandigheden en faalden jammerlijk wanneer de robot op een onverwachte positie of op oneffen terrein terechtkwam. Andere benaderingen maakten gebruik van complexe simulatieomgevingen, maar de resultaten daarvan waren vaak moeilijk overdraagbaar naar echte robots. De sprong van simulatie naar realiteit, de zogenaamde "sim-naar-realiteit-overdracht", bleek een struikelblok voor veel veelbelovende onderzoeksbenaderingen.
In deze context ontstaat een innovatief raamwerk dat onze kijk op het opstaan van humanoïde robots fundamenteel zou kunnen veranderen: HoST, een afkorting van Humanoid Standing-up Control. HoST is meer dan zomaar een nieuwe methode; het is een paradigmaverschuiving. Ontwikkeld door een consortium van gerenommeerde universiteiten in Azië , waaronder Shanghai Jiao Tong University, de University of Hong Kong, Zhejiang University en de Chinese University of Hong Kong, breekt HoST met traditionele benaderingen en baant een compleet nieuwe weg om humanoïde robots te leren opstaan – op een manier die verbazingwekkend veelzijdig, robuust en realistisch is.
Dit is hiermee gerelateerd:
HoST: Een framework dat leert van fouten
De kern van de innovatie van HoST ligt in de toepassing van reinforcement learning (RL), een machine learning-methode geïnspireerd op de manier waarop mensen en dieren leren. Stel je voor dat je een kind leert fietsen. Je geeft ze geen gedetailleerde instructies voor elke spierbeweging; in plaats daarvan laat je ze het gewoon proberen. Als het kind valt, corrigeert het zijn bewegingen bij de volgende poging. Door vallen en opstaan, door positieve en negatieve feedback, leert het kind geleidelijk de fiets te beheersen. Reinforcement learning werkt volgens een vergelijkbaar principe.
In het HoST-project wordt een humanoïde robot in een gesimuleerde omgeving geplaatst en krijgt hij de taak om vanuit verschillende posities op te staan. De robot fungeert als een "agent" binnen deze omgeving en voert acties uit, in dit geval bewegingen van zijn gewrichten en lichaam. Voor elke actie ontvangt hij een "beloning" of "straf", afhankelijk van het succes. Opstaan levert een positieve beloning op, terwijl vallen of ongewenste bewegingen een negatieve beloning opleveren. Door talloze pogingen, het opdoen van ervaring en het optimaliseren van de strategie leert de robot geleidelijk de best mogelijke opstaanstrategie te ontwikkelen.
Het cruciale verschil met eerdere op reinforcement learning gebaseerde benaderingen is dat HoST helemaal vanaf nul leert. Het maakt geen gebruik van voorgeprogrammeerde bewegingspaden, geen menselijke demonstraties of andere voorkennis. De robot begint met een blanco vel en ontwikkelt zijn opstaanstrategieën volledig zelfstandig. Dit is een fundamentele vooruitgang, omdat het systeem hierdoor oplossingen kan vinden die veel verder gaan dan wat menselijke ingenieurs hadden kunnen bedenken. Bovendien maakt het het systeem extreem flexibel, omdat het niet afhankelijk is van rigide aannames of menselijke vooroordelen.
De magie van multikritische architectuur
Een ander belangrijk element van de HoST-innovatie is de multi-critic-architectuur. Om dit te begrijpen, moeten we kort bekijken hoe reinforcement learning werkt. In typische RL-systemen zijn er twee centrale componenten: de actor en de criticus. De actor is, om het zo te zeggen, het brein van de robot; hij selecteert acties en beslist welke bewegingen moeten worden uitgevoerd. De criticus evalueert de acties van de actor en geeft feedback. Hij vertelt de actor of zijn acties goed of slecht waren en hoe ze verbeterd kunnen worden. In traditionele RL-benaderingen is er meestal maar één criticus.
HoST breekt met deze conventie en vertrouwt in plaats daarvan op meerdere gespecialiseerde critici. Stel je voor dat opstaan verschillende belangrijke aspecten omvat: het behouden van evenwicht, het aannemen van de juiste houding, het coördineren van de gewrichten en het beheersen van het rotatiemomentum. Elk van deze aspecten zou door een eigen "expert" kunnen worden beoordeeld. Dit is precies wat de multi-critic architectuur doet. HoST gebruikt meerdere criticusnetwerken, elk gespecialiseerd in een specifiek aspect van het opstaanproces. Zo zou de ene criticus het evenwicht kunnen beoordelen, een andere de gewrichtscoördinatie en een derde het rotatiemomentum.
Deze indeling in gespecialiseerde beoordelaars is enorm effectief gebleken. Het lost een probleem op dat vaak voorkomt in traditionele leermanagementsystemen: negatieve interferentie. Wanneer één beoordelaar probeert alle aspecten van een complexe taak tegelijkertijd te evalueren, kunnen er conflicten en verwarring ontstaan. De verschillende leerdoelen kunnen elkaar in de weg zitten, waardoor het leerproces vertraagt of zelfs mislukt. De architectuur met meerdere beoordelaars omzeilt dit probleem door de leertaak op te splitsen in kleinere, beter beheersbare subtaken en aan elke subtaak een gespecialiseerde beoordelaar toe te wijzen. De gebruiker ontvangt vervolgens feedback van alle beoordelaars en leert de verschillende aspecten van het leerproces optimaal te combineren.
Deze architectuur met meerdere critici is bijzonder relevant voor de complexe taak van het opstaan. Opstaan vereist een verscheidenheid aan fijne motorische vaardigheden en precieze controle van het rotatiemomentum om het evenwicht te bewaren en vallen te voorkomen. Door middel van zijn gespecialiseerde critici kan HoST deze verschillende aspecten van het opstaan specifiek trainen en optimaliseren, wat leidt tot aanzienlijk betere resultaten dan conventionele benaderingen met een enkele criticus. De onderzoekers hebben in hun studies aangetoond dat de architectuur met meerdere critici een aanzienlijke prestatieverbetering mogelijk maakt en HoST in staat stelt opstaanstrategieën te ontwikkelen die met conventionele methoden onbereikbaar zouden zijn.
Curriculumleren: van eenvoudig tot complex
Een andere sleutel tot het succes van HoST is de op curriculum gebaseerde training. Deze methode is gebaseerd op het menselijke leerproces, waarbij we complexe vaardigheden stap voor stap verwerven, beginnend met eenvoudige basisvaardigheden en vervolgens geleidelijk aan op weg naar moeilijkere taken. Denk nog eens aan het voorbeeld van fietsen. Voordat een kind leert fietsen, leert het misschien eerst balanceren op een loopfiets of gebruikt het zijwieltjes. Deze voorbereidende oefeningen vergemakkelijken het latere leerproces en zorgen voor snellere en succesvollere vooruitgang.
HoST hanteert een vergelijkbaar principe. De robot wordt niet meteen geconfronteerd met de moeilijkste taak, namelijk opstaan vanuit elke positie op elke ondergrond. In plaats daarvan doorloopt hij een stapsgewijs trainingsprogramma waarin de taken geleidelijk complexer worden. De training begint met eenvoudige scenario's, zoals opstaan vanuit een liggende positie op een vlakke vloer. Zodra de robot deze taak beheerst, worden de omstandigheden steeds uitdagender. Er worden nieuwe startposities toegevoegd, zoals opstaan vanuit een zittende positie of vanuit een liggende positie leunend tegen een muur. Ook de ondergrond wordt gevarieerd, van een vlakke vloer tot licht oneffen oppervlakken en uiteindelijk tot een meer veeleisend terrein.
Deze op een curriculum gebaseerde training biedt verschillende voordelen. Ten eerste maakt het een efficiëntere verkenning van de oplossingsruimte mogelijk. De robot concentreert zich aanvankelijk op de fundamentele aspecten van het rechtop staan en leert deze te beheersen in eenvoudige scenario's. Dit versnelt het leerproces, waardoor de robot sneller een goed prestatieniveau bereikt. Ten tweede verbetert het curriculum de generaliseerbaarheid van het model. Door de robot geleidelijk bloot te stellen aan meer diverse en complexe taken, leert hij zich aan te passen aan verschillende situaties en robuuste staande strategieën te ontwikkelen die niet alleen in ideale, maar ook in realistische omgevingen functioneren. De variatie in trainingsomstandigheden is cruciaal voor de robuustheid van het systeem in de praktijk, waar onvoorspelbare oppervlakken en startposities eerder regel dan uitzondering zijn.
Dit is hiermee gerelateerd:
Realisme door middel van bewegingsbeperkingen
Een ander belangrijk aspect van HoST is de aandacht voor de toepasbaarheid in de praktijk. Hoewel simulaties een krachtig hulpmiddel zijn voor robottraining, is de echte wereld veel complexer en onvoorspelbaarder. Om de kloof tussen simulatie en realiteit succesvol te overbruggen, implementeert HoST twee essentiële bewegingsbeperkingen die ervoor zorgen dat de aangeleerde strategieën op echte hardware kunnen worden toegepast zonder de robot te beschadigen.
De eerste beperking is het reguleren van de vloeiendheid. Dit is bedoeld om oscillerende bewegingen te verminderen. In simulaties kunnen robots bewegingen uitvoeren die in de realiteit problematisch zouden zijn. Ze kunnen bijvoorbeeld schokkerige, trillende bewegingen maken die de fysieke hardware kunnen beschadigen of tot instabiel gedrag kunnen leiden. Het reguleren van de vloeiendheid zorgt ervoor dat de aangeleerde bewegingen vloeiender en soepeler zijn, wat niet alleen minder belastend is voor de hardware, maar ook resulteert in natuurlijker en stabieler gedrag bij het opstaan.
De tweede beperking is de impliciete snelheidslimiet. Deze voorkomt te snelle of abrupte bewegingen. Simulaties tonen vaak geïdealiseerde omstandigheden waarin robots bewegingen met onrealistisch hoge snelheden zouden kunnen uitvoeren. In de echte wereld kunnen dergelijke abrupte bewegingen de robot echter beschadigen, bijvoorbeeld door overbelasting van de motoren of beschadiging van de gewrichten. De snelheidslimiet zorgt ervoor dat de aangeleerde bewegingen binnen de fysieke grenzen van de daadwerkelijke hardware blijven en de robot niet in gevaar brengen.
Deze bewegingsbeperkingen zijn cruciaal voor de overdracht van kennis uit simulaties naar de echte wereld. Ze zorgen ervoor dat strategieën die in simulaties zijn geleerd niet alleen theoretisch werken, maar ook praktisch kunnen worden toegepast op echte robots zonder de hardware te overbelasten of te beschadigen. Ze vormen een belangrijke stap in het overbruggen van de kloof tussen simulatie en realiteit en het voorbereiden van humanoïde robots op gebruik in de echte wereld.
De praktijktest: HoST op de Unitree G1
De ware test voor elke robotbesturingsmethode is de praktische implementatie ervan op echte hardware. Om de mogelijkheden van HoST te demonstreren, hebben de onderzoekers de in de simulatie geleerde besturingsstrategieën overgezet naar de Unitree G1 humanoïde robot. De Unitree G1 is een geavanceerd humanoïde platform dat zich kenmerkt door zijn wendbaarheid, robuustheid en realistische ontwerp. Het is een ideaal testplatform om de mogelijkheden van HoST in de praktijk te evalueren.
De resultaten van de praktijktests waren indrukwekkend en bevestigden de effectiviteit van de HoST-aanpak. De Unitree G1-robot, bestuurd door HoST, demonstreerde opmerkelijke mogelijkheden om vanuit een breed scala aan posities op te staan. Hij stond succesvol op vanuit een liggende, zittende en knielende positie, en zelfs vanuit posities waarbij hij tegen objecten leunde of op een oneffen ondergrond stond. De overdracht van de gesimuleerde mogelijkheden naar de echte wereld verliep vrijwel naadloos, wat de hoge kwaliteit van HoST's simulatie-naar-werkelijkheid-overdracht benadrukt.
Bijzonder opmerkelijk is de robuustheid tegen verstoringen die de HoST-gestuurde Unitree G1 heeft laten zien. In experimentele tests werd de robot blootgesteld aan externe krachten, zoals stoten en botsingen. Hij werd geconfronteerd met obstakels die zijn vermogen om rechtop te blijven staan belemmerden. Hij werd zelfs belast met zware lasten (tot 12 kg) om zijn stabiliteit en draagvermogen te testen. In al deze situaties toonde de robot een opmerkelijke veerkracht en wist hij zichzelf succesvol rechtop te zetten zonder zijn evenwicht te verliezen of om te vallen.
Een indrukwekkende demonstratievideo illustreerde duidelijk de robuustheid van HoST. Hierin was te zien hoe een persoon de Unitree G1-robot duwde en schopte terwijl deze opstond. Ondanks deze aanzienlijke verstoringen bleef de robot onverstoorbaar. Hij corrigeerde zijn bewegingen in realtime, paste zich aan de onverwachte schokken aan en stond uiteindelijk veilig en stabiel op. Deze demonstratie laat op indrukwekkende wijze de praktische toepasbaarheid en betrouwbaarheid van het HoST-systeem zien in realistische, onvoorspelbare omgevingen.
Dit is hiermee gerelateerd:
Ablatieonderzoek: De wisselwerking tussen componenten
Om de betekenis van de afzonderlijke componenten van HoST nauwkeuriger te onderzoeken, voerden de onderzoekers uitgebreide ablatiestudies uit. In deze studies werden individuele elementen van het HoST-framework verwijderd of aangepast om hun impact op de algehele prestaties te analyseren. De resultaten van deze studies leverden waardevolle inzichten op in de functionaliteit van HoST en bevestigden het belang van de kerninnovaties.
Een belangrijke bevinding van de ablatiestudies was de bevestiging van de cruciale rol van de multi-critic-architectuur. Toen de onderzoekers het systeem aanpasten om slechts één criticus te gebruiken, faalde het systeem jammerlijk. Het was niet langer in staat om succesvolle staande patronen aan te leren en de robot bleef in de meeste gevallen hulpeloos liggen. Dit resultaat onderstreept het centrale belang van de multi-critic-architectuur voor de prestaties van HoST en bevestigt dat de gespecialiseerde critici inderdaad een significante bijdrage leveren aan het leerproces.
Curriculumgebaseerde training bleek ook een belangrijke succesfactor te zijn in de ablatieonderzoeken. Toen de onderzoekers het curriculum vervingen door gerandomiseerde training zonder geleidelijke verhoging van de moeilijkheidsgraad, verslechterde de prestatie van het systeem aanzienlijk. De robot leerde langzamer, behaalde een lager prestatieniveau en was minder robuust ten opzichte van verschillende startposities en oppervlakken. Dit bevestigt de veronderstelling dat curriculumgebaseerde training de efficiëntie van het leerproces verbetert en de generaliseerbaarheid van het model vergroot.
De geïmplementeerde bewegingsbeperkingen droegen ook significant bij aan de algehele prestaties, met name wat betreft de praktische toepasbaarheid. Toen de onderzoekers de vloeiendheidsregularisatie en de snelheidslimiet verwijderden, leerde de robot in de simulatie nog steeds herstelstrategieën, maar deze waren in de praktijk minder stabiel en resulteerden vaker in vallen of ongewenste, schokkerige bewegingen. Dit toont aan dat bewegingsbeperkingen de flexibiliteit van het systeem in de simulatie weliswaar enigszins beperken, maar in de praktijk essentieel zijn om robuust, veilig en hardwarevriendelijk gedrag te garanderen.
HoST: Een springplank voor veelzijdige humanoïde robots
Het vermogen om vanuit verschillende posities op te staan lijkt op het eerste gezicht misschien onbelangrijk, maar het is in werkelijkheid een fundamenteel onderdeel van de puzzel voor de ontwikkeling van werkelijk veelzijdige en autonome humanoïde robots. Het vormt de basis voor integratie in complexere bewegings- en manipulatiesystemen en opent een scala aan nieuwe toepassingsmogelijkheden. Stel je een robot voor die niet alleen kan opstaan, maar ook naadloos kan schakelen tussen verschillende taken – opstaan van de bank, naar tafel lopen, objecten vastpakken, obstakels ontwijken en weer opstaan als hij struikelt. Dit soort naadloze interactie met de omgeving, iets wat voor ons mensen vanzelfsprekend is, is het doel van humanoïde robotica, en HoST brengt ons een cruciale stap dichter bij het bereiken ervan.
Met HoST zouden humanoïde robots in de toekomst in diverse sectoren ingezet kunnen worden waar hun menselijke vorm en het vermogen om met de menselijke omgeving te interageren voordelen bieden. In de zorg zouden ze ouderen of zieken kunnen ondersteunen door hen te helpen met opstaan en gaan zitten, voorwerpen aan te reiken of te assisteren bij huishoudelijke taken. In de dienstensector zouden ze ingezet kunnen worden in hotels, restaurants of winkels om klanten te bedienen, goederen te vervoeren of informatie te verstrekken. In gevaarlijke omgevingen, zoals bij rampenbestrijding of in industriële installaties, zouden ze taken kunnen overnemen die te riskant of te zwaar zijn voor mensen.
Bovendien is het vermogen om op te staan essentieel voor het herstel na een val. Vallen is een veelvoorkomend probleem voor humanoïde robots, vooral in oneffen of dynamische omgevingen. Een robot die na een val niet zelfstandig kan opstaan, wordt in dergelijke omgevingen al snel hulpeloos. HoST biedt hiervoor een oplossing, omdat het de robot in staat stelt zichzelf zelfs vanuit onverwachte posities te herstellen en zijn taak voort te zetten. Dit verhoogt de betrouwbaarheid en veiligheid van humanoïde robots, waardoor ze robuuster en praktischer worden.
HoST effent de weg voor een nieuwe generatie humanoïde robots
HoST is meer dan alleen een evolutie van bestaande methoden; het vertegenwoordigt een belangrijke doorbraak in de besturing van humanoïde robots. Door het innovatieve gebruik van reinforcement learning met een multi-critical architectuur en curriculumgebaseerde training, overwint het de beperkingen van eerdere benaderingen, waardoor robots vanuit een opmerkelijke verscheidenheid aan posities en op diverse ondergronden kunnen opstaan. De succesvolle overdracht van simulatie naar echte robots, gedemonstreerd op de Unitree G1, en de indrukwekkende robuustheid tegen verstoringen onderstrepen het enorme potentieel van deze methode voor praktische toepassingen.
HoST is een belangrijke stap richting humanoïde robots die niet alleen indruk maken in het laboratorium, maar ook daadwerkelijk toegevoegde waarde bieden in de praktijk. Het brengt ons dichter bij de visie van een toekomst waarin humanoïde robots naadloos geïntegreerd zijn in ons dagelijks leven, ons ondersteunen bij diverse taken en ons leven veiliger, comfortabeler en efficiënter maken. Dankzij technologieën zoals HoST wordt het ooit futuristische idee van humanoïde robots die ons in het dagelijks leven vergezellen steeds tastbaarder.
Dit is hiermee gerelateerd:
Uw wereldwijde partner voor marketing en bedrijfsontwikkeling
☑️ Onze zakelijke voertaal is Engels of Duits
☑️ NIEUW: Correspondentie in uw moedertaal!
Konrad Wolfenstein
Mijn team en ik staan graag tot uw beschikking als uw persoonlijke adviseur.
U kunt contact met mij opnemen door hier het contactformulier in te vullen of door mij te bellen op +49 89 89 674 804 ( München) . Mijn e-mailadres is: [email protected]
Ik kijk uit naar ons gezamenlijke project.
