Opublikowano: 18 marca 2025 / Aktualizacja od: 18 marca 2025 r. - Autor: Konrad Wolfenstein
Humanoidalne stałe kontrola: nauka wstawania z gospodarzami-przełom dla robotów w codziennym obrazie życia: humanoid-standup.github.io
Więcej niż tylko wstawanie: gospodarz toruje drogę do autonomicznych i wszechstronnych robotów humanoidalnych
Od symulacji po rzeczywistość: jak humanoidalne roboty hosta uczy samego samego siebie
W fascynującym świecie robotyki humanoidalnej, w której maszyny naśladują coraz więcej ludzkich umiejętności, pozornie prosta, ale zasadniczo ważna umiejętnością odgrywa centralną rolę: wstawanie. To oczywiście dla nas, ludzi, nieświadomy ruch, który wykonujemy niezliczoną liczbę razy dziennie. Ale w przypadku robota humanoidalnego wstanie jest złożonym wyzwaniem, które wymaga interakcji wyrafinowanej kontroli, precyzyjnych czujników i inteligentnych algorytmów. Jednak umiejętność ta jest nie tylko imponującą demonstracją sztuki inżynieryjnej, ale także niezbędnym warunkiem humanoidalnych robotów znajduje swoje miejsce w naszym życiu codziennym i może nas wspierać w różnych obszarach odpowiedzialności.
Wstanie z różnych pozycji to znacznie więcej niż ładna dodatkowa funkcja. Jest podstawą autonomii i wszechstronności robotów humanoidalnych. Wyobraź sobie, że robot powinien pomóc w gospodarstwie domowym, pomóc w opiece lub pracować w niebezpiecznych środowiskach. We wszystkich tych scenariuszach zdolność niezależnego ustawiania się z różnych lokalizacji ma kluczowe znaczenie. Robot, który działa tylko w idealnych pozycjach wyjściowych i pozostaje bezradny, gdy upadek jest po prostu bezużyteczny w prawdziwym świecie. Rozwój solidnych i wszechstronnych strategii -UP -UP jest zatem kluczowym krokiem do przeniesienia robotów humanoidalnych z laboratorium badawczego do rzeczywistego świata.
Poprzednie podejścia do rozwiązania tego problemu często osiągnęły ich granice. Wielu oparto na pracowicie wstępnie zaprogramowanych ruchach, które działały w kontrolowanych środowiskach, ale szybko osiągnęły swoje granice w nieprzewidywalnej rzeczywistości. Te sztywne systemy były nieelastyczne, nie mogły dostosować się do zmienionych warunków i porażka, gdy robot wylądował w nieoczekiwanej pozycji lub był na nierównych powierzchniach. Inne podejścia opierają się na złożonych środowiskach symulacyjnych, których wyniki często były trudne do przeniesienia do prawdziwych robotów. Skok z symulacji do rzeczywistości, tak zwany „transfer SIM-Real”, okazał się przeszkadzającym blokiem wielu obiecujących podejść badawczych.
W tym kontekście innowacyjne ramy pojawiają się na scenie, które mogą zasadniczo zmienić sposób, w jaki myślimy o wsiadaniu robotów humanoidalnych: gospodarz, skrót od humanoidalnej kontroli stania. Host to coś więcej niż inna metoda; Jest to zmiana paradygmatu. Opracowany przez konsorcjum znanych uniwersytetów w Azji , w tym Uniwersytet Szanghaju Jiao Tong, University of Hongkong, Zhejiang University i Chinese University of Hongkong, przełamy się do tradycyjnych podejść i zajmuje zupełnie nowy sposób nauczania humanoidalnych robotów - w sposób zadziwiający wszechstronny, solidny i realistyczny.
Nadaje się do:
Host: ramy, które uczy się na błędach
Rdzeń innowacji gospodarza polega na stosowaniu uczenia się wzmocnienia (RL), metody uczenia maszynowego inspirowanego sposobem uczenia się ludzi i zwierząt. Wyobraź sobie, że uczysz jeździe na rowerze dla dzieci. Nie podają mu szczegółowych instrukcji dla każdego ruchu mięśni, ale po prostu pozwól mu spróbować. Jeśli dziecko tam upadnie, koryguje jego ruchy przy następnej próbie. Dzięki próbom i błędom dziecko stopniowo uczy się opanować rower poprzez pozytywne i negatywne informacje zwrotne. Uczenie się wzmocnienia działa zgodnie z podobną zasadą.
W przypadku gospodarza robot humanoidalny jest umieszczany w symulowanym środowisku i konfrontuje się z zadaniem wstawania z różnych pozycji. Robot działa jako „agent” w tym obszarze. Wykonuje działania, w tym przypadku ruchów stawów i ciała. Za każdą kampanię otrzymuje „nagrodę” lub „karę”, w zależności od tego, jak się udało. Jeśli wstanie, otrzyma pozytywną nagrodę. Jeśli spadnie lub dokonuje niechcianych ruchów, otrzymuje negatywną nagrodę. Dzięki niezliczonym próbom zdobycia doświadczenia i optymalizacji jego strategii robot stopniowo uczy się opracowywać najlepszą możliwą strategię stoiska.
Decydującą różnicą w stosunku do poprzednich podejść opartych na RL polega na tym, że gospodarz uczy się od zera. Żadnych przeprogramowanych ruchów, nie stosuje się żadnych demonstracji międzyludzkich ani innej wcześniejszej wiedzy. Robot zaczyna się od „pustego arkusza” i rozwija swoje strategie w górę do datek całkowicie niezależnie. Jest to podstawowy postęp, ponieważ umożliwia systemowi znalezienie rozwiązań, które mogą wykraczać daleko poza to, co mogli wymyślić ludzcy inżynierowie. Ponadto system sprawia, że jest wyjątkowo przystosowalny, ponieważ nie opiera się na sztywnych założeniach ani ludzkich stronniczości.
Magia architektury multirrytycznej
Kolejnym sercem innowacji gospodarza jest architektura wielokrytyczna. Aby to zrozumieć, musimy krótko poradzić sobie z funkcjonowaniem uczenia się wzmocnienia. Istnieją dwa centralne elementy w typowych systemach RL: siłownik i krytyk. Siłownik jest tak, że mózg robota, który wybiera działania, tj. Decyduje, które ruchy należy przeprowadzić. Krytyk ocenia działania siłownika i udziela mu informacji zwrotnej. Mówi siłownikowi, czy jego działania były dobre czy złe i jak można je poprawić. W tradycyjnych podejściach RL zwykle jest tylko jeden krytyk.
Host przełamuje tę konwencję i zamiast tego opiera się na kilku wyspecjalizowanych krytykach. Wyobraź sobie, że istnieją różne aspekty, które są ważne: trzymaj równowagę, weź odpowiednią postawę, współrzędne połączenia, kontroluj obrotowy impuls. Każdy z tych aspektów może zostać oceniony przez własnego „eksperta”. To właśnie sprawia, że architektura wielokrytyczna. Host korzysta z kilku sieci krytyków, z których każda specjalizuje się w określonym aspekcie procesu początkowego. Jeden krytyk mógł na przykład ocenić równowagę, drugą wspólną koordynację i zewnętrzną stronę impulsu obrotowego.
Ten podział na specjalistyczne krytyki okazał się niezwykle skuteczny. Rozwiązuje problem, który często występuje w tradycyjnych systemach RL: negatywne zakłócenia. Jeśli jeden krytyk próbuje jednocześnie ocenić wszystkie aspekty złożonego zadania, mogą wystąpić konflikty i zamieszanie. Różne cele uczenia się mogą utrudniać sobie i spowolnić proces uczenia się, a nawet sprawić, że się nie powiedzie. Architektura wielokrytyczna omija ten problem, demontaż zadania uczenia się w mniejsze, wyraźniejsze podędzi i wykorzystując wyspecjalizowany krytyk dla każdego zadania częściowego. Następnie siłownik otrzymuje informacje zwrotne od wszystkich krytyków i uczy się optymalnie łączyć różne aspekty wstawania.
Ta multirrytyczna architektura jest szczególnie istotna dla złożonego zadania wstania. Wstanie wymaga różnych umiejętności motorycznych i precyzyjnej kontroli impulsu obrotowego, aby zachować równowagę i nie przewracać. Dzięki specjalistycznym krytykom gospodarz może specjalnie szkolić i optymalizować te różne aspekty wstawania, co prowadzi do znacznie lepszych wyników niż konwencjonalne podejścia z jednym krytykiem. W swoich badaniach naukowcy wykazali, że architektura wielokrytyczna umożliwia znaczny skok wydajności i umożliwia hostom opracowanie strategii stand-up, które byłyby nieosiągalne przy użyciu konwencjonalnych metod.
Uczenie się programu nauczania: od prostego do kompleksu
Kolejnym kluczem do sukcesu gospodarza jest szkolenie oparte na programie nauczania. Ta metoda opiera się na procesie uczenia się człowieka, w którym stopniowo uczymy się złożonych umiejętności, zaczynając od prostych podstaw, a następnie powoli pracujemy nad nami. Pomyśl o przykładu jazdy na rowerze. Zanim dziecko nauczy się jeździć dwoma kółkami, może nauczyć się utrzymywać równowagę na wirniku lub jazdy z motocyklami wsparcia. Te ćwiczenia przygotowawcze ułatwiają późniejszy proces uczenia się i zapewniają szybszy i bardziej udany postęp.
Host wdrożył podobną zasadę. Robot nie jest od samego początku konfrontacji z najtrudniejszym zadaniem, a mianowicie, aby dostać się na dowolną powierzchnię z dowolnej pozycji. Zamiast tego jest poddawany rozłożonym programowi nauczania, w którym zadania stopniowo stają się bardziej złożone. Trening zaczyna się od prostych scenariuszy, na przykład wstawania z leżącej pozycji na płaskiej podłodze. Gdy tylko robot dobrze opanował to zadanie, warunki stopniowo stają się trudniejsze. Istnieją nowe pozycje wyjściowe, jak wstać z pozycji siedzącej lub leżące na ścianie. Powierzchnia jest również zróżnicowana, od gleby równej po nieco nierówne powierzchnie po bardziej wymagający teren.
Ten trening oparty na programie nauczania ma kilka zalet. Z jednej strony umożliwia bardziej wydajne badanie przestrzeni roztworu. Robot początkowo koncentruje się na podstawowych aspektach wstawania i uczy się opanować je w prostych scenariuszach. To przyspiesza proces uczenia się, a robot szybciej osiąga dobry poziom wydajności. Z drugiej strony program nauczania poprawia uogólnienie modelu. Stopniowo konfrontując robota z bardziej różnorodnymi i złożonymi zadaniami, uczy się dostosowywać do różnych sytuacji i opracowywać solidne strategie, które działają nie tylko w ideałach, ale także w prawdziwych środowiskach. Różnorodność warunków treningowych ma kluczowe znaczenie dla odporności systemu w świecie rzeczywistym, gdzie nieprzewidywalne powierzchnie i pozycje początkowe są zasadą, a nie wyjątkiem.
Nadaje się do:
Rzeczywistość poprzez ograniczenia ruchu
Kolejnym ważnym aspektem hosta jest uwzględnienie prawdziwego zastosowania. Symulacje są potężnym narzędziem do szkolenia robotów, ale światowy świat jest nierówny, bardziej złożony i nieprzewidywalny. Aby skutecznie opanować skok z symulacji do rzeczywistości, host wdraża dwa znaczące ograniczenia ruchu, które zapewniają, że wyciągnięte strategie można również wdrożyć na prawdziwym sprzęcie i nie uszkadzają robota.
Pierwszym ograniczeniem jest uregulowanie płynności. Ma to na celu zmniejszenie ruchów oscylacyjnych. W symulacjach roboty mogą przeprowadzać ruchy, które byłyby problematyczne w rzeczywistości. Na przykład mogliby robić szarpane, drżące ruchy, które mogą być szkodliwe dla fizycznego sprzętu lub doprowadzić do niestabilnego zachowania. Regulalizacja gładkości zapewnia, że wyuczone ruchy są gładsze i płynne, co jest nie tylko łagodniejsze dla sprzętu, ale także prowadzi do bardziej naturalnego i stabilnego zachowania stand-up.
Drugim ograniczeniem jest niejawne ograniczenie prędkości ruchu. Zapobiega to zbyt szybkim lub nagłym ruchom. Również tutaj symulacje często reprezentują wyidealizowane warunki, w których roboty mogą wykonywać ruchy o nierealistycznie dużych prędkościach. Jednak w prawdziwym świecie takie nagłe ruchy mogą prowadzić do uszkodzenia robota, na przykład w celu przeciążenia silników lub uszkodzenia stawów. Ograniczenie prędkości ruchu zapewnia, że wyciągnięte ruchy pozostają w fizycznych granicach prawdziwego sprzętu i nie zagrażają robota.
Te ograniczenia ruchu są kluczowe dla transferu SIM-Real. Zapewniają, że strategie wyciągnięte w symulacji nie tylko działają teoretycznie, ale mogą być praktycznie wdrażane na prawdziwych robotach bez przeciążenia lub uszkadzania sprzętu. Są ważnym krokiem do wypełnienia luki między symulacją a rzeczywistością i przygotowania humanoidalnych robotów do użytku w prawdziwym świecie.
Test praktyczny: gospodarz na Unitree G1
Prawdziwym testem dla każdej metody kontroli robota jest praktyczna implementacja na prawdziwym sprzęcie. Aby wykazać wydajność gospodarza, naukowcy przenieśli strategie kontrolne wyciągnięte w symulacji do robota humanoidalnego Unitree G1. UNTREE G1 to zaawansowana humanoidalna platforma, która charakteryzuje się jej zwinnością, solidnością i realistyczną konstrukcją. Jest to idealne łóżko testowe do oceny umiejętności gospodarza w prawdziwym świecie.
Wyniki testów praktycznych były imponujące i potwierdziły skuteczność podejścia gospodarza. Robot Ullree G1, kontrolowany przez gospodarza, wykazał niezwykłe możliwości wpływu z wielu różnych pozycji. Był w stanie z powodzeniem wstać z leżącej pozycji, z pozycji siedzącej, z kolan, a nawet z pozycji, w których opierał się o przedmioty lub był na nierównej powierzchni. Transmisja symulowanych umiejętności do prawdziwego świata była prawie płynna, co podkreśla wysoką jakość transferu SIM-Real od gospodarza.
Szczególnie godne uwagi jest solidność zaburzeń, które wykazał kontrolowany przez gospodarza Unitree G1. W testach eksperymentalnych robot był skonfrontowany z siłami zewnętrznymi, na przykład przez uderzenia lub ciosy. Był skonfrontowany z przeszkodami, które zablokowały go. Został nawet ładowany ciężkimi obciążeniami (do 12 kg), aby przetestować swoją stabilność i pojemność obciążenia. We wszystkich tych sytuacjach robot wykazywał niezwykły opór i był w stanie z powodzeniem skonfigurować bez utraty lub obalenia równowagi.
W imponującym filmie demonstracyjnym solidność gospodarza stała się szczególnie jasna. Tam można zobaczyć, jak osoba wpadła na robota G1 Unitree G1 podczas procesu początkowego. Pomimo tych masywnych zaburzeń robota nie można było usunąć. Poprawił swoje ruchy w czasie rzeczywistym, dostosował nieoczekiwane efekty i w końcu wstał bezpiecznie i stabilny. Ta demonstracja imponująco ilustruje praktyczne zastosowanie i niezawodność systemu hosta w prawdziwych, nieprzewidywalnych środowiskach.
Nadaje się do:
Badania ablacji: interakcja komponentów
Aby dokładniej zbadać znaczenie poszczególnych elementów gospodarzy, naukowcy przeprowadzili obszerne badania ablacyjne. W tych badaniach poszczególne elementy ram gospodarza zostały usunięte lub zmienione w celu analizy ich wpływu na ogólną wydajność. Wyniki tych badań dostarczyły cennego wglądu w funkcjonowanie gospodarzy i potwierdziły znaczenie centralnych innowacji.
Głównym wynikiem badań ablacyjnych było potwierdzenie decydującej roli architektury multirrytycznej. Kiedy naukowcy zmodyfikowali system w taki sposób, że używał tylko jednego krytyka, system nie powiódł się. Nie był już w stanie nauczyć się udanego ryzyka, a robot pozostał bezradny w większości przypadków. Wynik ten podkreśla centralne znaczenie architektury multirrytycznej dla wydajności gospodarza i potwierdza, że wyspecjalizowani krytycy faktycznie wnoszą znaczący wkład w sukces uczenia się.
Szkolenie oparte na programie nauczania okazało się również ważnym czynnikiem sukcesu w badaniach ablacji. Kiedy naukowcy zastąpili program nauczania losowym treningiem bez stopniowego wzrostu trudności, wydajność systemu pogorszyła się. Robot uczył się wolniej, osiągnął niższy poziom wydajności i był mniej solidny w porównaniu z różnymi pozycjami wyjściowymi i podłożami. Potwierdza to założenie, że szkolenie oparte na programie nauczania poprawia wydajność procesu uczenia się i zwiększa uogólnienie modelu.
Wdrożone ograniczenia ruchu również znacząco przyczyniły się do całkowitej wydajności, szczególnie w odniesieniu do praktycznego zastosowania. Kiedy naukowcy usunęli gładkość regularyzację i ograniczenie prędkości ruchu, robot wciąż nauczył się w symulacji, ale w rzeczywistości byli mniej stabilni i częściej spada lub prowadził do niepożądanych, gwałtownych ruchów. To pokazuje, że ograniczenia ruchu nieznacznie ograniczają elastyczność systemu w symulacji, ale są niezbędne w prawdziwym świecie, aby zapewnić solidne, bezpieczne i przyjazne przez sprzęt zachowanie.
Gospodarz: Ścieżka
Zdolność do wstania z różnych pozycji może wydawać się trywialna na pierwszy rzut oka, ale w rzeczywistości jest fundamentalnym elementem zagadki dla rozwoju naprawdę wszechstronnych i autonomicznych humanoidalnych robotów. Jest to podstawa integracji z bardziej złożonymi systemami lokomocji i manipulacji oraz otwiera różne nowe aplikacje. Wyobraź sobie, że robot może nie tylko wstać, ale także płynnie poruszać się między różnymi zadaniami - wstań z sofy, idź do stołu, chwyć przedmioty, unikaj przeszkód i wstań, gdy się potknie. Ten rodzaj bezproblemowej interakcji z środowiskiem, co jest oczywiście kwestią dla nas ludzi, jest celem robotyki humanoidalnej, a gospodarz zbliża nas decydujący krok do tego celu.
Gospodarz może być używany z gospodarzem w przyszłości w różnych obszarach, w których ich ludzka postać i zdolność do interakcji ze środowiskiem ludzkim są korzystne. W pielęgniarstwie mogą wspierać starszych lub chorych ludzi, pomóc im wstać i usiąść, wystarczającą liczbę przedmiotów lub pomóc w gospodarstwie domowym. W obszarze serwisowym mogą być wykorzystywane w hotelach, restauracjach lub sklepach do obsługi klientów, transportu towarów lub dostarczania informacji. W niebezpiecznych środowiskach, takich jak płaskorzeźby katastrofy lub w roślinach przemysłowych, mogą podejmować zadania, które są zbyt ryzykowne lub zbyt wyczerpujące dla ludzi.
Ponadto zdolność do wstania jest również niezbędna do upartej produkcji. Upadki są częstym problemem w robotach humanoidalnych, szczególnie w nierównomiernych lub dynamicznych środowiskach. Robot, który nie może wstać niezależnie po upadku, jest szybko bezradny w takich środowiskach. Host oferuje tutaj rozwiązanie, ponieważ umożliwia robotowi pojawienie się z nieoczekiwanych lokalizacji i kontynuowanie jego zadania. Zwiększa to niezawodność i bezpieczeństwo humanoidalnych robotów i czyni je bardziej solidnymi i bardziej praktycznymi narzędziami.
Gospodarz toruje drogę nowej generacji robotów humanoidalnych
Host to coś więcej niż dalszy rozwój istniejących metod; Jest to znaczący przełom w kontroli robotów humanoidalnych. Poprzez innowacyjne wykorzystanie uczenia się wzmocnienia z multirrytyczną architekturą i szkoleniem opartym na programie nauczania, przezwycięża ograniczenia poprzednich podejść i umożliwia robotom powstanie z niezwykłej różnorodności pozycji i na wielu różnych powierzchniach. Udane przeniesienie z symulacji do prawdziwego robota pokazuje jednostkę G1 i imponującą solidność zaburzeń podkreślają ogromny potencjał tej metody do praktycznych zastosowań.
Gospodarz jest ważnym krokiem na drodze do robotów humanoidalnych, które nie tylko robią wrażenie w laboratorium, ale może również oferować rzeczywistą wartość dodaną w prawdziwym świecie. Zbliża nas do wizji przyszłości, w której roboty humanoidalne są płynnie zintegrowane z naszym codziennym życiem, wspierają nas w różnych zadaniach i sprawiają, że nasze życie jest bardziej komfortowe, bardziej wygodne i wydajniejsze. Dzięki technologiom takim jak gospodarz, niegdyś futurystyczna idea humanoidalnych robotów, które towarzyszą nam w naszym codziennym życiu, staje się coraz bardziej namacalną rzeczywistością.
Nadaje się do:
Twój globalny partner w zakresie marketingu i rozwoju biznesu
☑️Naszym językiem biznesowym jest angielski lub niemiecki
☑️ NOWOŚĆ: Korespondencja w Twoim języku narodowym!
Konrada Wolfensteina
Chętnie będę służyć Tobie i mojemu zespołowi jako osobisty doradca.
Możesz się ze mną skontaktować wypełniając formularz kontaktowy lub po prostu dzwoniąc pod numer +49 89 89 674 804 (Monachium) . Mój adres e-mail to: wolfenstein ∂ xpert.digital
Nie mogę się doczekać naszego wspólnego projektu.
