Опубліковано: 18 березня 2025 р. / Оновлено: 18 березня 2025 р. – Автор: Konrad Wolfenstein
Керування стоянням гуманоїдів: За допомогою HoST гуманоїди вчаться стояти – Прорив для роботів у повсякденному житті – Зображення: humanoid-standingup.github.io
Більше, ніж просто вставати: HoST прокладає шлях для автономних та універсальних гуманоїдних роботів
Від симуляції до реальності: Як HoST навчає гуманоїдних роботів самостійно вставати
У захопливому світі гуманоїдної робототехніки, де машини все частіше імітують людські здібності, центральну роль відіграє, здавалося б, проста, але фундаментально важлива навичка: вставання. Для нас, людей, це друга натура, несвідомий рух, який ми виконуємо незліченну кількість разів щодня. Але для гуманоїдного робота вставання — це складне завдання, що вимагає складних систем керування, точних датчиків та інтелектуальних алгоритмів. Ця здатність є не лише вражаючою демонстрацією інженерної майстерності, але й важливою передумовою для того, щоб гуманоїдні роботи знайшли своє місце в нашому повсякденному житті та підтримували нас у широкому спектрі завдань.
Здатність вставати з різних положень – це набагато більше, ніж просто приємна додаткова функція. Це основа автономності та універсальності гуманоїдних роботів. Уявіть собі робота, який допомагає вам по дому, доглядає за людьми або працює в небезпечних умовах. У всіх цих сценаріях здатність самостійно вставати з різних положень є критично важливою. Робот, який функціонує лише в ідеальних початкових положеннях і залишається безпорадним після падіння, просто марний у реальному світі. Тому розробка надійних та універсальних стратегій стояння є ключовим кроком у перенесенні гуманоїдних роботів з дослідницької лабораторії в реальний світ.
Попередні підходи до вирішення цієї проблеми часто досягали своїх меж. Багато з них покладалися на ретельно запрограмовані послідовності рухів, які функціонували в контрольованих середовищах, але швидко досягали своїх меж у непередбачуваній реальності. Ці жорсткі системи були негнучкими, нездатними адаптуватися до змінних умов і жахливо давали збій, коли робот приземлявся в неочікуваному положенні або на нерівній поверхні. Інші підходи використовували складні середовища моделювання, але їхні результати часто було важко перенести на реальних роботів. Стрибок від моделювання до реальності, так званий «перехід від симуляції до реальності», виявився каменем спотикання для багатьох перспективних дослідницьких підходів.
У цьому контексті з'являється інноваційна структура, яка може докорінно змінити наше уявлення про людиноподібних роботів, що встають: HoST, скорочення від Humanoid Standing-up Control (Контроль стояння для гуманоїдів). HoST — це більше, ніж просто ще один метод; це зміна парадигми. Розроблений консорціумом відомих університетів Азії , включаючи Шанхайський університет Цзяотун, Гонконгський університет, Чжецзянський університет та Китайський університет Гонконгу, HoST порушує традиційні підходи та прокладає абсолютно новий шлях до навчання людиноподібних роботів вставати — у спосіб, який є вражаюче універсальним, надійним та реалістичним.
Підходить для цього:
HoST: Фреймворк, який вчиться на помилках
Суть інновації HoST полягає у застосуванні навчання з підкріпленням (RL) – методу машинного навчання, натхненного тим, як навчаються люди та тварини. Уявіть, що ви навчаєте дитину їздити на велосипеді. Ви не даєте їй детальних інструкцій для кожного руху м’язів; натомість ви дозволяєте їй просто спробувати. Якщо дитина падає, вона виправляє свої рухи під час наступної спроби. Шляхом спроб і помилок, через позитивний та негативний зворотний зв’язок, дитина поступово вчиться опановувати велосипед. Навчання з підкріпленням працює за подібним принципом.
У проекті HoST людиноподібного робота розміщують у симульованому середовищі та доручають йому вставати з різних положень. Робот діє як «агент» у цьому середовищі, виконуючи дії, у цьому випадку рухи суглобів та тіла. За кожну дію він отримує «винагороду» або «покарання» залежно від її успіху. Вставання призводить до позитивної винагороди, тоді як падіння або виконання небажаних рухів призводить до негативної винагороди. Завдяки незліченним спробам, отриманню досвіду та оптимізації стратегії робот поступово навчається розробляти найкращу можливу стратегію стояння.
Ключова відмінність від попередніх підходів на основі RL полягає в тому, що HoST навчається з нуля. Він не використовує попередньо запрограмованих траєкторій руху, людських демонстрацій чи інших попередніх знань. Робот починає з чистого аркуша та розробляє свої стратегії стояння повністю самостійно. Це фундаментальний прогрес, оскільки він дозволяє системі знаходити рішення, які можуть значно перевершувати те, що могли б уявити собі інженери-люди. Крім того, це робить систему надзвичайно адаптивною, оскільки вона не залежить від жорстких припущень чи людських упереджень.
Магія мультикритичної архітектури
Ще одним ключовим елементом інновації HoST є багатокритична архітектура. Щоб зрозуміти це, нам потрібно коротко розглянути, як працює навчання з підкріпленням. У типових системах навчання з підкріпленням є два центральні компоненти: актор і критик. Актор, так би мовити, є мозком робота, який вибирає дії та вирішує, які рухи слід виконувати. Критик оцінює дії актора та надає зворотний зв'язок. Він повідомляє актору, чи були його дії хорошими чи поганими, і як їх можна покращити. У традиційних підходах навчання з підкріпленням зазвичай є лише один критик.
HoST порушує цю домовленість і натомість покладається на кількох спеціалізованих критиків. Уявіть, що вставання включає кілька важливих аспектів: підтримку рівноваги, прийняття правильної пози, координацію суглобів та контроль обертального імпульсу. Кожен із цих аспектів може бути оцінений власним «експертом». Саме це робить архітектура з кількома критиками. HoST використовує кілька мереж критиків, кожна з яких спеціалізується на певному аспекті процесу стояння. Наприклад, один критик може оцінювати рівновагу, інший – координацію суглобів, а третій – обертальний імпульс.
Такий поділ на спеціалізованих критиків виявився надзвичайно ефективним. Він вирішує проблему, яка часто виникає в традиційних системах управління навчанням: негативне втручання. Коли один критик намагається оцінити всі аспекти складного завдання одночасно, можуть виникати конфлікти та плутанина. Різні навчальні цілі можуть перешкоджати одна одній, уповільнюючи або навіть призводячи до збою процесу навчання. Архітектура з кількома критиками обходить цю проблему, розбиваючи навчальне завдання на менші, більш керовані підзадачі та призначаючи спеціалізованого критика кожному підзавданню. Потім актор отримує зворотний зв'язок від усіх критиків і вчиться оптимально поєднувати різні аспекти навчання.
Ця багатокритична архітектура особливо актуальна для складного завдання стояння. Вставання вимагає різноманітних навичок дрібної моторики та точного контролю обертального імпульсу для підтримки рівноваги та уникнення падіння. Завдяки своїм спеціалізованим критикам, HoST може цілеспрямовано тренувати та оптимізувати ці різні аспекти стояння, що призводить до значно кращих результатів, ніж традиційні підходи з використанням одного критика. Дослідники у своїх дослідженнях продемонстрували, що багатокритична архітектура забезпечує значне покращення продуктивності та дозволяє HoST розробляти стратегії стояння, які були б недосяжні за допомогою традиційних методів.
Вивчення навчальної програми: від простого до складного
Ще одним ключем до успіху HoST є навчання на основі навчальної програми. Цей метод базується на процесі навчання людини, в якому ми крок за кроком опановуємо складні навички, починаючи з простих основ і поступово переходячи до складніших завдань. Подумайте ще раз про приклад їзди на велосипеді. Перш ніж дитина навчиться їздити на двох колесах, вона може спочатку навчитися балансувати на балансувалі або використовувати допоміжні колеса. Ці підготовчі вправи сприяють подальшому процесу навчання та забезпечують швидший і успішніший прогрес.
HoST реалізує подібний принцип. Робот не стикається з найскладнішим завданням з самого початку, а саме, вставанням з будь-якого положення на будь-якій поверхні. Натомість він проходить багаторівневу навчальну програму, в якій завдання поступово стають складнішими. Навчання починається з простих сценаріїв, таких як вставання з положення лежачи на рівній підлозі. Як тільки робот освоїть це завдання, умови стають поступово складнішими. Додаються нові початкові позиції, такі як вставання з положення сидячи або з положення лежачи та спираючись на стіну. Поверхня також різноманітна, від рівної підлоги до злегка нерівних поверхонь і, нарешті, до більш складної місцевості.
Таке навчання на основі навчальної програми пропонує кілька переваг. По-перше, воно дозволяє ефективніше досліджувати простір рішень. Робот спочатку зосереджується на фундаментальних аспектах стояння та вчиться опановувати їх у простих сценаріях. Це прискорює процес навчання, дозволяючи роботу швидше досягти хорошого рівня продуктивності. По-друге, навчальна програма покращує узагальнюваність моделі. Поступово піддаючи робота більш різноманітним та складним завданням, він вчиться адаптуватися до різних ситуацій та розробляти надійні стратегії стояння, які функціонують не лише в ідеальних, а й у реальних умовах. Різноманітність умов навчання має вирішальне значення для стійкості системи в реальному світі, де непередбачувані поверхні та початкові позиції є правилом, а не винятком.
Підходить для цього:
Реалізм через обмеження руху
Ще одним важливим аспектом HoST є врахування його застосовності в реальному світі. Хоча симуляції є потужним інструментом для навчання роботів, реальний світ набагато складніший і непередбачуваніший. Щоб успішно подолати розрив між симуляцією та реальністю, HoST реалізує два важливі обмеження руху, які гарантують, що вивчені стратегії можна застосовувати до реального обладнання без пошкодження робота.
Першим обмеженням є регуляризація плавності. Це спрямовано на зменшення коливальних рухів. У симуляціях роботи можуть виконувати рухи, які були б проблематичними в реальності. Наприклад, вони можуть робити уривчасті, тремтячі рухи, які можуть пошкодити фізичне обладнання або призвести до нестабільної поведінки. Регуляризація плавності гарантує, що вивчені рухи будуть плавнішими та плавнішими, що не тільки дбайливіше впливає на обладнання, але й призводить до більш природної та стабільної поведінки роботи.
Друге обмеження — це неявне обмеження швидкості. Це запобігає надмірно швидким або різким рухам. Знову ж таки, симуляції часто представляють ідеалізовані умови, за яких роботи можуть виконувати рухи з нереально високими швидкостями. Однак у реальному світі такі різкі рухи можуть пошкодити робота, наприклад, перевантажити двигуни або пошкодити суглоби. Обмеження швидкості гарантує, що вивчені рухи залишаються в межах фізичних можливостей реального обладнання та не створюють небезпеки для робота.
Ці обмеження руху є вирішальними для перенесення симуляції в реальність. Вони гарантують, що стратегії, вивчені в симуляції, працюють не лише в теорії, але й можуть бути реалізовані практично на реальних роботах без перевантаження та пошкодження апаратного забезпечення. Вони є важливим кроком у подоланні розриву між симуляцією та реальністю та підготовці людиноподібних роботів до використання в реальному світі.
Практичне випробування: HoST на Unitree G1
Справжнім випробуванням будь-якого методу керування роботом є його практична реалізація на реальному обладнанні. Щоб продемонструвати можливості HoST, дослідники перенесли стратегії керування, вивчені під час симуляції, на гуманоїдного робота Unitree G1. Unitree G1 — це передова гуманоїдна платформа, що характеризується своєю спритністю, надійністю та реалістичним дизайном. Це ідеальний випробувальний майданчик для оцінки можливостей HoST у реальному світі.
Результати практичних випробувань були вражаючими та підтвердили ефективність підходу HoST. Робот Unitree G1, керований HoST, продемонстрував чудові можливості стояння з найрізноманітніших положень. Він успішно вставав з положення лежачи, сидячи, стоячи на колінах і навіть з положень, де він спирався на предмети або на нерівній поверхні. Перенесення змодельованих можливостей у реальний світ було майже безперешкодним, що підкреслює високу якість перенесення HoST з симуляції в реальний світ.
Особливої уваги заслуговує стійкість до збурень, продемонстрована роботом Unitree G1, керованим HoST. Під час експериментальних випробувань робот зазнавав зовнішніх сил, таких як удари та поштовхи. Він стикався з перешкодами, які заважали йому встати. Його навіть навантажували важкими вантажами (до 12 кг), щоб перевірити його стійкість та вантажопідйомність. У всіх цих ситуаціях робот продемонстрував надзвичайну стійкість та успішно вирівнявся, не втрачаючи рівноваги та не падаючи.
Вражаюче демонстраційне відео чітко проілюструвало надійність HoST. На ньому було показано, як людина штовхає та б'є ногами робота Unitree G1, коли той вставав. Незважаючи на ці значні збурення, робот залишався незворушним. Він коригував свої рухи в режимі реального часу, адаптувався до неочікуваних ударів і зрештою безпечно та стабільно вставав. Ця демонстрація вражаюче ілюструє практичну застосовність та надійність системи HoST у реальних, непередбачуваних умовах.
Підходить для цього:
Дослідження абляції: взаємодія компонентів
Щоб детальніше вивчити значення окремих компонентів HoST, дослідники провели масштабні дослідження абляції. У цих дослідженнях окремі елементи структури HoST були видалені або змінені для аналізу їхнього впливу на загальну продуктивність. Результати цих досліджень дали цінну інформацію про функціональність HoST та підтвердили важливість його основних інновацій.
Ключовим висновком досліджень абляції стало підтвердження вирішальної ролі багатокритичної архітектури. Коли дослідники модифікували систему для використання лише одного критика, система дала жахливий збій. Вона більше не могла навчатися успішним моделям стояння, і в більшості випадків робот безпорадно залишався лежачим. Цей результат підкреслює центральну важливість багатокритичної архітектури для продуктивності HoST і підтверджує, що спеціалізовані критики справді роблять значний внесок в успіх навчання.
Навчання на основі навчальної програми також виявилося ключовим фактором успіху в дослідженнях абляції. Коли дослідники замінили навчальну програму рандомізованим навчанням без поступового збільшення складності, продуктивність системи значно погіршилася. Робот навчався повільніше, досягав нижчого рівня продуктивності та був менш стійким до різних початкових положень та поверхонь. Це підтверджує припущення, що навчання на основі навчальної програми підвищує ефективність процесу навчання та збільшує узагальнюваність моделі.
Впроваджені обмеження руху також значно покращили загальну продуктивність, особливо щодо практичної застосовності. Коли дослідники видалили регуляризацію плавності та обмеження швидкості руху, робот все ще вивчав стратегії відновлення в симуляції, але вони були менш стабільними в реальності та частіше призводили до падінь або небажаних, різких рухів. Це демонструє, що хоча обмеження руху дещо обмежують гнучкість системи в симуляції, вони є важливими в реальному світі для забезпечення надійної, безпечної та зручної для обладнання поведінки.
HoST: Трамплін для універсальних гуманоїдних роботів
Здатність вставати з різних положень може здатися тривіальною на перший погляд, але насправді це фундаментальний елемент головоломки для розробки справді універсальних та автономних людиноподібних роботів. Вона формує основу для інтеграції в складніші системи пересування та маніпуляцій і відкриває безліч нових можливостей застосування. Уявіть собі робота, який може не тільки вставати, але й плавно переходити між різними завданнями – вставати з дивана, йти до столу, хапати предмети, уникати перешкод і вставати назад, якщо він спіткнеться. Така безперешкодна взаємодія з навколишнім середовищем, яка є другою натурою для нас, людей, є метою людиноподібної робототехніки, і HoST наближає нас на вирішальний крок до її досягнення.
Завдяки HoST, людиноподібні роботи можуть бути використані в різних сферах у майбутньому, де їхня людська форма та здатність взаємодіяти з навколишнім середовищем будуть перевагами. У догляді вони можуть підтримувати людей похилого віку або хворих, допомагаючи їм вставати та сідати, передавати їм предмети або допомагати з хатніми справами. У сфері послуг їх можна використовувати в готелях, ресторанах або магазинах для обслуговування клієнтів, транспортування товарів або надання інформації. У небезпечних середовищах, таких як ліквідація наслідків стихійних лих або промислові підприємства, вони можуть брати на себе завдання, які є занадто ризикованими або виснажливими для людини.
Крім того, здатність вставати є важливою для відновлення після падіння. Падіння є поширеною проблемою для гуманоїдних роботів, особливо в нерівних або динамічних умовах. Робот, який не може самостійно встати після падіння, швидко стає безпорадним у таких умовах. HoST пропонує рішення, оскільки дозволяє роботу випрямлятися навіть з неочікуваних положень та продовжувати виконувати своє завдання. Це підвищує надійність та безпеку гуманоїдних роботів, роблячи їх більш надійними та практичними інструментами.
HoST прокладає шлях для нового покоління гуманоїдних роботів
HoST — це більше, ніж просто еволюція існуючих методів; він являє собою значний прорив в управлінні гуманоїдними роботами. Завдяки інноваційному використанню навчання з підкріпленням з багатокритичною архітектурою та навчанням на основі навчальної програми, він долає обмеження попередніх підходів, дозволяючи роботам вставати з надзвичайно різноманітних положень та на різноманітних поверхнях. Успішний перехід від симуляції до реальних роботів, продемонстрований на Unitree G1, та його вражаюча стійкість до збурень підкреслюють величезний потенціал цього методу для практичного застосування.
HoST – це важливий крок до створення гуманоїдних роботів, які не лише вражають у лабораторії, але й можуть запропонувати реальну додаткову цінність у реальному світі. Він наближає нас до бачення майбутнього, де гуманоїдні роботи бездоганно інтегруються в наше повсякденне життя, підтримуючи нас у виконанні різноманітних завдань та роблячи наше життя безпечнішим, комфортнішим та ефективнішим. Завдяки таким технологіям, як HoST, колись футуристична ідея гуманоїдних роботів, які супроводжують нас у повсякденному житті, стає дедалі відчутнішою.
Підходить для цього:
Ваш глобальний партнер з маркетингу та розвитку бізнесу
☑ Наша ділова мова - англійська чи німецька
☑ Нове: листування на вашій національній мові!
Konrad Wolfenstein
Я радий бути доступним вам та моїй команді як особистого консультанта.
Ви можете зв’язатися зі мною, заповнивши тут контактну форму або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) . Моя електронна адреса: Вольфенштейн ∂ xpert.digital
Я з нетерпінням чекаю нашого спільного проекту.
