Опубліковано: 20 травня 2025 р. / Оновлено: 20 травня 2025 р. – Автор: Konrad Wolfenstein
Система TWIST: технологія захоплення руху (MoCap) революціонізує управління гуманоїдними роботами – Зображення: Xpert.Digital
Система телекерованої імітації всього тіла: взаємодія людини та робота в режимі реального часу змінить робототехніку.
Рухи людини для роботів: потенціал системи TWIST
Вчені досягли значного прориву в розробці систем телеоперації для гуманоїдних роботів. Завдяки технології захоплення руху, гуманоїдні роботи тепер можуть виконувати рухи, подібні до людських, у режимі реального часу. Це нововведення дозволяє точно та інтуїтивно зрозуміло керувати роботами, що є важливим кроком до розробки роботів з імітацією спритності всього тіла. Особливої уваги заслуговує нова система TWIST (Телеоперована система імітації всього тіла), яка передає роботу всі рухи тіла людини, тим самим започатковуючи нову еру взаємодії людини і робота.
Підходить для цього:
Основи телеоперації на основі захоплення руху
Телеоперація стосується дистанційного керування машинами та має особливе значення в галузі робототехніки. Телероботичні системи використовуються, коли робочий простір занадто далеко, занадто малий, занадто великий або занадто небезпечний для людини. Просторове роз'єднання між людиною (оператором) та роботом (телеоператором) дозволяє застосовувати їх у різних галузях, таких як малоінвазивна хірургія, знешкодження бомб та космічні програми.
Технологія захоплення руху (MoCap) є основою сучасних систем телеоперації. Ця технологія дозволяє детально записувати та симулювати рухи людини, що дозволяє оцифровувати окремих осіб або цілі групи людей. Зафіксовані рухи інтелектуально обробляються та можуть бути використані для анімації тіл та їх рухів.
Як працює технологія захоплення руху
Технологія захоплення руху точно відстежує та записує рухи тіла реальних людей за допомогою спеціального костюма, оснащеного маркерами та оптичними системами. Цей процес збирає дані про рухи всіх частин тіла – не лише рук, кистей, ніг та стоп, а й тулуба, стегон та голови. Ці комплексні дані потім перетворюються на команди, які людиноподібні роботи можуть виконувати за допомогою штучного інтелекту (ШІ).
Система TWIST: прорив у телеоперації роботів
Система TWIST, розроблена в Стенфордському університеті та Університеті Саймона Фрейзера, є значним прогресом у телеоперації гуманоїдних роботів. Вона поєднує технологію захоплення руху з методами навчання з підкріпленням та імітаційного навчання.
«Ми хочемо, щоб гуманоїди мали такий самий рівень спритності всього тіла, як і люди», – пояснює Яньцзе Цзе, провідний автор дослідження TWIST. «Уявіть собі безладну кухню. Люди можуть тримати речі обома руками та використовувати ноги, щоб пересувати перешкоди, такі як кошик на підлозі. Люди також можуть відкривати двері боками тіла або ліктями. Ми хочемо, щоб гуманоїди могли робити те саме, безпосередньо імітуючи людей».
Технічна реалізація TWIST
Система TWIST складається з трьох основних компонентів:
- Збір даних та перенацілювання: Завдяки перенацілюванню офлайн та онлайн рухи людини адаптуються до робота. Це досягається завдяки оптимізованій передачі 3D-положень та орієнтацій суглобів, при цьому орієнтація тіла та положення ніг також коригуються в режимі реального часу.
- Навчання контролерів методом симуляції: TWIST використовує двоетапний підхід з методологією «вчитель-учень»:
- Контролер «Вчитель» має привілейований доступ до майбутніх опорних рухів, що дозволяє йому планувати більш плавні рухи.
- Контролер-«студент» навчається за допомогою комбінації навчання з підкріпленням (RL) та клонування поведінки (BC) і може отримувати доступ лише до поточної інформації про рух.
- Повноцінний контролер: Навчений контролер дозволяє роботу використовувати всі ступені свободи, зберігаючи рівновагу. Це призводить до більш природних та людських рухів.
У випробуваннях гуманоїдного робота G1 від Unitree дослідники виявили, що цього достатньо для захоплення рухів усього тіла та точної передачі їх суглобам робота, забезпечуючи координацію рухів різних кінцівок.
Підходить для цього:
Проблеми гуманоїдної телеоперації
Розробка систем телеоперації для людиноподібних роботів ставить перед дослідниками кілька складних завдань:
Подолання розриву у втіленнях
Ключовим викликом є подолання «розриву у втіленні» — анатомічних відмінностей між людьми та роботами. Оскільки роботи мають інші пропорції, конфігурацію суглобів та фізичні властивості, ніж люди, пряме перенесення людських рухів не є можливим.
Рівновага та координація всього тіла
Відстеження всього тіла гуманоїда вимагає не лише точного контролю окремих суглобів, але й динамічної підтримки рівноваги під час складних рухів. Традиційні системи телеоперації часто зосереджуються лише на ізольованих рухах, таких як пересування або маніпуляції, тоді як TWIST дозволяє здійснювати скоординовані рухи всього тіла.
Затримка та сенсорний зворотний зв'язок
Системи телеоперацій повинні долати такі проблеми, як латентність (затримка в часі) та обмеження сенсорного зворотного зв'язку. Ці фактори можуть погіршити синхронізацію дій людини з реакціями роботів.
Різноманітні застосування телеоперації захоплення руху
Телекерування гуманоїдними роботами на основі захоплення руху відкриває численні можливості застосування:
Небезпечні ситуації та рятувальні операції
У небезпечних середовищах замість людей можна використовувати телекерованих роботів, наприклад, для знешкодження вибухонебезпечних предметів (ЗВП). У період з 2015 по 2020 рік лише у Великій Британії щорічно проводилося приблизно 2000 операцій ЗВП, що підкреслює необхідність безпечних альтернатив.
Складні маніпуляційні завдання
Гуманоїдні роботи можуть виконувати складні маніпуляційні завдання за допомогою телеоперації, наприклад, у неструктурованих середовищах, таких як кухні чи майстерні. Їхня здатність координувати використання всього тіла, включаючи руки, кисті, ноги та стопи, пропонує вирішальні переваги в цьому контексті.
Соціальна робототехніка та експресивність
Для гуманоїдних соціальних роботів здатність виконувати експресивні рухи є надзвичайно важливою. Система OCRA (Оптимізаційно-орієнтований алгоритм перенацілювання на основі оптимізації), розроблена в MPI, дозволяє відображати рухи в режимі реального часу між різними кінематичними ланцюгами, що призводить до інтуїтивно зрозумілих та людських рухів.
Альтернативні підходи та порівняння різних систем
Окрім TWIST, існують різні інші підходи до телеоперації на основі захоплення руху:
Системи на основі IMU
Деякі дослідники використовують системи захоплення руху на основі IMU (інерційних вимірювальних блоків), які є портативними та дешевшими за оптичні системи. Ця технологія використовується, наприклад, для телекерування локомоційно-маніпуляційних завдань, які поєднують пересування та маніпуляцію.
Підходи на основі нейронних мереж
Альтернативний підхід використовує нейронні мережі для вивчення відповідності між даними датчиків костюма захоплення руху та кутовими положеннями виконавчих механізмів робота. Цей метод не вимагає попередньої аналітичної чи математичної моделі робота і тому може бути застосований до різних пар людина-робот.
Системи для певних частин тіла
Окрім систем телеоперації всього тіла, існують також спеціалізовані системи, що зосереджені на певних частинах тіла, такі як захоплення рухів обох рук. Ці системи відіграють важливу роль у точному управлінні біонічними бімануальними роботами для виконання делікатних маніпуляційних завдань.
Підходить для цього:
Нещодавній прогрес та майбутні перспективи
Розробка систем телеоперації для людиноподібних роботів стрімко просувається. Окрім TWIST, дослідники нещодавно представили інші інноваційні системи:
H2O: від людини до гуманоїда
Система H2O дозволяє здійснювати телекерування повністю гуманоїдним роботом у режимі реального часу, використовуючи лише RGB-камеру. Вона використовує кадр на основі RL та процес «симуляції в дані» для фільтрації та вибору відповідних рухів для гуманоїдних роботів.
Телеоперація з підтримкою доповненої реальності
Дослідники також досліджують, як доповнена реальність (AR) може підтримувати телеоперацію на основі захоплення руху. Візуалізуючи віртуальний орієнтир людської руки поруч із роботною рукою, користувачі можуть краще зрозуміти відображення руху.
Штучний інтелект та захоплення руху: майбутнє взаємодії людини та робота
Телекерування гуманоїдних роботів на основі захоплення руху значно просунулося за останні роки. Такі системи, як TWIST, є значним кроком вперед, дозволяючи роботам виконувати рухи всього тіла, подібні до людських, у режимі реального часу.
Поєднання технології захоплення руху та передових методів штучного інтелекту, таких як навчання з підкріпленням та клонування поведінки, відкриває нові можливості для взаємодії людини та робота. Гуманоїдні роботи тепер можуть виконувати не лише ізольовані рухи, але й скоординовані дії всім тілом, що забезпечує більшу спритність та виразність.
У майбутньому ці технології можуть значно розширити використання гуманоїдних роботів у небезпечних середовищах, для виконання складних маніпуляційних завдань та в соціальних контекстах. Постійне вдосконалення точності, надійності та зручності використання систем телеоперацій допоможе ще більше зменшити розрив між людськими можливостями та робототехнічним виконанням.
Підходить для цього:
Ваш глобальний партнер з маркетингу та розвитку бізнесу
☑ Наша ділова мова - англійська чи німецька
☑ Нове: листування на вашій національній мові!
Konrad Wolfenstein
Я радий бути доступним вам та моїй команді як особистого консультанта.
Ви можете зв’язатися зі мною, заповнивши тут контактну форму або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) . Моя електронна адреса: Вольфенштейн ∂ xpert.digital
Я з нетерпінням чекаю нашого спільного проекту.
