Опубликовано: 20 мая 2025 г. / Обновлено: 20 мая 2025 г. – Автор: Konrad Wolfenstein
Система TWIST: технология захвата движений (MoCap) совершает революцию в управлении человекоподобными роботами – Изображение: Xpert.Digital
Система дистанционного управления, имитирующая движения всего тела: взаимодействие человека и робота в реальном времени изменит робототехнику.
Движения человека для роботов: потенциал системы TWIST
Ученые добились значительного прорыва в разработке систем дистанционного управления для человекоподобных роботов. Благодаря технологии захвата движений, человекоподобные роботы теперь могут выполнять человекоподобные движения в реальном времени. Это нововведение обеспечивает точное и интуитивно понятное управление роботами, представляя собой важный шаг на пути к созданию роботов с полным контролем движений всего тела. Особого внимания заслуживает новая система TWIST (Teleoperated Whole-Body Imitation System), которая передает роботу все движения тела человека, тем самым открывая новую эру взаимодействия человека и робота.
Подходит для:
Основы телеуправления на основе захвата движений.
Дистанционное управление машинами (телеуправление) имеет особое значение в области робототехники. Телероботические системы используются, когда рабочее пространство находится слишком далеко, слишком мало, слишком велико или слишком опасно для человека. Пространственная развязка между человеком (оператором) и роботом (телеоператором) позволяет применять системы в различных областях, таких как малоинвазивная хирургия, обезвреживание бомб и космические приложения.
Технология захвата движений (MoCap) лежит в основе современных систем телеуправления. Эта технология позволяет получать подробные записи и моделировать движения человека, что дает возможность оцифровывать отдельных людей или целые группы людей. Захваченные движения интеллектуально обрабатываются и могут использоваться для анимации тел и их движений.
Как работает технология захвата движений
Технология захвата движений точно отслеживает и записывает движения тела реальных людей с помощью специального костюма, оснащенного маркерами и оптическими системами. Этот процесс собирает данные о движениях всех частей тела – не только рук, кистей, ног и ступней, но и туловища, бедер и головы. Затем эти исчерпывающие данные преобразуются в команды, которые человекоподобные роботы могут выполнять с помощью искусственного интеллекта (ИИ).
Система TWIST: прорыв в дистанционном управлении роботами.
Система TWIST, разработанная в Стэнфордском университете и Университете Саймона Фрейзера, представляет собой значительный шаг вперед в области дистанционного управления человекоподобными роботами. Она сочетает в себе технологию захвата движений с методами обучения с подкреплением и имитационного обучения.
«Мы хотим, чтобы гуманоиды обладали таким же уровнем ловкости всего тела, как и люди», — объясняет Яньцзе Цзе, ведущий автор исследования TWIST. «Представьте себе беспорядок на кухне. Люди могут держать предметы обеими руками и использовать ноги, чтобы перемещать препятствия, например, корзину на полу. Люди также могут открывать дверь боками тела или локтями. Мы хотим, чтобы гуманоиды могли делать то же самое, напрямую имитируя людей».
Техническая реализация TWIST
Система TWIST состоит из трех основных компонентов:
- Сбор данных и перенацеливание: Благодаря перенацеливанию в автономном и онлайн-режиме движения человека адаптируются к роботу. Это достигается за счет оптимизированной передачи 3D-позиций и ориентаций суставов, при этом ориентация тела и положение стоп также корректируются в режиме реального времени.
- Обучение контроллеров в симуляции: TWIST использует двухэтапный подход с методологией «учитель-ученик»:
- Контроллер «Учитель» имеет привилегированный доступ к будущим эталонным движениям, что позволяет ему планировать более плавные перемещения.
- Контроллер «ученик» обучается с помощью комбинации обучения с подкреплением (Reinforcement Learning, RL) и клонирования поведения (Behavior Cloning, BC) и может получать доступ только к текущей информации о движении.
- Контроллер, охватывающий все тело: Обученный контроллер позволяет роботу использовать все степени свободы, сохраняя при этом равновесие. Это приводит к более естественным и человекоподобным движениям.
В ходе испытаний человекоподобного робота G1 компании Unitree исследователи обнаружили, что достаточно зафиксировать движения всего тела и точно передать их на суставы робота, обеспечивая координацию движений различных конечностей.
Подходит для:
Проблемы в дистанционном управлении человекоподобными роботами.
Разработка систем дистанционного управления для человекоподобных роботов ставит перед исследователями ряд сложных задач:
Преодоление разрыва между воплощением и реальностью
Ключевая проблема заключается в преодолении «разрыва в воплощении» — анатомических различий между человеком и роботом. Поскольку роботы имеют иные пропорции, конфигурацию суставов и физические свойства, чем люди, прямая передача движений человека не представляется возможной.
Равновесие и координация всего тела
Для отслеживания движений всего тела человекоподобного робота требуется не только точное управление отдельными суставами, но и динамическое поддержание равновесия во время сложных движений. Традиционные системы телеуправления часто фокусируются только на отдельных движениях, таких как передвижение или манипуляция, тогда как TWIST обеспечивает скоординированные движения всего тела.
Задержка и сенсорная обратная связь
Системы дистанционного управления должны преодолевать такие проблемы, как задержка (латентность) и ограничения в сенсорной обратной связи. Эти факторы могут нарушать синхронизацию действий человека с реакциями робота.
Разнообразные области применения телеуправления с использованием захвата движений.
Дистанционное управление человекоподобными роботами на основе захвата движений открывает множество возможностей для применения:
Опасные ситуации и спасательные операции
В опасных условиях вместо людей можно использовать роботов с дистанционным управлением, например, при обезвреживании взрывных устройств. В период с 2015 по 2020 год только в Соединенном Королевстве ежегодно проводилось около 2000 операций по обезвреживанию взрывных устройств, что подчеркивает необходимость безопасных альтернатив.
Сложные задачи манипулирования
Гуманоидные роботы способны выполнять сложные задачи по манипулированию объектами посредством дистанционного управления, например, в неструктурированных средах, таких как кухни или мастерские. Их способность координировать использование всего тела, включая руки, кисти, ноги и ступни, предоставляет в этом контексте существенные преимущества.
Социальная робототехника и экспрессивность
Для человекоподобных социальных роботов способность выполнять выразительные движения имеет первостепенное значение. Система OCRA (Optimization-based Customizable Retargeting Algorithm), разработанная в Институте Макса Планка, позволяет в реальном времени сопоставлять движения между различными кинематическими цепями, что приводит к интуитивно понятным и человекоподобным движениям.
Альтернативные подходы и сравнение различных систем
Помимо TWIST, существуют и другие подходы к телеуправлению на основе захвата движений:
системы на основе инерциальных измерительных блоков (IMU)
Некоторые исследователи используют системы захвата движений на основе инерциальных измерительных блоков (IMU), которые портативны и дешевле оптических систем. Эта технология используется, например, для дистанционного управления задачами локомоции, сочетающими в себе передвижение и манипуляцию.
Подходы, основанные на нейронных сетях
Альтернативный подход использует нейронные сети для обучения сопоставлению между данными датчиков костюма для захвата движений и угловыми положениями приводов робота. Этот метод не требует предварительной аналитической или математической модели робота и поэтому может применяться к различным парам «человек-робот».
Системы для отдельных частей тела
Помимо систем дистанционного управления всем телом, существуют также специализированные системы, ориентированные на конкретные части тела, например, системы захвата движений обеих рук. Эти системы играют важную роль в точном управлении бионическими двуручными роботами для выполнения деликатных манипуляционных задач.
Подходит для:
Последние достижения и перспективы на будущее
Разработка систем дистанционного управления для человекоподобных роботов стремительно продвигается. Помимо TWIST, исследователи недавно представили и другие инновационные системы:
H2O: Человек в гуманоида
Система H2O позволяет осуществлять дистанционное управление полностью человекоподобным роботом в режиме реального времени, используя только RGB-камеру. Она использует систему координат на основе обучения с подкреплением и процесс «моделирование-в-данные» для фильтрации и выбора подходящих движений для человекоподобных роботов.
Дистанционное управление с поддержкой дополненной реальности
Исследователи также изучают, как дополненная реальность (AR) может поддерживать дистанционное управление на основе захвата движений. Визуализируя виртуальное изображение человеческой руки рядом с рукой робота, пользователи могут лучше понимать траекторию движения.
Искусственный интеллект и захват движений: будущее взаимодействия человека и робота.
За последние годы значительно продвинулись технологии дистанционного управления человекоподобными роботами на основе захвата движений. Такие системы, как TWIST, представляют собой существенный шаг вперед, позволяя роботам выполнять человекоподобные движения всем телом в режиме реального времени.
Сочетание технологии захвата движений и передовых методов искусственного интеллекта, таких как обучение с подкреплением и клонирование поведения, открывает новые возможности для взаимодействия человека и робота. Гуманоидные роботы теперь могут выполнять не только отдельные движения, но и скоординированные действия всего тела, что обеспечивает большую ловкость и выразительность.
В будущем эти технологии могут значительно расширить использование человекоподобных роботов в опасных условиях, для выполнения сложных манипуляционных задач и в социальных контекстах. Постоянное повышение точности, надежности и удобства использования систем дистанционного управления поможет еще больше сократить разрыв между возможностями человека и роботизированным выполнением задач.
Подходит для:
Ваш глобальный партнер по маркетингу и развитию бизнеса
☑️ Наш деловой язык — английский или немецкий.
☑️ НОВИНКА: Переписка на вашем национальном языке!
Konrad Wolfenstein
Я был бы рад служить вам и моей команде в качестве личного консультанта.
Вы можете связаться со мной, заполнив контактную форму или просто позвоните мне по телефону +49 89 89 674 804 (Мюнхен) . Мой адрес электронной почты: wolfenstein ∂ xpert.digital
Я с нетерпением жду нашего совместного проекта.
