Le système TWIST : la technologie de capture de mouvement (MoCap) révolutionne le contrôle des robots humanoïdes – Image : Xpert.Digital
Système d'imitation corporelle complète téléopéré : l'interaction homme-robot en temps réel va révolutionner la robotique.
Mouvements humains pour robots : le potentiel du système TWIST
Des scientifiques ont réalisé une avancée majeure dans le développement de systèmes de téléopération pour robots humanoïdes. Grâce à la technologie de capture de mouvement, ces robots peuvent désormais reproduire des mouvements humains en temps réel. Cette innovation permet un contrôle précis et intuitif des robots, constituant ainsi un pas important vers le développement de robots dotés d'une dextérité corporelle complète. Le système TWIST (Teleoperated Whole-Body Imitation System), qui transmet les mouvements complets du corps humain à un robot, est particulièrement remarquable et ouvre ainsi une nouvelle ère d'interaction homme-robot.
En lien avec ceci :
Les principes fondamentaux de la téléopération basée sur la capture de mouvement
La téléopération désigne le contrôle à distance de machines et revêt une importance particulière en robotique. Les systèmes télérobotiques sont utilisés lorsque l'espace de travail est trop éloigné, trop exigu, trop vaste ou trop dangereux pour l'intervention humaine. La dissociation spatiale entre l'humain (opérateur) et le robot (téléopérateur) permet des applications dans divers domaines tels que la chirurgie mini-invasive, le déminage et les applications spatiales.
La technologie de capture de mouvement (MoCap) est à la base des systèmes de téléopération modernes. Elle permet l'enregistrement et la simulation précis des mouvements humains, rendant possible la numérisation d'individus ou de groupes entiers. Les mouvements capturés sont traités intelligemment et peuvent être utilisés pour animer des corps et leurs mouvements.
Comment fonctionne la technologie de capture de mouvement
La technologie de capture de mouvement suit et enregistre avec précision les mouvements du corps humain grâce à une combinaison spéciale équipée de marqueurs et de systèmes optiques. Ce procédé recueille des données de mouvement de toutes les parties du corps : bras, mains, jambes et pieds, mais aussi torse, hanches et tête. Ces données complètes sont ensuite transformées en commandes que des robots humanoïdes peuvent exécuter grâce à l’intelligence artificielle (IA).
Le système TWIST : une avancée majeure dans la téléopération robotique
Le système TWIST, développé conjointement par l'université Stanford et l'université Simon Fraser, représente une avancée significative dans le domaine de la téléopération des robots humanoïdes. Il combine la technologie de capture de mouvement avec des méthodes d'apprentissage par renforcement et par imitation.
« Nous souhaitons que les humanoïdes possèdent la même dextérité corporelle globale que les humains », explique Yanjie Ze, auteur principal de l'étude TWIST. « Imaginez une cuisine en désordre. Les humains peuvent saisir des objets à deux mains et utiliser leurs pieds pour déplacer des obstacles, comme un panier posé au sol. Ils peuvent également ouvrir une porte avec les côtés de leur corps ou leurs coudes. Nous voulons que les humanoïdes puissent en faire autant, en imitant directement les humains. »
Mise en œuvre technique de TWIST
Le système TWIST comprend trois composants essentiels :
- Acquisition et réorientation des données : grâce à une réorientation hors ligne et en ligne, les mouvements humains sont adaptés au robot. Ceci est réalisé par une transmission optimisée des positions et orientations articulaires 3D, l’orientation du corps et le placement des pieds étant également ajustés en temps réel.
- Formation des contrôleurs en simulation : TWIST utilise une approche en deux étapes avec une méthodologie « enseignant-élève » :
- Le contrôleur « Professeur » bénéficie d’un accès privilégié aux mouvements de référence futurs, ce qui lui permet de planifier des mouvements plus fluides.
- Le contrôleur « étudiant » est entraîné grâce à une combinaison d’apprentissage par renforcement (RL) et de clonage de comportement (BC) et ne peut accéder qu’aux informations de mouvement actuelles.
- Contrôle intégral du corps : Le contrôleur entraîné permet au robot d’utiliser tous ses degrés de liberté tout en maintenant son équilibre. Il en résulte des mouvements plus naturels et plus proches de ceux de l’humain.
Lors de tests effectués avec le robot humanoïde G1 d'Unitree, les chercheurs ont constaté qu'il était suffisant pour capturer les mouvements de l'ensemble du corps et les transférer avec précision aux articulations du robot, garantissant ainsi la coordination des mouvements des différents membres.
En lien avec ceci :
Défis liés à la téléopération humanoïde
Le développement de systèmes de téléopération pour robots humanoïdes pose aux chercheurs plusieurs défis complexes :
Combler le fossé de l'incarnation
Un défi majeur consiste à combler le fossé de l’incarnation, c’est-à-dire les différences anatomiques entre les humains et les robots. Du fait de leurs proportions, de la configuration de leurs articulations et de leurs propriétés physiques différentes de celles des humains, une transposition directe des mouvements humains est difficilement envisageable.
Équilibre et coordination corporelle globale
Le suivi complet du corps humain exige non seulement un contrôle précis de chaque articulation, mais aussi le maintien dynamique de l'équilibre lors de mouvements complexes. Les systèmes de téléopération classiques se concentrent souvent sur des mouvements isolés comme la locomotion ou la manipulation, tandis que TWIST permet des mouvements coordonnés de l'ensemble du corps.
Latence et retour sensoriel
Les systèmes de téléopération doivent surmonter des problèmes tels que la latence (délai temporel) et les limitations du retour sensoriel. Ces facteurs peuvent nuire à la synchronisation des actions humaines avec les réponses robotiques.
Diverses applications de la téléopération par capture de mouvement
La téléopération de robots humanoïdes basée sur la capture de mouvement ouvre de nombreuses possibilités d'application :
Situations dangereuses et opérations de sauvetage
Dans les environnements dangereux, des robots télécommandés peuvent remplacer les humains, par exemple pour le déminage. Entre 2015 et 2020, on a recensé environ 2 000 opérations de déminage par an au Royaume-Uni, ce qui souligne la nécessité de trouver des alternatives sûres.
tâches de manipulation complexes
Les robots humanoïdes peuvent effectuer des tâches de manipulation complexes à distance, par exemple dans des environnements non structurés comme les cuisines ou les ateliers. Leur capacité à coordonner l'utilisation de l'ensemble de leur corps, y compris les bras, les mains, les jambes et les pieds, offre des avantages cruciaux dans ce contexte.
Robotique sociale et expressivité
Pour les robots sociaux humanoïdes, la capacité d'effectuer des mouvements expressifs est essentielle. Le système OCRA (Optimization-based Customizable Retargeting Algorithm), développé au MPI, permet une cartographie de mouvement en temps réel entre différentes chaînes cinématiques, aboutissant à des mouvements intuitifs et naturels.
Approches alternatives et comparaison de différents systèmes
Outre TWIST, il existe diverses autres approches pour la téléopération basée sur la capture de mouvement :
Systèmes basés sur l'IMU
Certains chercheurs utilisent des systèmes de capture de mouvement basés sur des centrales inertielles (IMU), portables et moins coûteux que les systèmes optiques. Cette technologie est utilisée, par exemple, pour la téléopération de tâches de loco-manipulation, qui combinent locomotion et manipulation.
Approches basées sur les réseaux neuronaux
Une autre approche consiste à utiliser des réseaux de neurones pour établir une correspondance entre les données des capteurs de la combinaison de capture de mouvement et les positions angulaires des actionneurs du robot. Cette méthode ne nécessite aucun modèle analytique ou mathématique préalable du robot et peut donc être appliquée à diverses interactions homme-robot.
Systèmes pour des parties spécifiques du corps
Outre les systèmes de téléopération du corps entier, il existe également des systèmes spécialisés ciblant des parties spécifiques du corps, comme la capture de mouvement des deux mains. Ces systèmes jouent un rôle important dans le contrôle précis des robots bioniques bimanuels pour les tâches de manipulation délicates.
En lien avec ceci :
progrès récents et perspectives d'avenir
Le développement des systèmes de téléopération pour robots humanoïdes progresse rapidement. Outre TWIST, des chercheurs ont récemment présenté d'autres systèmes innovants :
H2O : De l'humain à l'humanoïde
Le système H2O permet la téléopération en temps réel d'un robot humanoïde complet à l'aide d'une simple caméra RVB. Il utilise un cadre basé sur l'apprentissage par renforcement et un processus de « simulation vers données » pour filtrer et sélectionner les mouvements adaptés aux robots humanoïdes.
Téléopération assistée par la réalité augmentée
Les chercheurs étudient également comment la réalité augmentée (RA) peut faciliter la téléopération basée sur la capture de mouvement. En visualisant une référence virtuelle du bras humain à côté du bras robotisé, les utilisateurs peuvent mieux appréhender la cartographie des mouvements.
IA et capture de mouvement : l’avenir de l’interaction homme-robot
La téléopération de robots humanoïdes par capture de mouvement a considérablement progressé ces dernières années. Des systèmes comme TWIST constituent une avancée significative en permettant aux robots d'effectuer en temps réel des mouvements complets du corps, semblables à ceux des humains.
L'association de la technologie de capture de mouvement et de méthodes d'IA avancées, telles que l'apprentissage par renforcement et le clonage comportemental, ouvre de nouvelles perspectives pour l'interaction homme-robot. Les robots humanoïdes peuvent désormais réaliser non seulement des mouvements isolés, mais aussi des actions coordonnées impliquant l'ensemble du corps, ce qui leur confère une dextérité et une expressivité accrues.
À l'avenir, ces technologies pourraient considérablement étendre l'utilisation des robots humanoïdes dans les environnements dangereux, pour les tâches de manipulation complexes et dans les contextes sociaux. L'amélioration continue de la précision, de la robustesse et de la convivialité des systèmes de téléopération contribuera à réduire davantage l'écart entre les capacités humaines et l'exécution robotique.
En lien avec ceci :
Votre partenaire mondial en marketing et développement commercial
☑️ Notre langue de travail est l'anglais ou l'allemand
☑️ NOUVEAU : Correspondance dans votre langue maternelle !
Konrad Wolfenstein
Mon équipe et moi-même sommes heureux de pouvoir vous accompagner en tant que conseiller personnel.
Vous pouvez me contacter en remplissant le formulaire de contact ici simplement m'appeler au +49 7348 4088 965. Mon adresse e-mail est wolfenstein@xpert.digital :ou
J'attends avec impatience notre projet commun.
