Il sistema TWIST: la tecnologia di motion capture (MoCap) rivoluziona il controllo dei robot umanoidi – Immagine: Xpert.Digital
Sistema di imitazione telecomandato dell'intero corpo: l'interazione uomo-robot in tempo reale cambierà la robotica
Movimenti umani per robot: il potenziale del sistema TWIST
Gli scienziati hanno compiuto un passo avanti significativo nello sviluppo di sistemi di teleoperazione per robot umanoidi. Utilizzando la tecnologia di motion capture, i robot umanoidi possono ora eseguire movimenti simili a quelli umani in tempo reale. Questa innovazione consente un controllo preciso e intuitivo dei robot, rappresentando un passo importante verso lo sviluppo di robot con destrezza che coinvolgono tutto il corpo. Particolarmente degno di nota è il nuovo sistema TWIST (Teleoperated Whole-Body Imitation System), che trasmette i movimenti completi del corpo di una persona a un robot, inaugurando così una nuova era nell'interazione uomo-robot.
Adatto a:
I fondamenti della teleoperazione basata sulla cattura del movimento
La teleoperazione si riferisce al controllo remoto di macchine e riveste particolare importanza nel campo della robotica. I sistemi telerobotici vengono utilizzati quando lo spazio di lavoro è troppo lontano, troppo piccolo, troppo grande o troppo pericoloso per gli esseri umani. Il disaccoppiamento spaziale tra uomo (operatore) e robot (teleoperatore) consente applicazioni in vari campi, come la chirurgia mini-invasiva, lo sminamento e le applicazioni spaziali.
La tecnologia di motion capture (MoCap) costituisce la base dei moderni sistemi di teleoperazione. Questa tecnologia consente registrazioni e simulazioni dettagliate del movimento umano, consentendo la digitalizzazione di singoli individui o interi gruppi di persone. I movimenti catturati vengono elaborati in modo intelligente e possono essere utilizzati per animare i corpi e i loro movimenti.
Come funziona la tecnologia di motion capture
La tecnologia di motion capture traccia e registra con precisione i movimenti del corpo di persone reali utilizzando una speciale tuta dotata di marcatori e sistemi ottici. Questo processo raccoglie dati sui movimenti di tutte le parti del corpo: non solo braccia, mani, gambe e piedi, ma anche busto, fianchi e testa. Questi dati completi vengono poi trasformati in comandi che i robot umanoidi possono eseguire utilizzando l'intelligenza artificiale (IA).
Il sistema TWIST: una svolta nella teleoperazione robotica
Il sistema TWIST, sviluppato presso la Stanford University e la Simon Fraser University, rappresenta un significativo progresso nella teleoperazione dei robot umanoidi. Combina la tecnologia di motion capture con metodi di apprendimento per rinforzo e apprendimento per imitazione.
"Vogliamo che gli umanoidi possiedano lo stesso livello di destrezza corporea degli umani", spiega Yanjie Ze, autore principale dello studio TWIST. "Immaginate una cucina disordinata. Gli umani possono tenere gli oggetti con entrambe le mani e usare i piedi per spostare gli ostacoli, come un cesto sul pavimento. Possono anche aprire la porta con i lati del corpo o con i gomiti. Vogliamo che gli umanoidi siano in grado di fare lo stesso imitando direttamente gli umani"
Implementazione tecnica di TWIST
Il sistema TWIST è composto da tre componenti essenziali:
- Acquisizione dati e retargeting: attraverso il retargeting offline e online, i movimenti umani vengono adattati al robot. Questo risultato si ottiene tramite la trasmissione ottimizzata delle posizioni e degli orientamenti delle articolazioni 3D, con orientamento del corpo e posizionamento dei piedi regolati in tempo reale.
- Addestramento del controllore nella simulazione: TWIST utilizza un approccio in due fasi con una metodologia “insegnante-studente”:
- Il controllore “Insegnante” ha accesso privilegiato ai movimenti di riferimento futuri, il che gli consente di pianificare movimenti più fluidi.
- Il controllore “studente” viene addestrato attraverso una combinazione di apprendimento per rinforzo (RL) e clonazione del comportamento (BC) e può accedere solo alle informazioni sul movimento attuale.
- Controllore full-body: il controllore addestrato consente al robot di utilizzare tutti i gradi di libertà mantenendo l'equilibrio. Ciò si traduce in movimenti più naturali e simili a quelli umani.
Nei test condotti con il robot umanoide G1 di Unitree, i ricercatori hanno scoperto che era sufficiente catturare i movimenti dell'intero corpo e trasferirli con precisione alle articolazioni del robot, garantendo così il coordinamento dei movimenti dei diversi arti.
Adatto a:
Sfide nella teleoperazione umanoide
Lo sviluppo di sistemi di teleoperazione per robot umanoidi pone i ricercatori di fronte a diverse sfide complesse:
Colmare il divario di incarnazione
Una sfida fondamentale è colmare il "divario di incarnazione", ovvero le differenze anatomiche tra esseri umani e robot. Poiché i robot hanno proporzioni, configurazioni articolari e proprietà fisiche diverse dagli esseri umani, il trasferimento diretto dei movimenti umani non è facilmente possibile.
Equilibrio e coordinazione di tutto il corpo
Il tracciamento dell'intero corpo umanoide richiede non solo il controllo preciso delle singole articolazioni, ma anche il mantenimento dinamico dell'equilibrio durante movimenti complessi. I sistemi di teleoperazione convenzionali spesso si concentrano solo su movimenti isolati come la locomozione o la manipolazione, mentre TWIST consente movimenti coordinati dell'intero corpo.
Latenza e feedback sensoriale
I sistemi di teleoperazione devono superare problemi come la latenza (ritardo temporale) e le limitazioni nel feedback sensoriale. Questi fattori possono compromettere la sincronizzazione delle azioni umane con le risposte robotiche.
Diverse applicazioni della teleoperazione con cattura del movimento
La telegestione dei robot umanoidi basata sulla cattura del movimento apre numerose possibilità applicative:
Situazioni pericolose e operazioni di soccorso
In ambienti pericolosi, i robot telecomandati possono essere utilizzati al posto degli esseri umani, ad esempio per la bonifica di ordigni esplosivi (EOD). Tra il 2015 e il 2020, nel solo Regno Unito si sono svolte circa 2.000 operazioni EOD all'anno, il che evidenzia la necessità di alternative sicure.
Compiti di manipolazione complessi
I robot umanoidi possono svolgere compiti di manipolazione complessi tramite teleoperazione, ad esempio in ambienti non strutturati come cucine o officine. La loro capacità di coordinare l'uso di tutto il corpo, inclusi braccia, mani, gambe e piedi, offre vantaggi cruciali in questo contesto.
Robotica sociale ed espressività
Per i robot sociali umanoidi, la capacità di eseguire movimenti espressivi è essenziale. Il sistema OCRA (Optimization-based Customizable Retargeting Algorithm), sviluppato presso l'MPI, consente la mappatura del movimento in tempo reale tra diverse catene cinematiche, dando vita a movimenti intuitivi e simili a quelli umani.
Approcci alternativi e confronto di sistemi diversi
Oltre a TWIST, esistono vari altri approcci per la teleoperazione basata sulla cattura del movimento:
Sistemi basati su IMU
Alcuni ricercatori utilizzano sistemi di motion capture basati su IMU (Inertial Measurement Unit), portatili e meno costosi dei sistemi ottici. Questa tecnologia viene utilizzata, ad esempio, per la telegestione di compiti di locomozione, che combinano locomozione e manipolazione.
Approcci basati sulle reti neurali
Un approccio alternativo utilizza reti neurali per apprendere una mappatura tra i dati dei sensori della tuta di motion capture e le posizioni angolari degli attuatori del robot. Questo metodo non richiede un modello analitico o matematico preliminare del robot e può quindi essere applicato a diverse coppie uomo-robot.
Sistemi per parti specifiche del corpo
Oltre ai sistemi di teleoperazione che coprono l'intero corpo, esistono anche sistemi specializzati che si concentrano su parti specifiche del corpo, come la cattura del movimento a due mani. Questi sistemi svolgono un ruolo importante nel controllo preciso dei robot bionici bimanuali per compiti di manipolazione delicati.
Adatto a:
Progressi recenti e prospettive future
Lo sviluppo di sistemi di teleoperazione per robot umanoidi sta progredendo rapidamente. Oltre a TWIST, i ricercatori hanno recentemente presentato altri sistemi innovativi:
H2O: da umano a umanoide
Il sistema H2O consente la telegestione in tempo reale di un robot completamente umanoide utilizzando solo una telecamera RGB. Utilizza un frame basato su RL e un processo "sim-to-data" per filtrare e selezionare i movimenti più adatti per i robot umanoidi.
Teleoperazione supportata dalla realtà aumentata
I ricercatori stanno anche studiando come la realtà aumentata (RA) possa supportare la teleoperazione basata sulla cattura del movimento. Visualizzando un riferimento virtuale del braccio umano accanto al braccio robotico, gli utenti possono comprendere meglio la mappatura del movimento.
Intelligenza artificiale e motion capture: il futuro dell'interazione uomo-robot
La teleoperazione basata sulla cattura del movimento dei robot umanoidi ha fatto notevoli progressi negli ultimi anni. Sistemi come TWIST rappresentano un significativo passo avanti, consentendo ai robot di eseguire movimenti di tutto il corpo simili a quelli umani in tempo reale.
La combinazione di tecnologia di motion capture e metodi di intelligenza artificiale avanzati come l'apprendimento per rinforzo e la clonazione comportamentale apre nuove possibilità per l'interazione uomo-robot. I robot umanoidi possono ora eseguire non solo movimenti isolati, ma anche azioni coordinate che coinvolgono tutto il corpo, consentendo una maggiore destrezza ed espressività.
In futuro, queste tecnologie potrebbero ampliare significativamente l'uso dei robot umanoidi in ambienti pericolosi, per compiti di manipolazione complessi e in contesti sociali. Il continuo miglioramento della precisione, della robustezza e della facilità d'uso dei sistemi di teleoperazione contribuirà a ridurre ulteriormente il divario tra le capacità umane e l'esecuzione robotica.
Adatto a:
Il tuo partner globale per il marketing e lo sviluppo aziendale
☑️ La nostra lingua commerciale è l'inglese o il tedesco
☑️ NOVITÀ: corrispondenza nella tua lingua nazionale!
Konrad Wolfenstein
Sarei felice di servire te e il mio team come consulente personale.
Potete contattarmi compilando il modulo di contatto o semplicemente chiamandomi al numero +49 89 89 674 804 (Monaco) . Il mio indirizzo email è: wolfenstein ∂ xpert.digital
Non vedo l'ora di iniziare il nostro progetto comune.
