Publicado el: 18 de marzo de 2025 / Actualización de: 18 de marzo de 2025 - Autor: Konrad Wolfenstein
Control de pie humanoide: aprendiendo a levantarse con los anfitriones: el avance para los robots en la vida cotidiana de la vida: humanoide-standup.github.io
Más que simplemente levantarse: el anfitrión pavimenta el camino para robots humanoides autónomos y versátiles
De la simulación a la realidad: cómo los robots humanoides anfitriones enseñan al autoempleado
En el fascinante mundo de la robótica humanoide, en el que las máquinas imitan más y más habilidades humanas, una habilidad aparentemente simple pero fundamentalmente importante es un papel central: levantarse. Es una cuestión de los humanos, un movimiento inconsciente que realizamos innumerables veces todos los días. Pero para un robot humanoide, levantarse es un desafío complejo que requiere la interacción del control sofisticado, los sensores precisos y los algoritmos inteligentes. Sin embargo, esta habilidad no es solo una demostración impresionante de arte de ingeniería, sino también un requisito previo esencial para los robots humanoides encuentran su lugar en nuestra vida cotidiana y puede apoyarnos en una variedad de áreas de responsabilidad.
Levantarse de diferentes posiciones es mucho más que una buena función adicional. Es la base de la autonomía y la versatilidad de los robots humanoides. Imagine que un robot debería ayudarlo en el hogar, ayudar en la atención o trabajar en entornos peligrosos. En todos estos escenarios, la capacidad de establecerse independientemente de diferentes ubicaciones es de crucial importancia. Un robot que solo funciona en posiciones iniciales ideales y permanece indefensa cuando cae es simplemente inutilizable en el mundo real. Por lo tanto, el desarrollo de estrategias robustas y versátiles UP -UP es un paso clave para traer robots humanoides del laboratorio de investigación al mundo real.
Los enfoques anteriores para resolver este problema a menudo alcanzaron sus límites. Muchos se basaron en movimientos laboriosamente preprogramados que funcionaron en entornos controlados, pero rápidamente alcanzaron sus límites en una realidad impredecible. Estos sistemas rígidos eran inflexibles, no podían adaptarse a las condiciones cambiadas y fallar miserablemente cuando el robot aterrizó en una posición inesperada o estaba en superficies desiguales. Otros enfoques se basan en entornos de simulación complejos, cuyos resultados a menudo fueron difíciles de transferir a robots reales. El salto de la simulación a la realidad, la llamada "transferencia de simulación", resultó ser el obstáculo de muchos enfoques de investigación prometedores.
En este contexto, un marco innovador ingresa al escenario que podría cambiar fundamentalmente la forma en que pensamos en levantar los robots humanoides: anfitrión, abreviatura de control de la altura humanoide. El host es más que solo otro método; Es un cambio de paradigma. Desarrollado por un consorcio de universidades de renombre en Asia , incluida la Universidad de Shanghai Jiao Tong, la Universidad de Hong Kong, la Universidad de Zhejiang y la Universidad China de Hong Kong, los anfitriones rompe con enfoques tradicionales y toma una forma completamente nueva de enseñar robots humanoides, de una manera asombrosamente versilizada, robusta y realista.
Adecuado para:
Anfitrión: un marco que aprende de los errores
El núcleo de la innovación del huésped radica en el uso del aprendizaje de refuerzo (RL), un método de aprendizaje automático inspirado en la forma en que aprenden las personas y los animales. Imagina que enseñas a un niño en bicicleta. No le dan instrucciones detalladas para cada movimiento muscular, sino que simplemente dejen que lo pruebe. Si el niño cae allí, corrige sus movimientos en el siguiente intento. A través del intento y los errores, el niño aprende gradualmente a dominar la bicicleta a través de la retroalimentación positiva y negativa. El aprendizaje de refuerzo funciona de acuerdo con un principio similar.
En el caso del huésped, un robot humanoide se coloca en un entorno simulado y se enfrenta a la tarea de levantarse de diferentes posiciones. El robot actúa como un "agente" en esta área. Realiza acciones, en este caso los movimientos de sus articulaciones y su cuerpo. Para cada campaña, recibe una "recompensa" o "castigo", dependiendo de cuán exitoso fue. Si se levanta, recibe una recompensa positiva. Si cae o hace movimientos no deseados, recibe una recompensa negativa. A través de innumerables intentos de ganar experiencia y la optimización de sus estrategias, el robot aprende gradualmente a desarrollar la mejor estrategia posible.
La diferencia decisiva de los enfoques anteriores basados en RL es que el host aprende desde cero. No se utilizan movimientos preprogramados, no se utilizan demostraciones humanas u otros conocimientos anteriores. El robot comienza con una "hoja vacía" y desarrolla sus estrategias UP -para determinar de forma completamente independiente. Este es un progreso fundamental, ya que permite que el sistema encuentre soluciones que puedan ir mucho más allá de lo que los ingenieros humanos podrían haber creado. Además, el sistema lo hace extremadamente adaptable porque no se basa en suposiciones rígidas o sesgo humano.
La magia de la arquitectura multiprítica
Otro corazón de la innovación del huésped es la arquitectura multi-crítica. Para comprender eso, tenemos que lidiar brevemente con el funcionamiento del aprendizaje de refuerzo. Hay dos componentes centrales en los sistemas RL típicos: el actuador y el crítico. El actuador es, por así decirlo, el cerebro del robot que selecciona las acciones, es decir, decide qué movimientos deben llevarse a cabo. El crítico evalúa las acciones del actuador y le da comentarios. Él le dice al actuador si sus acciones fueron buenas o malas y cómo se pueden mejorar. En los enfoques RL tradicionales generalmente solo hay un crítico.
El anfitrión rompe esta convención y, en cambio, se basa en varios críticos especializados. Imagine que hay diferentes aspectos al levantarse que son importantes: mantener el equilibrio, tomar la postura correcta, coordinar las articulaciones, controlar el impulso giratorio. Cada uno de estos aspectos podría ser evaluado por su propio "experto". Esto es exactamente lo que hace que la arquitectura multiprítica. El anfitrión utiliza varias redes críticas, cada una de las cuales se especializa en un cierto aspecto del proceso de partida. Un crítico podría, por ejemplo, calificar el saldo, otro la coordinación conjunta y un tercero al impulso rotativo.
Esta división en críticos especializados ha demostrado ser extremadamente efectiva. Resuelve un problema que a menudo ocurre en los sistemas RL tradicionales: la interferencia negativa. Si un solo crítico intenta evaluar todos los aspectos de una tarea compleja al mismo tiempo, pueden ocurrir conflictos y confusión. Los diversos objetivos de aprendizaje pueden obstaculizarse y ralentizar el proceso de aprendizaje o incluso hacer que falle. La arquitectura multi-crítica evita este problema al desmontar la tarea de aprendizaje en subtareas más pequeñas y claras y usar un crítico especializado para cada tarea parcial. Luego, el actuador recibe comentarios de todos los críticos y aprende a combinar de manera óptima los diversos aspectos de levantarse.
Esta arquitectura multiprítica es particularmente relevante para la compleja tarea de levantarse. Levantarse requiere una variedad de habilidades motoras finas y un control preciso del impulso rotativo para mantener el equilibrio y no caer. A través de los críticos especializados, el anfitrión puede entrenar y optimizar específicamente estos diferentes aspectos de obtener up, lo que conduce a resultados significativamente mejores que los enfoques convencionales con un solo crítico. En sus estudios, los investigadores han demostrado que la arquitectura multiprítica permite un salto significativo en el rendimiento y permitió al huésped desarrollar estrategias de pie que no sean inalámbricas utilizando métodos convencionales.
Aprendizaje curricular: de lo simple a lo complejo
Otra clave para el éxito del anfitrión es el entrenamiento basado en el plan de estudios. Este método se basa en el proceso de aprendizaje humano, en el que aprendemos gradualmente habilidades complejas, comenzando con conceptos básicos simples y luego trabajando lentamente para nosotros. Piense en el ejemplo del ciclismo. Antes de que un niño aprenda a conducir sobre dos ruedas, puede aprender a mantener su equilibrio en un impulsor o conducir con bicicletas de soporte. Estos ejercicios preparatorios hacen que el proceso de aprendizaje posterior sea más fácil y garantiza un progreso más rápido y exitoso.
El anfitrión implementó un principio similar. El robot no se enfrenta a la tarea más difícil desde el principio, es decir, para levantarse en cualquier superficie desde cualquier posición. En cambio, está sujeto a un plan de estudios escalonado en el que las tareas se vuelven más complejas. El entrenamiento comienza con escenarios simples, por ejemplo, levantarse de una posición mentirosa en el piso plano. Tan pronto como el robot ha dominado bien esta tarea, las condiciones gradualmente se vuelven más difíciles. Hay nuevas posiciones iniciales sobre cómo levantarse de una posición sentada o de acostarse sobre una pared. La superficie también es variada, desde el suelo nivelado hasta las superficies ligeramente desiguales y el terreno más exigente.
Este entrenamiento basado en el plan de estudios tiene varias ventajas. Por un lado, permite una exploración más eficiente del espacio de solución. El robot inicialmente se centra en los aspectos básicos de levantarse y aprende a dominarlos en escenarios simples. Esto acelera el proceso de aprendizaje y el robot alcanza un buen nivel de rendimiento más rápido. Por otro lado, el plan de estudios mejora la generalización del modelo. Al confrontar gradualmente el robot con tareas más variadas y complejas, aprende a adaptarse a diferentes situaciones y a desarrollar estrategias robustas de UP -UP que funcionan no solo en ideales sino también en entornos reales. La variedad de condiciones de entrenamiento es crucial para la robustez del sistema en el mundo real, donde las superficies impredecibles y las posiciones iniciales son la regla y no la excepción.
Adecuado para:
Realidad a través de restricciones de movimiento
Otro aspecto importante del host es tener en cuenta la aplicabilidad real. Las simulaciones son una herramienta poderosa para entrenar robots, pero el mundo real es desigual más complejo e impredecible. Para dominar con éxito el salto de la simulación a la realidad, el host implementa dos restricciones significativas en el movimiento que aseguran que las estrategias aprendidas también se puedan implementar en hardware real y no dañen el robot.
La primera restricción es la regularización de la suavidad. Esto tiene como objetivo reducir los movimientos oscilantes. En simulaciones, los robots pueden llevar a cabo movimientos que serían problemáticos en la realidad. Por ejemplo, podrían hacer movimientos cecinos y temblorosos que podrían ser perjudiciales para el hardware físico o conducirían a un comportamiento inestable. La regularización de la suavidad asegura que los movimientos aprendidos sean más suaves y fluidos, lo que no solo es más suave para el hardware, sino que también conduce a un comportamiento de pie más natural y estable.
La segunda restricción es el límite de velocidad de movimiento implícito. Esto evita movimientos demasiado rápidos o abruptos. Aquí, también, las simulaciones a menudo representan condiciones idealizadas en las que los robots podrían realizar movimientos con velocidades poco realistas. Sin embargo, en el mundo real, tales movimientos abruptos pueden provocar daños al robot, por ejemplo, sobrecargar los motores o daños a las articulaciones. El límite de velocidad de movimiento asegura que los movimientos aprendidos permanezcan dentro de los límites físicos del hardware real y no pongan en peligro al robot.
Estas restricciones al movimiento son cruciales para la transferencia SIM a Real. Se aseguran de que las estrategias aprendidas en la simulación no solo funcionen teóricamente, sino que también se pueden implementar prácticamente en robots reales sin sobrecargar o dañar el hardware. Son un paso importante para cerrar la brecha entre la simulación y la realidad y preparar robots humanoides para su uso en el mundo real.
La prueba práctica: host en la Unitree G1
La prueba real para cada método de control de robots es la implementación práctica en hardware real. Para demostrar el rendimiento del huésped, los investigadores transfirieron las estrategias de control aprendidas en la simulación al robot humanoide Unitree G1. El noteo G1 es una plataforma humanoide avanzada que se caracteriza por su agilidad, robustez y construcción realista. Es una cama de prueba ideal para evaluar las habilidades del anfitrión en el mundo real.
Los resultados de las pruebas prácticas fueron impresionantes y confirmaron la efectividad del enfoque del huésped. El robot G1 sin equipo, controlado por el huésped, mostró notables capacidades de impacto de una amplia variedad de posiciones. Pudo levantarse con éxito de una posición mentirosa, de una posición sentada, de las rodillas e incluso de posiciones en las que estaba apoyado contra objetos o estaba en la superficie desigual. La transmisión de las habilidades simuladas al mundo real fue casi suave, lo que subraya la alta calidad de la transferencia SIM a Real del huésped.
Particularmente notable es la robustez de los trastornos que demostró la Unitree G1 controlada por el host. En las pruebas experimentales, el robot se enfrentó a fuerzas externas, por ejemplo, por golpes o golpes. Se enfrentó a obstáculos que lo bloquearon. Incluso estaba cargado de cargas pesadas (hasta 12 kg) para probar su estabilidad y capacidad de carga. En todas estas situaciones, el robot mostró una resistencia notable y pudo establecerse con éxito sin perder o derrocar el equilibrio.
En un impresionante video de demostración, la robustez del anfitrión se volvió particularmente clara. Allí se podía ver cómo una persona se topó con el robot G1 Unitree durante el proceso de partida. A pesar de estos trastornos masivos, el robot no pudo ser eliminado. Corrió sus movimientos en tiempo real, adaptó los efectos inesperados y finalmente se levantó de forma segura y estable. Esta demostración ilustra de manera impresionante la aplicabilidad práctica y la confiabilidad del sistema de host en entornos reales e impredecibles.
Adecuado para:
Estudios de ablación: la interacción de los componentes
Para examinar la importancia de los componentes individuales de los huéspedes con mayor precisión, los investigadores llevaron a cabo extensos estudios de ablación. En estos estudios, se eliminaron o cambiaron elementos individuales de los marcos huésped para analizar su influencia en el rendimiento general. Los resultados de estos estudios proporcionaron información valiosa sobre el funcionamiento de los huéspedes y confirmaron la importancia de las innovaciones centrales.
Un resultado central de los estudios de ablación fue confirmar el papel decisivo de la arquitectura multi-crítica. Cuando los investigadores modificaron el sistema de tal manera que solo usó un solo crítico, el sistema falló lamentablemente. Ya no podía aprender riesgos exitosos y el robot permaneció indefenso en la mayoría de los casos. Este resultado subraya la importancia central de la arquitectura multi-crítica para el desempeño del huésped y confirma que los críticos especializados realmente hacen una contribución significativa al éxito del aprendizaje.
La capacitación basada en el plan de estudios también demostró ser un factor de éxito importante en los estudios de ablación. Cuando los investigadores reemplazaron el plan de estudios mediante un entrenamiento aleatorio sin un aumento gradual en la dificultad, el rendimiento del sistema se deterioró. El robot aprendió más lentamente, alcanzó un nivel más bajo de rendimiento y fue menos robusto en comparación con varias posiciones y sustratos iniciales. Esto confirma la suposición de que el entrenamiento basado en el plan de estudios mejora la eficiencia del proceso de aprendizaje y aumenta la generalización del modelo.
Las restricciones de movimiento implementadas también contribuyeron significativamente a la producción total, especialmente con respecto a la aplicabilidad práctica. Cuando los investigadores eliminaron la regularización de la suavidad y el límite de velocidad de movimiento, el robot aún aprendió en la simulación, pero en realidad eran menos estables y conducían con más frecuencia a caer o conducir a movimientos indeseables y desagradables. Esto muestra que las restricciones al movimiento restringen ligeramente la flexibilidad del sistema en la simulación, pero son esenciales en el mundo real para garantizar un comportamiento robusto, seguro y de hardware.
Anfitrión: un trampolín para robots humanoides versátiles
La capacidad de levantarse de diferentes posiciones puede parecer trivial a primera vista, pero en realidad es una pieza fundamental para el desarrollo de robots humanoides realmente versátiles y autónomos. Es la base para la integración en sistemas de locomoción y manipulación más complejos y abre una variedad de nuevas aplicaciones. Imagine que un robot no solo puede levantarse, sino también moverse a la perfección entre diferentes tareas: levantarse del sofá, ir a la mesa, agarrar objetos, evitar obstáculos y levantarse cuando tropieza. Este tipo de interacción perfecta con el medio ambiente, que es una cuestión de los humanos, es el objetivo de la robótica humanoide y el anfitrión nos acerca un paso decisivo a este objetivo.
El anfitrión podría usarse con el anfitrión en el futuro en una variedad de áreas en las que su forma humana y su capacidad para interactuar con el entorno humano son ventajosas. En la enfermería, podrían apoyar a las personas mayores o enfermas, ayudarlos a levantarse y sentarse, suficientes objetos o ayudar en el hogar. En el área de servicio, podrían usarse en hoteles, restaurantes o tiendas para operar clientes, transportar productos o proporcionar información. En entornos peligrosos, como desastres o en plantas industriales, podrían asumir tareas que son demasiado arriesgadas o demasiado agotadoras para las personas.
Además, la capacidad de levantarse también es esencial para la producción obstinada. Las caídas son un problema común con los robots humanoides, especialmente en entornos desiguales o dinámicos. Un robot que no puede levantarse de forma independiente después de una caída está rápidamente indefenso en tales entornos. Host ofrece una solución aquí porque permite que el robot reaparezca de ubicaciones inesperadas y continúe con su tarea. Esto aumenta la fiabilidad y la seguridad de los robots humanoides y los hace herramientas más robustas y más prácticas.
El huésped pavimenta el camino para una nueva generación de robots humanoides
El host es más que un desarrollo adicional de los métodos existentes; Es un avance significativo en el control de los robots humanoides. Mediante el uso innovador del aprendizaje de refuerzo con arquitectura múltiple y capacitación basada en el plan de estudios, supera las restricciones de los enfoques anteriores y permite a los robots defender una notable variedad de posiciones y en una amplia variedad de superficies. La transferencia exitosa de la simulación al robot real, demuestra en el Unitre G1, y la robustez impresionante a los trastornos subraya el enorme potencial de este método para aplicaciones prácticas.
El anfitrión es un paso importante en el camino hacia los robots humanoides que no solo impresionan en el laboratorio, sino que también pueden ofrecer un valor agregado real en el mundo real. Nos acerca a la visión de un futuro en el que los robots humanoides se integran perfectamente en nuestra vida cotidiana, nos apoyan en diversas tareas y hacen que nuestras vidas sean más cómodas, más cómodas y eficientes. Con tecnologías como el huésped, la idea una vez futurista de los robots humanoides que nos acompañan en nuestra vida diaria se convierte en una realidad cada vez más tangible.
Adecuado para:
Su socio global de marketing y desarrollo empresarial
☑️ Nuestro idioma comercial es inglés o alemán.
☑️ NUEVO: ¡Correspondencia en tu idioma nacional!
Konrad Wolfenstein
Estaré encantado de servirle a usted y a mi equipo como asesor personal.
Puedes ponerte en contacto conmigo rellenando el formulario de contacto o simplemente llámame al +49 89 89 674 804 (Múnich) . Mi dirección de correo electrónico es: wolfenstein ∂ xpert.digital
Estoy deseando que llegue nuestro proyecto conjunto.
