El robot Pixel aprende a abrir la nevera y colgar una chaqueta

Sacar una bebida de la nevera exige abrir la puerta, acercarse y meter el brazo sin golpear lo que hay alrededor. Colgar una chaqueta añade una prenda que se dobla y cambia de forma entre las pinzas. Son dos de las tareas con las que Pixel, un robot de Carnegie Mellon University, pone a prueba su aprendizaje a partir de demostraciones humanas.

El equipo de Tony Tao, Jason Jingzhou Liu, Ruslan Salakhutdinov y Deepak Pathak presentó el sistema en dos trabajos publicados el 2 de noviembre en arXiv [en]. Pixel combina una base con ruedas, un torso articulado que puede subir y bajar, dos brazos y una cabeza móvil. Esa disposición le permite cambiar de altura para trabajar; las ruedas también imponen un límite claro: no puede subir escaleras.

La mano llega, pero el codo tropieza

Para enseñarle movimientos, una persona utiliza pinzas con sensores y cámaras, junto con un visor que registra el movimiento de la cabeza. Puede recoger ejemplos sin llevar consigo el robot. Hay un antecedente independiente en Universal Manipulation Interface, presentado en RSS 2024 [en]: unas pinzas portátiles permiten registrar cómo alguien manipula objetos y usar después esos datos para enseñar a una máquina.

Con Pixel, trasladar el gesto requiere tener en cuenta también los muebles. El estudio Pixel-UMI [en] explica un ejemplo revelador: para sacar un bote de pelotas de tenis de una caja profunda, el codo debe quedar por encima del borde. Copiar únicamente el recorrido de la pinza puede dejar el brazo atascado.

El sistema reconstruye el entorno con las imágenes de profundidad grabadas durante la demostración y calcula posturas compatibles con ese espacio. Así genera ejemplos de cómo colocar brazos, torso y base. Es un camino distinto al entrenamiento en simulación del robot COWBOY, también de Carnegie Mellon: aquí el punto de partida son movimientos humanos registrados en el entorno físico.

Aprender el gesto y corregir el contacto

Los investigadores evaluaron Pixel-UMI en cinco tareas, entre ellas colocar un ratón en su alfombrilla, montar una caja y colgar una chaqueta. Publican un 87 % de avance medio por etapas, no un 87 % de tareas completadas. El protocolo utiliza 20 intentos por experimento con cuatro configuraciones iniciales aleatorizadas.

Las tareas de montar la caja y colgar la chaqueta necesitaron además dos rondas de correcciones humanas sobre las ejecuciones del robot. La trayectoria registrada por una persona no contiene toda la información sobre las fuerzas necesarias para encajar una pestaña o manejar la tela.

La galería oficial distingue ejecuciones autónomas y teleoperadas [en]. Cargar el lavavajillas y poner en marcha un tocadiscos aparecen bajo control humano; no deben sumarse al repertorio autónomo por compartir vídeo de presentación. La web identifica también la velocidad de cada secuencia.

Pixel sigue siendo una plataforma de investigación en aprendizaje robótico. Los autores la describen como abierta, pero la página todavía anuncia la publicación de sus recursos con «Open Sourced Soon». Quien quiera reproducir los experimentos debe distinguir los artículos y las demostraciones ya disponibles del código y los archivos pendientes de liberar.