RoboReact : distillation de compétences à base d'agents à partir de vidéos égocentriques générées pour une manipulation généralisable du corps entier

RoboReact est une méthode qui génère automatiquement des compétences de manipulation pour robots humanoïdes à partir d'une seule observation égocentrique RGB-D, sans télé-opération ni démonstration humaine. Un modèle génératif vidéo synthétise des séquences de manipulation, dont le système extrait des images clés d'interaction par reconstruction 3D préservant la géométrie du contact main-objet, avant de les retargeter vers des plateformes humanoïdes à haut nombre de degrés de liberté (DoF). Pour combler l'écart entre le geste imaginé et l'exécution physique, RoboReact recale en ligne la position de l'objet et s'appuie sur une boucle de raffinement guidée par un modèle vision-langage, qui corrige le geste en cas d'écart géométrique. Les compétences affinées sont exécutées par un contrôleur corps-entier. Sur des robots réels, les auteurs rapportent une généralisation à des configurations d'objets variées et une récupération après perturbation, sans télé-opération.

L'enjeu dépasse la simple prouesse technique : collecter des démonstrations diverses pour entraîner des robots humanoïdes coûte cher, entre matériel, télé-opération et annotation, ce qui freine les modèles vision-langage-action (VLA) génériques du type Pi-0, GR00T N2 ou Helix. En transformant une vidéo générée par IA en compétence exécutable sur un robot réel sans capture de mouvement humain, RoboReact propose une voie pour multiplier les données d'entraînement à moindre coût, un enjeu central pour combler l'écart entre simulation et réel. Il s'agit toutefois d'une publication de recherche (arXiv, catégorie "new"), pas d'un produit commercial ni d'un déploiement industriel : le papier ne chiffre pas précisément le nombre de tâches ou d'objets testés, ce qui invite à la prudence sur la portée réelle de la généralisation annoncée.

Cette approche s'inscrit dans une tendance large : utiliser des modèles génératifs vidéo comme source de données d'entraînement pour la robotique, en alternative aux pipelines de collecte par télé-opération ou capture de mouvement, coûteux à faire passer à l'échelle. Elle rejoint les efforts des laboratoires développant des modèles VLA généralistes, tous en quête d'un moyen de réduire la dépendance aux démonstrations humaines directes. Le papier ne cite aucun partenaire industriel ni site de déploiement ; les suites attendues sont l'extension à davantage de tâches et une validation indépendante avant tout usage en conditions réelles.