Aller au contenu principal
EgoWAM : des modèles monde-action au-delà des pixels grâce à des données humaines égocentriques en conditions réellesIllustration générée par IA
RecherchearXiv cs.RO 

EgoWAM : des modèles monde-action au-delà des pixels grâce à des données humaines égocentriques en conditions réelles

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs du laboratoire RL2 de Georgia Tech publient EgoWAM, un cadre de "World Action Models" qui exploite des vidéos égocentriques humaines filmées en conditions réelles pour entraîner des politiques de manipulation robotique. Le problème identifié: le clonage de comportement classique mélange des éléments transférables comme les objets, les scènes et la sémantique des tâches, avec des facteurs propres à l'humain (morphologie, mouvements de tête, style gestuel) qui n'ont rien à voir avec un bras robotique. Les auteurs testent trois cibles de prédiction du monde différentes, à backbone de politique, tête d'action et mélange de données identiques: la prédiction de pixels bruts, des caractéristiques visuelles DINO, et le flux de mouvement 3D. Sur trois tâches bimanuelles réelles, la prédiction pixel se révèle peu efficace pour le transfert humain-robot, tandis que DINO améliore la généralisation hors distribution (nouveaux objets, nouvelles scènes) jusqu'à 4 fois, et le flux 3D augmente la performance en distribution de 20 à 30%.

Le résultat tranche un débat central pour l'industrie robotique: peut-on utiliser la masse de vidéos humaines disponibles sur le web comme signal d'entraînement bon marché, à la manière dont les modèles VLA (vision-langage-action) type Pi-0 de Physical Intelligence ou GR00T de NVIDIA cherchent à le faire? EgoWAM montre que oui, mais pas en imitant les pixels tels quels: il faut une représentation qui abstrait l'apparence et isole les effets physiques indépendants de l'agent, en séparant le mouvement de caméra du changement réel de l'environnement. Pour les intégrateurs et laboratoires qui misent sur la vidéo à l'échelle pour réduire le coût de collecte de données robotiques, cela oriente concrètement le choix des représentations à privilégier plutôt que la simple accumulation de séquences pixel.

Le travail s'inscrit dans la lignée des modèles du monde appliqués à la robotique et des jeux de données égocentriques type Ego4D, en réponse aux limites connues du clonage de comportement pur. Le code, les tâches et les détails expérimentaux sont publiés sur gatech-rl2.github.io/egowam.github.io, sans annonce de déploiement industriel à ce stade: il s'agit d'un résultat de recherche contrôlé, pas d'un produit prêt à intégrer.

À lire aussi

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?
Illustration générée par IA
1arXiv cs.RO 

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?

Des chercheurs publient Ego4WAM, une étude systématique sur l'usage des données humaines égocentriques (captées en vue subjective, typiquement par caméra portée) pour entraîner des robots. Le travail s'appuie sur un cadre unifié de « world-action model » (WAM), dont le backbone reste fixe afin d'isoler l'effet de chaque variable. Quatre facteurs sont disséqués : l'alignement entre démonstrations humaines et tâche robotique, la durée des données, la diversité des tâches, et le type de supervision (avec ou sans étiquettes d'action), ainsi que la façon d'employer ces données dans le pipeline d'entraînement. Les résultats sont validés en boucle fermée sur robots réels et sur RoboDojo, un environnement d'évaluation.

RecherchePaper
1 source
Ego Guidance : améliorer l'apprentissage de politiques robotiques grâce à des vidéos égocentriques humaines sans actions
Illustration générée par IA
2arXiv cs.RO 

Ego Guidance : améliorer l'apprentissage de politiques robotiques grâce à des vidéos égocentriques humaines sans actions

Des chercheurs publient sur arXiv (2611.13685) Ego Guidance, une méthode qui exploite des vidéos égocentriques humaines, sans aucune annotation d'actions, pour améliorer l'apprentissage de politiques robotiques. Elle repose sur un modèle vision-langage (VLM) préentraîné et introduit SPAR (Shared Prediction on Action and Representation), une architecture de type MoT (Mixture-of-Transformers). Celle-ci prédit conjointement les actions et l'état visuel futur, ce dernier fournissant un signal d'apprentissage indépendant et complémentaire de la prédiction d'action. Les auteurs rapportent que les représentations apprises sur ces vidéos améliorent les performances sur des tâches robotiques hors distribution, avec des gains qui augmentent avec le volume de vidéos. Ils étudient aussi l'effet du choix des objectifs d'entraînement et de la curation des données.

RecherchePaper
1 source
Ego2Robot : synthèse de données robotiques à grande échelle à partir de données humaines égocentriques
Illustration générée par IA
3arXiv cs.RO 

Ego2Robot : synthèse de données robotiques à grande échelle à partir de données humaines égocentriques

Une équipe de recherche publie Ego2Robot, un pipeline conçu pour transformer des vidéos de manipulation humaine filmées à la première personne (égocentriques) en données d'entraînement robotique. La méthode combine trois étapes : le retargeting des actions humaines vers des trajectoires robotiques, la synthèse visuelle d'un bras robotique inséré dans la scène, et une curation de qualité à plusieurs niveaux pour filtrer les séquences exploitables. Le résultat annoncé est un jeu de données de 18 561 heures de données robotiques synthétisées, couvrant 15 morphologies de robots différentes, ce qui en ferait le plus grand corpus ego-vers-robot jamais constitué.

RecherchePaper
1 source
EgoTac : prédiction tactile en conditions réelles à partir d'une vision égocentrique
Illustration générée par IA
4arXiv cs.RO 

EgoTac : prédiction tactile en conditions réelles à partir d'une vision égocentrique

Des chercheurs présentent EgoTac, un modèle capable de prédire des signaux tactiles directement à partir de vidéos égocentriques humaines, sans capteur physique de toucher. Publié sur arXiv (2608.15060v1) en août 2026, le modèle est entraîné sur un corpus unifié de plus de 5,7 millions de paires image-tactile, combinant mesures de force continues et contacts binaires. En prédiction intra-domaine, EgoTac atteint une erreur de force moyenne inférieure à 0,06 newton. Sur des benchmarks de prédiction de contact hors domaine, il dépasse l'estimateur de contact considéré jusqu'ici comme référence de l'état de l'art.

RecherchePaper
1 source