Aller au contenu principal
Ego Guidance : améliorer l'apprentissage de politiques robotiques grâce à des vidéos égocentriques humaines sans actionsIllustration générée par IA
RecherchearXiv cs.RO 

Ego Guidance : améliorer l'apprentissage de politiques robotiques grâce à des vidéos égocentriques humaines sans actions

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (2611.13685) Ego Guidance, une méthode qui exploite des vidéos égocentriques humaines, sans aucune annotation d'actions, pour améliorer l'apprentissage de politiques robotiques. Elle repose sur un modèle vision-langage (VLM) préentraîné et introduit SPAR (Shared Prediction on Action and Representation), une architecture de type MoT (Mixture-of-Transformers). Celle-ci prédit conjointement les actions et l'état visuel futur, ce dernier fournissant un signal d'apprentissage indépendant et complémentaire de la prédiction d'action. Les auteurs rapportent que les représentations apprises sur ces vidéos améliorent les performances sur des tâches robotiques hors distribution, avec des gains qui augmentent avec le volume de vidéos. Ils étudient aussi l'effet du choix des objectifs d'entraînement et de la curation des données. Le résumé fourni ne donne ni taux de réussite, ni taille des jeux de données, ni plateforme robotique précise.

L'enjeu est celui du goulot d'étranglement des données dans les modèles VLA (vision-language-action). Les démonstrations téléopérées coûtent cher et restent limitées en volume, alors que les vidéos égocentriques humaines sont abondantes et bon marché. Si les gains se confirment à grande échelle, cela soutient l'idée qu'on peut faire monter en puissance la généralisation sans multiplier les heures de téléopération, ce qui compte pour les intégrateurs confrontés à la variabilité des environnements. Le point à surveiller est la robustesse de l'effet : un travail académique de ce type ne dit rien, à ce stade, des tâches réellement évaluées, de l'écart entre simulation et robot réel, ni du coût de calcul de la double prédiction.

Cette approche s'inscrit dans une tendance de fond : plusieurs laboratoires et industriels, de Physical Intelligence à NVIDIA avec GR00T, ainsi que des acteurs comme Figure ou Tesla, misent sur des données humaines pour compléter la téléopération. Les travaux antérieurs sur la prédiction d'états visuels futurs et les modèles du monde vont dans le même sens. La suite logique consistera à comparer SPAR à ces approches sur des benchmarks communs, à vérifier le passage à l'échelle avec des corpus de plusieurs milliers d'heures et à tester la méthode sur des manipulations industrielles réelles. À ce jour, il s'agit d'une préprint de recherche, sans produit ni déploiement associé.

À lire aussi

WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques
Illustration générée par IA
1arXiv cs.RO 

WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques

Des chercheurs présentent WARPED, un cadre logiciel qui génère des observations « vue poignet » et les actions associées à partir de simples vidéos de démonstrations humaines, afin d'entraîner des politiques visuomotrices de robot. Le système n'exige qu'une caméra RGB monoculaire portée à hauteur des yeux. Il n'utilise ni configuration multicaméra, ni capteur de profondeur, ni matériel dédié. La chaîne de traitement comporte trois étapes. Des modèles de fondation de vision initialisent d'abord la scène interactive. Un module d'interaction main-objet suit ensuite la main et l'objet manipulé, puis transpose ces trajectoires vers un effecteur de robot (retargeting). Enfin, du Gaussian Splatting produit des images photoréalistes du point de vue du poignet, qui servent à entraîner directement la politique. Les auteurs annoncent des taux de réussite comparables à ceux de la téléopération sur quatre des cinq tâches d'objets rigides sur table, ainsi que sur une tâche à objet articulé. La collecte de données demande 4 à 9 fois moins de temps. Le texte ne précise ni le robot, ni le nombre de démonstrations, ni les modèles de politique employés. Pour l'industrie, l'intérêt tient au coût de la donnée, principal goulot des politiques apprises par imitation. La téléopération reste la référence, mais elle mobilise du matériel et des opérateurs. Filmer un humain avec une seule caméra rend la collecte beaucoup plus simple à déployer. Le point le plus utile pour les intégrateurs est le rendu depuis le poignet. Les caméras embarquées sur l'effecteur sont aujourd'hui très répandues dans les systèmes de manipulation. Or les méthodes d'apprentissage depuis l'humain se limitent en général à des vues tierces ou égocentriques, qui diffèrent de ce que voit le robot. Les résultats restent toutefois à nuancer. Ils portent sur cinq tâches de table, avec une seule tâche articulée, et la mention « comparable à la téléopération » ne vaut que pour une partie des essais. Une des tâches rigides n'atteint donc pas ce niveau. Rien n'indique non plus une validation en environnement industriel, ni sur des tâches dextres ou riches en contacts. Ces travaux s'inscrivent dans la recherche sur l'apprentissage par démonstration humaine, qui cherche à contourner la téléopération. Ils s'appuient sur deux briques récentes : les modèles de fondation de vision pour reconstruire la scène, et le Gaussian Splatting pour le rendu de nouveaux points de vue. L'article, publié sur arXiv sous la référence 2604.10809 et ici en version 2 (v2), est un travail académique. Il ne s'agit ni d'un produit ni d'un déploiement commercial. Les prochaines étapes à surveiller sont la validation sur davantage de tâches, de robots et de scènes encombrées, ainsi que l'éventuelle publication du code, qui conditionnera l'adoption par d'autres laboratoires. Elles détermineront si la méthode sort du cadre de la table de laboratoire.

RecherchePaper
1 source
EgoForesight : passer à l'échelle l'apprentissage de politiques avec des actions égocentriques bruitées
Illustration générée par IA
2arXiv cs.RO 

EgoForesight : passer à l'échelle l'apprentissage de politiques avec des actions égocentriques bruitées

EgoForesight, un framework vision-langage-action (VLA) décrit dans un preprint arXiv (2610.31845), cherche à résoudre un problème central de l'apprentissage de politiques robotiques: combiner des démonstrations robot, fiables mais coûteuses à collecter, avec des vidéos égocentriques (prises du point de vue d'un humain), bien plus abondantes mais dont les actions, reconstruites par estimation de mouvement puis retargetées vers un robot, sont bruitées. Le système apprend conjointement des deux sources en réduisant l'influence des labels d'action peu fiables. Une corruption conditionnée par la fiabilité répartit la supervision d'action selon des niveaux de bruit propres à chaque source, et une régression pondérée par la fiabilité module la contribution de chacune. Un enseignant à moyenne mobile exponentielle (EMA) observe la scène courante et le futur propre pour encoder la structure utile à l'action, puis supervise une couche plus précoce d'un étudiant qui ne reçoit qu'un futur corrompu. Selon les auteurs, à 30 000 heures de données de pré-entraînement, l'erreur quadratique moyenne (MSE) d'action en boucle ouverte sur robot réel baisse de 20,5 % et le taux de succès few-shot sur RoboCasa gagne 8,1 points par rapport à la référence. Après post-entraînement, le modèle affiche de bonnes performances en manipulation dextre, en simulation et en réel. L'intérêt pour l'industrie tient à la question du passage à l'échelle: la donnée de téléopération reste le goulot d'étranglement du développement des VLA, et l'humain filmé à la première personne est la source la plus économique pour élargir tâches et environnements. Le travail suggère qu'on peut exploiter ces vidéos sans exiger des labels propres, en traitant le bruit comme une propriété à pondérer plutôt qu'à éliminer, avec des courbes d'échelle plus pentues que la baseline sur la plage testée. Prudence néanmoins: il s'agit d'un preprint sans revue par les pairs. Les gains sont mesurés en MSE en boucle ouverte, une métrique qui prédit imparfaitement le succès en exécution fermée. Le gain RoboCasa est modeste en valeur absolue, la baseline n'est pas précisée dans le résumé, et l'extrapolation des pentes au-delà de la plage testée n'est pas démontrée. Aucune donnée de déploiement industriel n'est avancée. Le contexte est celui d'une course à la donnée humaine. Les pré-entraînements sur vidéos égocentriques et les modèles de type Pi-0, GR00T ou Helix cherchent tous à réduire la dépendance à la téléopération, tandis que des acteurs comme Tesla ou Figure misent sur l'observation humaine à grande échelle. Les difficultés de retargeting, notamment pour les mains dextres, restent le principal verrou, ce que ce travail adresse par la pondération plutôt que par une meilleure reconstruction. La suite dépendra de la publication du code et des poids, d'une validation sur plusieurs embodiments et d'une comparaison directe avec les méthodes concurrentes de co-entraînement humain-robot.

RecherchePaper
1 source
Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?
Illustration générée par IA
3arXiv cs.RO 

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?

Des chercheurs publient Ego4WAM, une étude systématique sur l'usage des données humaines égocentriques (captées en vue subjective, typiquement par caméra portée) pour entraîner des robots. Le travail s'appuie sur un cadre unifié de « world-action model » (WAM), dont le backbone reste fixe afin d'isoler l'effet de chaque variable. Quatre facteurs sont disséqués : l'alignement entre démonstrations humaines et tâche robotique, la durée des données, la diversité des tâches, et le type de supervision (avec ou sans étiquettes d'action), ainsi que la façon d'employer ces données dans le pipeline d'entraînement. Les résultats sont validés en boucle fermée sur robots réels et sur RoboDojo, un environnement d'évaluation. Les auteurs ne communiquent dans le résumé ni volumes en heures, ni taux de réussite chiffrés, ni plateformes robotiques précises. Trois constats ressortent. Les démonstrations humaines alignées améliorent nettement la généralisation hors distribution et réduisent la quantité de données robot nécessaires sur la tâche cible. La durée et la diversité des tâches n'agissent pas sur les mêmes capacités en aval. Enfin, une supervision vidéo seule, sans action annotée, reste efficace et constitue une bonne base avant un entraînement vidéo-action. Il s'agit d'un preprint arXiv (v1), non relu par les pairs, et l'absence de chiffres dans le résumé impose de consulter l'article complet pour mesurer l'ampleur des gains. L'enjeu est pratique pour les équipes qui constituent des jeux de données de manipulation. Jusqu'ici, les travaux montraient surtout qu'ajouter des données humaines améliorait les performances, sans dire lesquelles comptaient. Ego4WAM suggère que la course aux heures de vidéo est un indicateur trop grossier : un volume modeste de démonstrations bien alignées avec la tâche peut valoir davantage qu'un grand corpus générique. Pour un intégrateur ou un industriel, cela oriente la collecte vers des captations ciblées, moins coûteuses que la téléopération robotique, et valide l'intérêt des vidéos sans actions, bien plus faciles à obtenir à grande échelle. Cela nuance aussi l'hypothèse d'un passage à l'échelle par simple accumulation. Le contexte est celui d'une ruée vers les données humaines : Ego4D a fourni un large corpus égocentrique, tandis que plusieurs acteurs de la robotique humanoïde et des modèles VLA (vision-langage-action) misent sur la capture humaine pour contourner le coût de la téléopération. Les modèles du monde orientés action prolongent cette tendance en prédisant conjointement vidéo et actions. Les prochaines étapes probables sont des comparaisons sur davantage de plateformes et de tâches longues, ainsi qu'une reproduction par d'autres laboratoires. Aucun déploiement industriel ni acteur français ou européen n'est mentionné à ce stade.

RecherchePaper
1 source
Ego-CEVR : apprendre des représentations visuelles inter-morphologies à partir de vidéos égocentriques humaines
Illustration générée par IA
4arXiv cs.RO 

Ego-CEVR : apprendre des représentations visuelles inter-morphologies à partir de vidéos égocentriques humaines

Des chercheurs proposent Ego-CEVR, un cadre d'apprentissage de représentations visuelles hiérarchiques décrit dans un préprint arXiv (v1, octobre 2026). Il vise à convertir des vidéos égocentriques humaines, peu coûteuses et abondantes, en capacités de manipulation robotique. Le système sépare deux modules aux objectifs distincts. Le module global apprend les relations entre objets, l'état de la tâche et la progression temporelle en prédisant la suite de vidéos égocentriques. Le module d'interaction lit les images de la caméra poignet en s'appuyant sur ce contexte global, et apprend l'alignement local et les indices de contact grâce à la supervision d'actions de démonstrations robotiques réelles. Deux chemins résiduels distincts transmettent ces représentations à la politique d'action, qui conserve ainsi un accès direct au contexte de la tâche en plus des informations d'exécution fines. Le module global peut être pré-entraîné seul, sur de grands volumes de vidéos humaines et de vidéos de robots variés, sans étiquettes d'actions ni vues poignet appariées. L'enjeu est le goulot d'étranglement des données en manipulation. Les démonstrations robotiques annotées coûtent cher à collecter, alors que la vidéo humaine existe en masse mais ne contient ni actions ni contacts exploitables directement. En confiant la compréhension de la tâche à la vidéo humaine et la précision du geste aux données robot, Ego-CEVR cherche à n'utiliser chaque source que pour ce qu'elle fournit réellement. Le pré-entraînement indépendant du module global permettrait aussi de réutiliser des corpus hétérogènes, y compris issus d'autres morphologies de robots. Le résumé ne donne toutefois aucun chiffre : ni taux de réussite, ni benchmarks, ni plateformes robotiques, ni gain face aux méthodes existantes. Il s'agit d'une proposition de recherche, sans produit ni déploiement, et son apport pratique reste à vérifier dans l'article complet. Ce travail prolonge une série de recherches sur les représentations visuelles apprises à partir de vidéos humaines, nourries par des corpus égocentriques comme Ego4D. Il s'inscrit aussi dans la course aux modèles vision-langage-action (VLA), où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) combinent déjà télé-opération, simulation et vidéo. La question de la meilleure manière d'exploiter la vidéo humaine à grande échelle reste ouverte. Les prochaines étapes à surveiller sont une publication du code, des validations sur robots réels et des comparaisons directes avec ces approches.

RecherchePaper
1 source