Ego-CEVR : apprendre des représentations visuelles inter-morphologies à partir de vidéos égocentriques humaines

Des chercheurs proposent Ego-CEVR, un cadre d'apprentissage de représentations visuelles hiérarchiques décrit dans un préprint arXiv (v1, octobre 2026). Il vise à convertir des vidéos égocentriques humaines, peu coûteuses et abondantes, en capacités de manipulation robotique. Le système sépare deux modules aux objectifs distincts. Le module global apprend les relations entre objets, l'état de la tâche et la progression temporelle en prédisant la suite de vidéos égocentriques. Le module d'interaction lit les images de la caméra poignet en s'appuyant sur ce contexte global, et apprend l'alignement local et les indices de contact grâce à la supervision d'actions de démonstrations robotiques réelles. Deux chemins résiduels distincts transmettent ces représentations à la politique d'action, qui conserve ainsi un accès direct au contexte de la tâche en plus des informations d'exécution fines. Le module global peut être pré-entraîné seul, sur de grands volumes de vidéos humaines et de vidéos de robots variés, sans étiquettes d'actions ni vues poignet appariées.

L'enjeu est le goulot d'étranglement des données en manipulation. Les démonstrations robotiques annotées coûtent cher à collecter, alors que la vidéo humaine existe en masse mais ne contient ni actions ni contacts exploitables directement. En confiant la compréhension de la tâche à la vidéo humaine et la précision du geste aux données robot, Ego-CEVR cherche à n'utiliser chaque source que pour ce qu'elle fournit réellement. Le pré-entraînement indépendant du module global permettrait aussi de réutiliser des corpus hétérogènes, y compris issus d'autres morphologies de robots. Le résumé ne donne toutefois aucun chiffre : ni taux de réussite, ni benchmarks, ni plateformes robotiques, ni gain face aux méthodes existantes. Il s'agit d'une proposition de recherche, sans produit ni déploiement, et son apport pratique reste à vérifier dans l'article complet.

Ce travail prolonge une série de recherches sur les représentations visuelles apprises à partir de vidéos humaines, nourries par des corpus égocentriques comme Ego4D. Il s'inscrit aussi dans la course aux modèles vision-langage-action (VLA), où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) combinent déjà télé-opération, simulation et vidéo. La question de la meilleure manière d'exploiter la vidéo humaine à grande échelle reste ouverte. Les prochaines étapes à surveiller sont une publication du code, des validations sur robots réels et des comparaisons directes avec ces approches.