RecherchearXiv cs.RO 17 juillet 2026

Open-AoE : un jeu de données ouvert de manipulation égocentrique et une chaîne d'outils pour l'apprentissage incarné

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie Open-AoE, un jeu de données ouvert de vidéos égocentriques de manipulation humaine destiné à l'apprentissage de modèles robotiques, accompagné d'une chaîne d'outils complète allant de la capture smartphone jusqu'à l'entraînement de modèles. Décrit dans un article arXiv (2607.14183v1) publié le 17 juillet 2026, ce premier jalon rassemble environ 2 000 heures de vidéos de manipulation tournées en environnement naturel par plus de 500 contributeurs utilisant plus de 400 smartphones différents. Chaque séquence est annotée avec des descriptions textuelles, des poses de main reconstruites via le modèle MANO, des trajectoires de caméra et un découpage temporel en actions atomiques localisées. Le pipeline de traitement transforme les enregistrements bruts en échantillons structurés à travers quatre étapes : segmentation temporelle des actions, annotation sémantique, reconstruction des mains et reconstruction de trajectoire caméra. Une chaîne d'outils distincte permet ensuite la visualisation, le retargeting cross-embodiment (transfert des mouvements humains vers différentes morphologies de robots), la conversion de données spécifique à chaque modèle, ainsi que des recettes d'entraînement pour les politiques VLA, les modèles WAM et les World Models.

L'enjeu principal est celui du goulot d'étranglement de données pour l'apprentissage par imitation en robotique : les démonstrations téléopérées sur robot réel restent coûteuses et lentes à collecter à grande échelle, tandis que les vidéos humaines égocentriques offrent une supervision quasi gratuite mais historiquement peu structurée pour un usage robotique direct. En combinant capture low-cost via smartphone, annotations de niveau manipulation (poses de main, actions atomiques) et outils de retargeting prêts à l'emploi, Open-AoE cherche à réduire la friction entre collecte de données humaines et entraînement de politiques robotiques, un axe central pour le transfert humain-vers-robot (human-to-robot transfer) que plusieurs laboratoires explorent en parallèle des approches de téléopération.

Ce type d'initiative s'inscrit dans la lignée de jeux de données égocentriques antérieurs comme Ego4D ou Epic-Kitchens, mais se distingue par son orientation explicitement robotique, avec des annotations pensées pour l'entraînement de modèles VLA plutôt que pour la seule reconnaissance d'action. Elle complète des efforts de mutualisation de données robot comme Open X-Embodiment, en s'attaquant cette fois au versant humain de la chaîne de supervision. Les auteurs présentent cette version comme une première publication ouverte à la communauté, invitant à la contribution continue de nouvelles captures, ce qui laisse présager des extensions futures en volume et en diversité de tâches.

Dans nos dossiers

World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper

1 source

2arXiv cs.RO

Planification de mouvements précis pour la manipulation robotique par apprentissage par transfert sans données d'entraînement

Des chercheurs ont publié sur arXiv (arXiv:2606.06041) un framework baptisé iCEM+TL, qui combine la méthode évolutionnaire iCEM (improved Cross-Entropy Method) avec du Transfer Learning pour améliorer la planification de mouvement bas-niveau en robotique de manipulation. L'approche transfère directement les paramètres-clés d'iCEM appris sur des tâches simples vers des tâches plus complexes -- empilage d'objets, glissement, placement en étagère -- sans réentraîner depuis zéro. Complétée par une refonte des fonctions de récompense (Reward Redesign) via décomposition de tâche pour les scénarios d'empilage et de placement en étagère, la méthode atteint des gains de taux de succès allant jusqu'à 23 % en simulation. Elle a ensuite été validée sur un robot réel Franka Emika Panda dans un scénario d'empilage, confirmant la transférabilité sim-to-real de l'approche. L'intérêt principal réside dans l'efficacité d'échantillonnage : iCEM+TL contourne le besoin de longues phases d'entraînement en réutilisant explicitement la connaissance déjà acquise sur des tâches amont. Pour les intégrateurs industriels ou les équipes R&D robotique, cela signifie qu'ajouter une nouvelle tâche de manipulation à un bras existant ne nécessite pas un réentraînement complet -- un gain direct en temps et en coût de déploiement. Le fait que le transfert soit qualifié de "zero-shot" dans le titre mérite toutefois une nuance : il s'agit ici d'un transfert de paramètres entre tâches proches dans un même domaine, et non d'une généralisation à des environnements radicalement différents. Les résultats restent majoritairement issus de simulation, avec une validation robotique limitée à un seul scénario d'empilage -- la robustesse à l'échelle industrielle reste à établir. iCEM est un algorithme de planification en temps réel apparu comme alternative légère aux méthodes d'apprentissage par renforcement profond, notamment pour la manipulation sur bras sériels. Le Franka Emika Panda (7 DOF) est devenu un banc de test standard de la communauté académique, utilisé par des dizaines d'équipes dans le monde. Dans ce paysage, iCEM+TL se positionne en dehors des approches VLA (Vision-Language-Action) comme pi0 de Physical Intelligence ou des policies à diffusion qui dominent actuellement les benchmarks de référence tels que RLBench. La suite naturelle serait de tester le framework sur des tâches à horizon plus long, sur d'autres morphologies de robots, et de comparer formellement les gains de temps d'entraînement face aux baselines RL modernes.

RecherchePaper

1 source

3arXiv cs.RO

Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert

Des chercheurs présentent WANDA (learning open-World mobile mANipulation from one Demonstration via a synthetic DAta engine), un moteur de génération de données synthétiques permettant d'entraîner des politiques de manipulation mobile à partir d'une seule démonstration humaine. Décrit dans un preprint arXiv publié mi-juillet 2026 (arXiv:2607.13154), le système reconstruit d'abord une scène sous forme de Gaussian splats et extrait les trajectoires d'interaction robot-objet à partir d'observations RGBD. Ces segments d'interaction riches en contacts sont ensuite réagencés dans de multiples configurations spatiales grâce à une planification de mouvement corps entier, qui les enchaîne en nouvelles trajectoires. Une méthode nommée Corrective State Expansion augmente la diversité des états du robot et des objets à chaque étape de la tâche. Pour généraliser au-delà d'un seul environnement, WANDA synthétise aussi des trajectoires sur des mondes 3D générés à partir de simples photos du quotidien, puis compose des rendus photoréalistes en combinant meshes de robot et d'objets avec des fonds en Gaussian splatting. Les auteurs valident l'approche sur des tâches simulées et réelles dans des scènes variées, et démontrent un transfert zero-shot vers un second manipulateur mobile de morphologie différente, sans réentraînement. L'enjeu central est le goulot d'étranglement des données pour les politiques de manipulation mobile en monde ouvert : la téléopération et les interfaces type UMI (Universal Manipulation Interface) exigent un effort humain considérable et ne passent pas à l'échelle. En démontrant qu'une seule démonstration réelle peut être démultipliée en un jeu de données couvrant robustesse long-horizon, généralisation spatiale et généralisation inter-environnements, WANDA s'attaque directement à l'hypothèse dominante du secteur selon laquelle les politiques VLA (vision-language-action) nécessitent des milliers d'heures de téléopération pour généraliser. Le support natif du cross-embodiment, illustré par un déploiement zero-shot sur un manipulateur différent, intéresse particulièrement les intégrateurs qui cherchent à réutiliser des données d'entraînement entre plusieurs plateformes robotiques plutôt que de recollecter pour chaque nouveau châssis. Ce travail s'inscrit dans une vague de recherches sur la donnée synthétique en robotique, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui explorent chacune des voies différentes pour réduire la dépendance à la téléopération massive. À la différence de ces systèmes déjà déployés commercialement, WANDA reste à ce stade un preprint arXiv de juillet 2026, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats n'ont pas encore été validés par une revue par les pairs ni testés en conditions de production. Les auteurs ne précisent ni le nombre de tâches évaluées ni de chiffres de performance quantifiés, ce qui invite à la prudence avant d'extrapoler ces résultats à un contexte industriel. Les prochaines étapes attendues incluent une publication en conférence et des comparaisons plus poussées face aux méthodes de collecte existantes.

RecherchePaper

1 source

4arXiv cs.RO

EgoVerse : un ensemble de données humaines égocentriques pour l'apprentissage des robots, venu du monde entier

Une équipe de chercheurs vient de publier une nouvelle version de son article sur arXiv (2604.07607v2) présentant EgoVerse, une plateforme collaborative de données humaines égocentriques destinée à l'apprentissage robotique. La version actuelle du jeu de données regroupe 1 362 heures d'enregistrements, soit environ 80 000 épisodes de démonstrations humaines, couvrant 1 965 tâches différentes réalisées dans 240 environnements distincts par 2 087 démonstrateurs uniques. Les données sont standardisées avec des annotations pertinentes pour la manipulation et des outils dédiés à l'entraînement de modèles en aval. Le projet est conçu pour recevoir des contributions aussi bien de chercheurs individuels que de laboratoires académiques et d'acteurs industriels, dans un cadre commun de collecte et de traitement. Ce travail répond à un problème concret du secteur robotique : la collecte de données réelles sur robot reste coûteuse et difficile à faire passer à l'échelle, tandis que les données humaines égocentriques offrent une alternative bien moins onéreuse pour capturer des comportements de manipulation dans des environnements du quotidien. Les auteurs ont mené une étude à grande échelle sur le transfert humain-vers-robot, avec des expériences répliquées dans plusieurs laboratoires, sur différentes tâches et différentes plateformes robotiques, selon des protocoles partagés. Résultat notable : la performance des politiques s'améliore globalement avec davantage de données humaines, mais ce passage à l'échelle n'est efficace que si ces données sont alignées avec les objectifs d'apprentissage du robot ciblé, un nuance importante pour les équipes qui espèrent simplement empiler du volume de données sans questionner leur pertinence. Le problème que EgoVerse cherche à résoudre est la fragmentation des jeux de données humains existants, souvent limités en portée et difficiles à étendre au-delà de l'institution qui les a produits. En unifiant collecte, traitement et accès sous un même cadre partagé, la plateforme se positionne comme une infrastructure de recherche reproductible plutôt qu'un simple jeu de données figé, avec vocation à s'enrichir au fil des contributions externes. Les vidéos et informations complémentaires sont disponibles sur egoverse.ai.

RecherchePaper

1 source