Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
EgoVerse : un ensemble de données humaines égocentriques pour l'apprentissage des robots, venu du monde entier
RecherchearXiv cs.RO 

EgoVerse : un ensemble de données humaines égocentriques pour l'apprentissage des robots, venu du monde entier

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs vient de publier une nouvelle version de son article sur arXiv (2604.07607v2) présentant EgoVerse, une plateforme collaborative de données humaines égocentriques destinée à l'apprentissage robotique. La version actuelle du jeu de données regroupe 1 362 heures d'enregistrements, soit environ 80 000 épisodes de démonstrations humaines, couvrant 1 965 tâches différentes réalisées dans 240 environnements distincts par 2 087 démonstrateurs uniques. Les données sont standardisées avec des annotations pertinentes pour la manipulation et des outils dédiés à l'entraînement de modèles en aval. Le projet est conçu pour recevoir des contributions aussi bien de chercheurs individuels que de laboratoires académiques et d'acteurs industriels, dans un cadre commun de collecte et de traitement.

Ce travail répond à un problème concret du secteur robotique : la collecte de données réelles sur robot reste coûteuse et difficile à faire passer à l'échelle, tandis que les données humaines égocentriques offrent une alternative bien moins onéreuse pour capturer des comportements de manipulation dans des environnements du quotidien. Les auteurs ont mené une étude à grande échelle sur le transfert humain-vers-robot, avec des expériences répliquées dans plusieurs laboratoires, sur différentes tâches et différentes plateformes robotiques, selon des protocoles partagés. Résultat notable : la performance des politiques s'améliore globalement avec davantage de données humaines, mais ce passage à l'échelle n'est efficace que si ces données sont alignées avec les objectifs d'apprentissage du robot ciblé, un nuance importante pour les équipes qui espèrent simplement empiler du volume de données sans questionner leur pertinence.

Le problème que EgoVerse cherche à résoudre est la fragmentation des jeux de données humains existants, souvent limités en portée et difficiles à étendre au-delà de l'institution qui les a produits. En unifiant collecte, traitement et accès sous un même cadre partagé, la plateforme se positionne comme une infrastructure de recherche reproductible plutôt qu'un simple jeu de données figé, avec vocation à s'enrichir au fil des contributions externes. Les vidéos et informations complémentaires sont disponibles sur egoverse.ai.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?
1arXiv cs.RO 

Ego4WAM : quels facteurs comptent pour le passage à l'échelle des données humaines égocentriques en apprentissage robotique ?

Des chercheurs publient Ego4WAM, une étude systématique sur l'usage des données humaines égocentriques (captées en vue subjective, typiquement par caméra portée) pour entraîner des robots. Le travail s'appuie sur un cadre unifié de « world-action model » (WAM), dont le backbone reste fixe afin d'isoler l'effet de chaque variable. Quatre facteurs sont disséqués : l'alignement entre démonstrations humaines et tâche robotique, la durée des données, la diversité des tâches, et le type de supervision (avec ou sans étiquettes d'action), ainsi que la façon d'employer ces données dans le pipeline d'entraînement. Les résultats sont validés en boucle fermée sur robots réels et sur RoboDojo, un environnement d'évaluation. Les auteurs ne communiquent dans le résumé ni volumes en heures, ni taux de réussite chiffrés, ni plateformes robotiques précises. Trois constats ressortent. Les démonstrations humaines alignées améliorent nettement la généralisation hors distribution et réduisent la quantité de données robot nécessaires sur la tâche cible. La durée et la diversité des tâches n'agissent pas sur les mêmes capacités en aval. Enfin, une supervision vidéo seule, sans action annotée, reste efficace et constitue une bonne base avant un entraînement vidéo-action. Il s'agit d'un preprint arXiv (v1), non relu par les pairs, et l'absence de chiffres dans le résumé impose de consulter l'article complet pour mesurer l'ampleur des gains. L'enjeu est pratique pour les équipes qui constituent des jeux de données de manipulation. Jusqu'ici, les travaux montraient surtout qu'ajouter des données humaines améliorait les performances, sans dire lesquelles comptaient. Ego4WAM suggère que la course aux heures de vidéo est un indicateur trop grossier : un volume modeste de démonstrations bien alignées avec la tâche peut valoir davantage qu'un grand corpus générique. Pour un intégrateur ou un industriel, cela oriente la collecte vers des captations ciblées, moins coûteuses que la téléopération robotique, et valide l'intérêt des vidéos sans actions, bien plus faciles à obtenir à grande échelle. Cela nuance aussi l'hypothèse d'un passage à l'échelle par simple accumulation. Le contexte est celui d'une ruée vers les données humaines : Ego4D a fourni un large corpus égocentrique, tandis que plusieurs acteurs de la robotique humanoïde et des modèles VLA (vision-langage-action) misent sur la capture humaine pour contourner le coût de la téléopération. Les modèles du monde orientés action prolongent cette tendance en prédisant conjointement vidéo et actions. Les prochaines étapes probables sont des comparaisons sur davantage de plateformes et de tâches longues, ainsi qu'une reproduction par d'autres laboratoires. Aucun déploiement industriel ni acteur français ou européen n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RoboTok : un moteur de données à l'échelle d'Internet pour la recherche de démonstrations humaines et l'apprentissage de la préhension dextérique
2arXiv cs.RO 

RoboTok : un moteur de données à l'échelle d'Internet pour la recherche de démonstrations humaines et l'apprentissage de la préhension dextérique

Un article publié sur arXiv (référence 2609.03199v1, catégorie « cross-listing » signalant un intérêt à la fois pour la robotique et la vision par ordinateur) présente RoboTok, un moteur de données conçu pour exploiter des vidéos humaines à l'échelle d'internet afin d'entraîner des politiques robotiques de manipulation dextre. Le système part d'une vidéo requête montrant une manipulation humaine, puis recherche dans de vastes collections de vidéos web des démonstrations pertinentes pour la même tâche. Techniquement, RoboTok apprend un espace de mouvement latent à partir de trajectoires 3D de la main, exprimées dans des repères centrés sur l'acteur estimés automatiquement, ce qui permet de comparer des gestes de manipulation malgré des différences de point de vue caméra, d'apparence de scène ou d'occlusions partielles de l'acteur. Cette représentation reste suffisamment compacte pour permettre une recherche efficace et une indexation continue sur des corpus vidéo de très grande taille. Les auteurs comparent RoboTok à des méthodes existantes de récupération de données robotiques, sur des benchmarks de recherche et sur la performance de politiques robotiques en aval, sans toutefois préciser dans le résumé les chiffres exacts de gain, ni les tâches ou plateformes robotiques testées. L'enjeu principal visé par ce travail est le goulot d'étranglement bien identifié de l'apprentissage robotique : collecter des données directement sur robot reste coûteux et ne permet pas de couvrir la longue traîne des tâches réelles rencontrées en manipulation. En proposant une méthode de récupération sensible à la pose de la main plutôt qu'à l'apparence brute, RoboTok cherche à transformer la vidéo web, ressource déjà abondante et en croissance continue, en une source de supervision exploitable et évolutive pour l'entraînement de politiques. Pour les intégrateurs et équipes de recherche en robotique dextre, cela s'inscrit dans une tendance plus large consistant à s'appuyer sur des données humaines non robotiques pour réduire la dépendance à la téléopération coûteuse, sans toutefois démontrer ici un déploiement matériel réel ni un produit commercialisé : il s'agit d'une contribution méthodologique et expérimentale, évaluée sur benchmarks académiques. Le papier se positionne dans la lignée des approches récentes de pré-entraînement robotique à partir de vidéos humaines à grande échelle, une direction de recherche active pour contourner la rareté des données robot réelles. Le résumé ne mentionne ni entreprise, ni laboratoire nommé, ni calendrier de suite ; il s'agit à ce stade d'une publication de recherche, pas d'une annonce produit ou d'un pilote industriel.

RecherchePaper
1 source
ZeroWBC : apprentissage de l'interaction naturelle corps entier pour humanoïdes à partir de données égocentrées humaines
3arXiv cs.RO 

ZeroWBC : apprentissage de l'interaction naturelle corps entier pour humanoïdes à partir de données égocentrées humaines

Une équipe de recherche a publié sur arXiv (référence 2603.09170v2) ZeroWBC, un cadre d'apprentissage du contrôle corporel complet pour robots humanoïdes qui se passe entièrement de données de télé-opération. Le système apprend à partir de vidéos égocentrées humaines -- c'est-à-dire filmées du point de vue d'un opérateur -- associées à des annotations de mouvement corps-entier et de texte. Concrètement, une image initiale prise en vue subjective est combinée à une instruction en langage naturel ; un modèle vision-langage (VLM) affiné génère alors des tokens de mouvement humain futur, qui sont décodés en trajectoires continues et retargetés vers le robot humanoïde. Ces mouvements de référence, accompagnés des trajectoires de la racine et des parties clés du corps, alimentent ensuite une politique de suivi de mouvement interactif. Les expériences ont été conduites sur le robot Unitree G1, un humanoïde compact commercialisé à environ 16 000 dollars. L'apport central de ZeroWBC réside dans l'élimination du coût de collecte des données de télé-opération, traditionnellement un verrou majeur pour l'apprentissage du contrôle corps-entier à grande échelle. En exploitant le stock immense de vidéos humaines égocentrées déjà disponibles, la méthode ouvre un paradigme de scalabilité que les approches par démonstration robotique directe ne peuvent pas égaler facilement. L'introduction d'une récompense de suivi orientée interaction -- qui priorise l'alignement global des trajectoires tout en préservant la naturalité du mouvement -- tente de combler le gap entre génération de gestes plausibles et exécution physiquement cohérente. C'est un résultat de recherche académique, pas un produit déployé en production : les vidéos présentées montrent des comportements variés en scène statique, mais les conditions réelles d'un environnement industriel dynamique n'ont pas été testées. ZeroWBC s'inscrit dans un courant plus large de méthodes "zéro-démonstration robot" qui cherchent à transférer la richesse des données humaines vers des systèmes incarnés, à l'instar des travaux sur les politiques visuomotrices à base de VLA (Vision-Language-Action). Sur le terrain concurrent, des approches comme ACT, UMI ou les pipelines de diffusion de Physical Intelligence (Pi-0) misent encore largement sur la télé-opération directe ou les données simulées. Unitree, constructeur chinois dont le G1 est l'une des plateformes humanoïdes les plus accessibles du marché, bénéficie ici d'une visibilité croissante comme banc d'essai académique de référence. Les prochaines étapes naturelles seraient d'étendre ZeroWBC à des scènes dynamiques, de tester la robustesse en dehors du labo, et d'évaluer si le sim-to-real tient face à la variabilité réelle des interactions objet-robot.

RechercheOpinion
1 source
Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entier
4arXiv cs.RO 

Vers un modèle généraliste de locomanipulation humanoïde par préentraînement sur des données humaines égocentriques du corps entier

Des chercheurs publient λ0, une politique vision-langage-action (VLA) pour humanoïde qui pilote l'ensemble du corps, c'est-à-dire la locomotion, la posture, la manipulation à deux mains et les mouvements de doigts. Le travail repose sur HumanVerse-500, un jeu de données de 500 heures de comportements humains de locomanipulation en environnements ouverts. Il a été collecté avec un système portable léger qui synchronise la vidéo égocentrique avec les mouvements du corps et des mains. L'entraînement se fait en trois étapes. La première apprend l'interaction à partir de jeux de données égocentriques variés. La deuxième coordonne corps et mains grâce à HumanVerse-500. La troisième adapte la politique à des tâches et à des robots précis. λ0 apprend un espace de représentation commun pour transférer l'expérience humaine, tandis que des interfaces propres à chaque domaine gèrent les écarts entre états et actions de l'humain et du robot. L'évaluation porte sur le benchmark SIMPLE et sur quatre tâches réelles de locomanipulation. Les auteurs revendiquent des performances « état de l'art » et analysent aussi le comportement à l'échelle, la généralisation et l'apport de chaque étape. Ils annoncent la publication du code, des modèles et des données. L'article précise toutefois ni le robot utilisé, ni les taux de réussite, ni les concurrents comparés. L'enjeu est le coût de la donnée. Les vidéos égocentriques sont abondantes mais couvrent mal le mouvement du corps entier et sa coordination avec la manipulation. La téléopération d'humanoïdes produit la bonne donnée, mais elle est chère et difficile à passer à l'échelle. Cette étude teste une voie médiane : capter des humains équipés de capteurs légers, puis transférer vers le robot. Si les résultats tiennent, la collecte de démonstrations par téléopération deviendrait moins déterminante, et la capacité à capter du mouvement humain en conditions réelles le deviendrait davantage. Pour un intégrateur, cela pourrait réduire le coût d'adaptation à une nouvelle tâche ou à un nouveau robot, ce que la troisième étape cherche à démontrer. Il faut rester prudent : quatre tâches réelles, sans taux de réussite publiés dans le résumé, restent une base étroite. Le « état de l'art » dépend entièrement des références choisies. L'écart entre démonstration de laboratoire et déploiement industriel n'est pas traité ici. Ce travail s'inscrit dans le mouvement des modèles fondation pour humanoïdes. Les VLA de type Pi-0, GR00T ou Helix ont d'abord ciblé des bras et des mains, avant de s'étendre au corps entier. En parallèle, le pré-entraînement sur vidéo humaine devient une piste majeure pour contourner la rareté des données robotiques. Les acteurs industriels qui ont leurs propres flottes de téléopération, comme Tesla, Figure ou Agility, ont un avantage en données propriétaires, que des corpus ouverts comme HumanVerse-500 pourraient réduire pour les laboratoires académiques et les petites équipes, y compris en Europe. La suite dépend de la publication effective du code, des modèles et des données, puis de reproductions indépendantes sur d'autres plateformes. Ce sont elles qui diront si le transfert humain vers robot résiste hors du cadre des auteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source