IA physiquearXiv cs.RO 14 juillet 2026

EgoSteer : un système complet pour la manipulation dextre pilotable à partir de vidéos égocentriques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient EgoSteer, un système complet destiné à rendre les mains robotiques dextres pilotables par instructions en langage naturel, à partir de vidéos égocentriques humaines (arXiv:2607.09701). Le dispositif repose sur trois briques : EgoSmith, un pipeline de données qui a curé 9,6 mille heures de vidéos égocentriques filmées en conditions réelles pour constituer un corpus de pré-entraînement de haute qualité, avec un débit neuf fois supérieur et une précision meilleure que les méthodes précédentes ; une pile robotique unifiée gérant téléopération et correction humaine en boucle ; et EgoSteer lui-même, un modèle vision-langage-action (VLA) enrichi d'un modèle du monde, entraîné sur une infrastructure optimisée. Le système exécute des instructions en langage libre sur plus de 40 tâches distinctes, avec récupération après échec, dextérité fine et capacité de généralisation. Après un pré-entraînement sur données humaines suivi d'un ancrage par post-entraînement robotique et d'un raffinement DAgger, le modèle s'adapte en few-shot à des tâches longues et complexes comme le pliage de boîtes, avec un taux de réussite supérieur à 75% sur deux plateformes robotiques différentes. Le code, les données et le modèle sont mis en open-source sur egosteer.github.io.

Ce travail s'attaque directement au principal goulot d'étranglement des mains robotiques dextres : l'absence de données de démonstration à grande échelle, alignées avec le langage et précises au niveau de l'action. En démontrant qu'un pré-entraînement massif sur vidéos humaines non robotiques peut ensuite être ancré efficacement sur robot réel avec relativement peu de données, l'équipe apporte un signal concret sur le transfert vidéo-vers-robot à l'échelle, un sujet central pour les intégrateurs et laboratoires qui cherchent à réduire le coût de collecte de démonstrations téléopérées. La généralisation cross-embodiment et la récupération après échec restent des points faibles connus des VLA actuels ; les résultats annoncés ici, à évaluer au-delà des tâches et conditions choisies par les auteurs, vont dans le sens d'un rapprochement entre démonstrations en laboratoire et usage réel.

Le manque de données dextres de qualité freine depuis plusieurs années l'extension des architectures VLA, popularisées par des modèles généralistes comme Pi-0 ou GR00T, au-delà des bras et pinces simples vers des mains multi-doigts. EgoSteer s'inscrit dans cette course à l'échelle des données, aux côtés d'efforts similaires chez les acteurs de l'humanoïde et de la manipulation dextre. L'ouverture complète du code, du modèle et du jeu de données constitue la prochaine étape logique pour permettre une réplication indépendante des résultats annoncés.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Le monde entre vos mains : un écosystème open source à grande échelle pour l'apprentissage de la manipulation centrée sur l'humain en conditions réelles

Un article déposé sur arXiv (version 4) présente World In Your Hands (WIYH), un écosystème open source comprenant plus de 1 000 heures de données de manipulation humaine collectées en conditions réelles, avec une précision de mouvement à l'échelle millimétrique. Il s'articule autour de trois éléments : l'Oracle Suite, un kit de capture portable doté d'un pipeline d'auto-étiquetage pour un suivi de mouvement précis hors laboratoire ; le WIYH Dataset, qui couvre des centaines de compétences de manipulation dans des scénarios réels variés et de multiples modalités ; et un ensemble d'annotations et de benchmarks allant de la perception à l'action. Les auteurs précisent que toutes les données et les plans matériels seront publiés en open source. Le résultat central des expériences menées avec WIYH montre que l'intégration de ces données humaines dans l'entraînement de politiques robotiques fait passer le taux de réussite de manipulation en environnement encombré de 8% à 60%. Cet écart souligne que le goulot d'étranglement des politiques vision-langage-action reste la quantité et la qualité des démonstrations, plus que l'architecture des modèles. Pour les équipes travaillant sur l'apprentissage cross-embodiment, transférable d'une morphologie de robot à une autre voire de la main humaine vers un bras robotique, WIYH offre une alternative aux campagnes de téléopération propriétaires coûteuses. Publier données et matériel en open source tranche avec la logique de plusieurs acteurs commerciaux qui gardent leurs jeux de données fermés. Ce travail s'inscrit dans une série d'efforts visant à exploiter vidéo et geste humains comme alternative aux données de téléopération, face au coût et à la lenteur de la collecte robot par robot. La difficulté historique tenait à la précision du tracking et à l'hétérogénéité des conditions de capture, ce que l'Oracle Suite cherche à résoudre avec son pipeline d'auto-étiquetage millimétrique déployable hors studio. À ce stade, WIYH reste une publication de recherche accompagnée d'un jeu de données et de benchmarks, pas un produit commercialisé ni un déploiement industriel ; son impact dépendra de la mise en ligne effective des données et des plans matériels, ainsi que de la reproductibilité du gain de 8% à 60% sur d'autres tâches que celles testées par les auteurs.

IA physiqueActu

1 source

2arXiv cs.RO

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles. Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier. DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

IA physiqueOpinion

1 source

3arXiv cs.RO

Apprendre la physique à partir de modèles vidéo préentraînés : modèles du monde continus et séquentiels pour la manipulation robotique

Une équipe de chercheurs propose PhysGen, un cadre d'apprentissage publié en prépublication sur arXiv (réf. 2603.00110v2), qui exploite des modèles de génération vidéo pré-entraînés comme substituts de simulateurs physiques pour la manipulation robotique. L'idée centrale est de traiter la vidéo générée de manière autorégressive comme un proxy du monde physique, et d'y greffer des actions robotiques continues via une représentation unifiée baptisée "physical tokens", des jetons partagés qui fusionnent la modalité vidéo et les commandes motrices. Pour assurer la convergence, PhysGen intègre du masquage causal, de la cinématique inverse, une prédiction multi-tokens anticipative (L-MTP) et du cache clé-valeur (KV caching). Sur les benchmarks Libero et ManiSkill, le système surpasse OpenVLA de 13,8 points et WorldVLA de 8,8 points. Plus frappant : en conditions réelles, PhysGen atteint les performances de π₀ (Physical Intelligence) sur des tâches physiquement exigeantes, notamment la saisie d'objets transparents, sans avoir bénéficié d'un pré-entraînement spécifique aux données d'action. L'enjeu pour l'industrie est direct : la pénurie de données robotiques à grande échelle reste le principal frein à la généralisation des politiques de manipulation. PhysGen contourne ce goulot en recyclant des modèles vidéo entraînés sur des corpus massifs d'internet pour en extraire une intuition physique implicite, permanence des objets, dynamique de contact, sans collecter de trajectoires robot. Le fait de rivaliser avec π₀ sans son pré-entraînement propriétaire sur des données d'action est une validation partielle de l'hypothèse que le "sim-to-real gap" peut être réduit par la connaissance du monde visuel plutôt que par des démonstrations téléopérées. Cela dit, les résultats restent issus d'un papier de recherche avec des benchmarks sélectifs ; la robustesse sur des scènes industrielles non structurées reste à démontrer. PhysGen s'inscrit dans un courant actif qui voit les laboratoires de robotique piller les architectures de génération multimodale pour nourrir leurs politiques de contrôle : UniSim, Genie, et surtout WorldVLA avaient déjà exploré cette piste. Physical Intelligence (π₀) représente aujourd'hui la référence en termes de performances sur tâches réelles grâce à son pré-entraînement massif sur données d'action hétérogènes, ce qui rend la comparaison de PhysGen d'autant plus significative. OpenVLA (Berkeley) constitue le concurrent open-source direct. La prochaine étape logique pour les auteurs serait une évaluation sur des manipulateurs industriels multi-DOF en environnement non contrôlé, et une intégration avec des pipelines de données synthétiques pour réduire encore la dépendance aux démonstrations humaines.

IA physiqueOpinion

1 source

4arXiv cs.RO

EaDex : un cadre de manipulation dextérique multi-plateforme à partir de démonstrations à faible coût

EaDex, un framework de manipulation dextère multi-corps présenté dans un preprint arXiv (2606.03268, juin 2026), propose d'entraîner des mains robotiques articulées à partir de démonstrations humaines capturées avec une simple caméra RGB-D grand public. Le pipeline repose sur le modèle paramétrique MANO pour reconstruire la géométrie 3D de la main, suivi d'une étape de normalisation et de retargeting cinématique vers différentes morphologies robotiques. Le système a été évalué sur trois mains dextères distinctes et trois catégories de tâches d'ouverture d'objets articulés, couvrant neuf configurations cross-embodiment. Par rapport à une baseline sans mécanisme d'annealing de démonstrations, EaDex affiche une amélioration relative de 55,3 %. Le verrou adressé est structurel pour le secteur: le reinforcement learning pur en manipulation dextère exige une exploration interactive à grande échelle, coûteuse en temps machine et difficile à transférer, tandis que l'imitation learning classique dépend de démonstrations à haute fidélité collectées via des gants haptiques ou des systèmes de motion capture onéreux. EaDex cherche à abaisser ce seuil avec du matériel accessible. Son mécanisme central, l'"annealing dynamique de démonstrations basé sur les récompenses de contact", est notable: il guide l'exploration initiale en s'appuyant sur les trajectoires humaines, puis réduit progressivement cette dépendance à mesure que l'agent accumule des contacts réussis, évitant le sur-ajustement aux trajectoires de référence. Que le même pipeline fonctionne sur trois architectures de main aux cinématiques différentes est le point le plus pertinent pour un intégrateur: cela suggère une généralisation morphologique réelle, pas un résultat ajusté manuellement par configuration. L'approche s'inscrit dans un effort plus large de la communauté pour rendre la collecte de données de manipulation bon marché et scalable, face à des méthodes concurrentes comme DAPG ou DexMimicGen qui requièrent des infrastructures plus lourdes. Le papier n'annonce pas de déploiement industriel ni de partenariat commercial: c'est un résultat de recherche en phase preprint, sans validation sur des objets non-vus ni en conditions réelles non-contrôlées. Les suites naturelles incluront des tests sur des tâches plus complexes (bimanuel, objets déformables) et une comparaison systématique avec des pipelines VLA récents sur des benchmarks standardisés.

IA physiquePaper

1 source