Aller au contenu principal
Dexora : un modèle VLA open source pour la dextérité bimmanuelle à haute DOFIllustration générée par IA
IA physiquearXiv cs.RO 

Dexora : un modèle VLA open source pour la dextérité bimmanuelle à haute DOF

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UEPourquoi ça compte

Des chercheurs ont publié en mai 2026 Dexora, un système VLA (Vision-Language-Action) open-source conçu nativement pour la manipulation bimane et bi-main à haut nombre de degrés de liberté (DoF). Contrairement aux architectures existantes, limitées soit au contrôle de pinces doubles (faible DoF), soit à la manipulation dextère d'un seul bras, Dexora adresse simultanément les deux problèmes. Le pipeline de téléopération repose sur un exosquelette dorsal pour capturer la cinématique grossière des bras, couplé à un suivi markerless des doigts via Apple Vision Pro pour le mouvement fin des mains. Ce dispositif pilote à la fois un robot physique dual-arm dual-hand et un jumeau numérique identique sous MuJoCo. Le corpus d'entraînement atteint 100 000 trajectoires simulées (6,5 millions de frames) et 10 000 épisodes téléopérés en conditions réelles (2,92 millions de frames). Pour filtrer le bruit inévitable des démonstrations humaines, un discriminateur offline attribue des pondérations par clip avant l'entraînement d'une politique diffusion-transformer. En benchmark, Dexora obtient 66,7 % de succès sur les tâches dextères contre 51,7 % pour les meilleures alternatives comparées, et 90 % sur les tâches de base. Des résultats de généralisation hors distribution et cross-embodiment sont également reportés.

Ce travail comble un angle mort réel de l'écosystème VLA actuel : les mains à haute dextérité (typiquement 16 à 22 DoF par main) ne se prêtent pas aux heuristiques utilisées pour les pinces, et les méthodes end-to-end génériques se sont jusqu'ici heurtées à la complexité de la téléopération bimanuelle simultanée. Le gain de 15 points sur les baselines dextères est significatif, même si les benchmarks utilisés restent internes et les conditions expérimentales peu détaillées dans l'abstract, ce qui mérite vérification à la lecture du papier complet. L'ouverture du code, des données et des poids est le point différenciant le plus structurant : elle abaisse la barrière d'entrée pour les laboratoires et les intégrateurs qui cherchent à entraîner des politiques sur leurs propres plateformes dextères sans repartir de zéro.

La publication s'inscrit dans une course accélérée à la dextérité fine pour les bras robotiques, où Physical Intelligence (pi0), OpenVLA et plusieurs équipes académiques ont multiplié les releases VLA depuis 2024. Aucun acteur européen n'est directement impliqué dans ce travail, mais des start-ups comme Enchanted Tools (France) ou Shadow Robotics (UK, désormais indépendant de OpenAI) suivent des trajectoires adjacentes sur les mains dextères. Le recours à l'Apple Vision Pro comme capteur de téléopération markerless est un choix pragmatique mais dépendant d'un hardware grand public non industriel, dont la robustesse en environnement de production reste à démontrer. Il s'agit d'un preprint arXiv, pas d'un produit livré : aucun déploiement industriel ni pilote n'est annoncé à ce stade.

Impact France/UE

Des laboratoires et start-ups européens spécialisés dans la manipulation dextère (ex : Enchanted Tools, Shadow Robotics) pourront s'appuyer sur le code, les données et les poids open-source de Dexora pour accélérer leurs propres politiques, sans qu'aucun partenariat ou déploiement en Europe ne soit annoncé.

💬 Le point de vue du dev

Le vrai saut, c'est l'open source : code, poids, et les 100 000 trajectoires d'entraînement disponibles. Jusqu'ici chaque équipe qui voulait attaquer la manipulation bimanuelle repartait de zéro, parce que personne ne partageait de base réutilisable à cette granularité de DoF. Reste à voir ce que ça vaut en dehors des benchmarks internes.

À lire aussi

Amap met en open source Lambda-0, un modèle humanoïde corps entier entraîné uniquement sur des données humaines à la première personne
Illustration générée par IA
1Pandaily 

Amap met en open source Lambda-0, un modèle humanoïde corps entier entraîné uniquement sur des données humaines à la première personne

Amap, la filiale de cartographie et de localisation d'Alibaba Group, a publié en open source Lambda-0, un modèle de fondation « whole-body » pour robots humanoïdes entraîné uniquement sur des données humaines en vue subjective. Le travail a été mené avec le groupe d'activités ATH d'Alibaba. Le code est disponible sur GitHub sous licence Apache 2.0, accompagné d'un papier sur arXiv. L'équipe a collecté 500 heures de données humaines en environnement ouvert, réunies dans le jeu HumanVerse-500, qui aligne vision, mouvements du corps et actions des mains. Les opérateurs portent des appareils grand public et enregistrent leurs déplacements dans des lieux quotidiens, sans robot. Pour une tâche représentative, une démonstration prend environ 29 secondes à collecter, contre environ 100 secondes avec un robot physique, soit un gain d'efficacité d'environ 3,4 fois. L'entraînement se fait en trois étapes (interaction manuelle, coordination du corps entier, puis adaptation à l'embodiment humanoïde). Il s'appuie sur une mise en correspondance des points de vue et sur un alignement d'actions « du grossier au fin », destinés à compenser les écarts morphologiques entre humain et robot. Selon le papier, Lambda-0 obtient environ 90 % sur le benchmark de simulation SIMPLE. Sur sept tâches de manipulation mobile à corps entier et à long horizon, il est transféré en zero-shot sur un Unitree G1 avec des données humaines seules, pour un taux de réussite réel de 62,5 %, soit 22,5 points de plus que la meilleure référence. L'enjeu est le coût de la donnée, aujourd'hui principal goulot d'étranglement des modèles vision-langage-action (VLA) pour humanoïdes. La téléopération de robots réels est chère et lente à passer à l'échelle. Si des humains équipés de capteurs légers peuvent produire des démonstrations 3,4 fois plus vite, et que ces données se transfèrent à une machine sans démonstration robotique, l'économie de l'apprentissage change nettement. Le point le plus intéressant est que, à démonstrations robot constantes, ajouter des données humaines corps entier continue d'améliorer les performances réelles. C'est un signal en faveur d'une loi d'échelle côté données humaines, y compris pour la locomotion et la posture, alors que la plupart des VLA en vue subjective se concentrent sur les mains et les bras. Il faut toutefois rester prudent. Les chiffres viennent du papier de l'équipe et n'ont pas été reproduits de façon indépendante. Un taux de 62,5 % sur sept tâches reste loin d'une fiabilité industrielle. Le gain de 3,4 fois porte sur une seule tâche choisie comme représentative. L'écart entre benchmark de simulation et déploiement réel demeure donc entier. Pour les intégrateurs, il s'agit pour l'instant d'une brique de recherche réutilisable, pas d'un produit livrable. Ce lancement prolonge les travaux récents d'Amap sur les modèles du monde appliqués aux villes en 3D, auxquels il ajoute un volet incarné, après la sortie d'ABot-Earth 0.7. Il s'inscrit dans une tendance plus large. Plusieurs laboratoires chinois et américains cherchent à remplacer la téléopération par de la donnée humaine, à l'image de projets comme HIL-UMI, de l'Université de Pékin et PrimeBot. Face à eux, des acteurs comme Figure (Helix), Physical Intelligence (Pi-0) ou NVIDIA (GR00T) misent surtout sur des corpus robotiques propriétaires et de la simulation. La publication sous Apache 2.0 permet à d'autres équipes de tester l'approche sur d'autres plateformes que le G1 d'Unitree. Aucun pilote commercial ni calendrier de déploiement n'est annoncé, et la suite dépendra de la reproduction des résultats et de leur validation sur des tâches plus longues et plus variées.

IA physiqueActu
1 source
FLORA : une suite de modèles ouverts pour le passage à l'échelle des moteurs de données en robotique
Illustration générée par IA
2arXiv cs.RO 

FLORA : une suite de modèles ouverts pour le passage à l'échelle des moteurs de données en robotique

Une équipe de recherche, dont les travaux alimentent l'entraînement des modèles fondation GR00T, publie sur arXiv Flora, une suite de modèles ouverts qui sert de moteur d'annotation pour les données robotiques. Un même système produit trois types de labels. Il génère des récompenses de résultat (la tâche a-t-elle réussi ?) pour surveiller les déploiements réels. Il produit des récompenses de processus pour le post-entraînement par apprentissage par renforcement. Il fournit aussi des légendes horodatées pour filtrer et rééquilibrer les données de pré-entraînement. Les auteurs annoncent des scores à l'état de l'art sur le benchmark de légendage WGO-Bench et sur les benchmarks de récompense RoboReward et Robometer. Sur leurs benchmarks internes, Flora serait comparable à GPT-6 Astra et supérieur aux autres modèles frontière. Le coût serait environ 125 fois inférieur à celui de GPT-6 Astra via API. Côté production, le système étiquette 200 000 heures de données par jour sur 512 GPU GB300, soit environ 390 heures de vidéo par GPU et par jour. Le code et les modèles sont publiés en open source. Le goulot d'étranglement de la robotique par apprentissage se déplace de la collecte vers l'annotation. Les politiques VLA (vision-langage-action) dépendent de données propres, légendées et notées. Faire passer ce travail par des API de modèles propriétaires devient prohibitif quand on traite des centaines de milliers d'heures. Un facteur 125 sur le coût, s'il se confirme hors du laboratoire, rend l'annotation de grands jeux de données accessible à des équipes bien plus petites. Des récompenses de processus fiables sont aussi la condition pour passer du clonage de comportement au RL sur robot réel. Une réserve s'impose toutefois : la comparaison à GPT-6 Astra repose sur des benchmarks internes, non reproductibles à ce stade, et le chiffre de débit vient des auteurs eux-mêmes. L'avantage de coût dépend aussi du matériel de référence retenu. Ce travail s'inscrit dans la course aux modèles généralistes, où GR00T de NVIDIA côtoie Pi-0 de Physical Intelligence et Helix de Figure. Chacun de ces acteurs a besoin de sa propre chaîne d'annotation, souvent restée interne. En ouvrant la sienne, l'équipe de Flora cherche à fédérer la recherche autour de ses outils. Elle cite deux usages émergents : l'auto-recherche physique, où des agents pilotent eux-mêmes des expériences, et le transfert de l'humain vers le robot à partir de vidéos de démonstration. La suite dépendra des reproductions indépendantes et de l'adoption par les laboratoires académiques et les intégrateurs, y compris européens, qui disposent rarement de telles capacités de calcul.

UEDes laboratoires et intégrateurs européens pourraient annoter leurs données robotiques à moindre coût, mais disposent rarement de la puissance de calcul nécessaire.

IA physiqueActu
1 source
Le monde entre vos mains : un écosystème open source à grande échelle pour l'apprentissage de la manipulation centrée sur l'humain en conditions réelles
Illustration générée par IA
3arXiv cs.RO 

Le monde entre vos mains : un écosystème open source à grande échelle pour l'apprentissage de la manipulation centrée sur l'humain en conditions réelles

Un article déposé sur arXiv (version 4) présente World In Your Hands (WIYH), un écosystème open source comprenant plus de 1 000 heures de données de manipulation humaine collectées en conditions réelles, avec une précision de mouvement à l'échelle millimétrique. Il s'articule autour de trois éléments : l'Oracle Suite, un kit de capture portable doté d'un pipeline d'auto-étiquetage pour un suivi de mouvement précis hors laboratoire ; le WIYH Dataset, qui couvre des centaines de compétences de manipulation dans des scénarios réels variés et de multiples modalités ; et un ensemble d'annotations et de benchmarks allant de la perception à l'action. Les auteurs précisent que toutes les données et les plans matériels seront publiés en open source. Le résultat central des expériences menées avec WIYH montre que l'intégration de ces données humaines dans l'entraînement de politiques robotiques fait passer le taux de réussite de manipulation en environnement encombré de 8% à 60%. Cet écart souligne que le goulot d'étranglement des politiques vision-langage-action reste la quantité et la qualité des démonstrations, plus que l'architecture des modèles. Pour les équipes travaillant sur l'apprentissage cross-embodiment, transférable d'une morphologie de robot à une autre voire de la main humaine vers un bras robotique, WIYH offre une alternative aux campagnes de téléopération propriétaires coûteuses. Publier données et matériel en open source tranche avec la logique de plusieurs acteurs commerciaux qui gardent leurs jeux de données fermés. Ce travail s'inscrit dans une série d'efforts visant à exploiter vidéo et geste humains comme alternative aux données de téléopération, face au coût et à la lenteur de la collecte robot par robot. La difficulté historique tenait à la précision du tracking et à l'hétérogénéité des conditions de capture, ce que l'Oracle Suite cherche à résoudre avec son pipeline d'auto-étiquetage millimétrique déployable hors studio. À ce stade, WIYH reste une publication de recherche accompagnée d'un jeu de données et de benchmarks, pas un produit commercialisé ni un déploiement industriel ; son impact dépendra de la mise en ligne effective des données et des plans matériels, ainsi que de la reproductibilité du gain de 8% à 60% sur d'autres tâches que celles testées par les auteurs.

IA physiqueActu
1 source
ModPack : une interface de téléopération extensible pour la manipulation mobile bimanuelle
Illustration générée par IA
4arXiv cs.RO 

ModPack : une interface de téléopération extensible pour la manipulation mobile bimanuelle

Une équipe de recherche a présenté ModPack, un système de téléopération modulaire conçu pour piloter des robots à manipulation bimanuelle mobile, indépendamment de leur plateforme matérielle. Le cœur du dispositif est un "sac à dos" portable autonome intégrant calcul embarqué, alimentation, communication et stockage de données. Autour de cette interface commune, le système propose des modules interchangeables en plug-and-play : téléopération articulation par articulation avec retour haptique, manipulation mobile, et perception active. Les chercheurs ont testé ModPack sur deux plateformes robotiques distinctes lors de tâches réelles de manipulation mobile, démontrant sa capacité à servir de socle réutilisable pour la collecte de données et l'apprentissage de politiques de contrôle. L'ensemble du design matériel et de la pile logicielle est publié en open source, accompagné d'un site de projet dédié. Cette approche répond à une limite structurelle bien identifiée dans la robotique humanoïde et la manipulation mobile : la plupart des systèmes de téléopération actuels sont conçus sur mesure pour un robot et une tâche donnés, ce qui oblige les laboratoires et les entreprises à reconstruire leurs outils de collecte de données à chaque nouveau matériel. Pour les acteurs qui développent des modèles vision-langage-action (VLA) comme Pi-0, GR00T N2 ou Helix, la disponibilité de données de démonstration humaine de qualité, capturées efficacement sur des embodiments variés, est un goulot d'étranglement central pour l'apprentissage par imitation. Un outil modulaire et open source comme ModPack pourrait réduire le coût d'ingénierie nécessaire pour générer ces jeux de données, un enjeu direct pour les intégrateurs et les équipes de recherche qui cherchent à faire monter en échelle leurs pipelines de collecte plutôt qu'à réinventer le matériel de téléopération à chaque projet. Le développement de ModPack s'inscrit dans la tendance plus large de la robotique d'apprentissage, où la qualité et le volume des données de téléopération conditionnent directement les performances des politiques apprises, à l'image des efforts menés autour de plateformes comme Figure 03 ou Optimus Gen 3. En ouvrant l'intégralité du design matériel et du code, les auteurs positionnent ModPack comme une infrastructure communautaire plutôt qu'un produit commercial fermé, une démarche qui rappelle d'autres initiatives open source du secteur visant à standardiser les outils de collecte pour accélérer la recherche académique. L'article, publié sur arXiv, ne précise pas encore de feuille de route pour une adoption industrielle à plus grande échelle ni de partenariats annoncés, ce qui en fait pour l'instant une contribution de recherche plutôt qu'un déploiement commercial.

IA physiqueActu
1 source