Aller au contenu principal
DexJoCo-X : évaluation comparative des représentations d'action pour la manipulation dextère à plusieurs mainsIllustration générée par IA
RecherchearXiv cs.RO 

DexJoCo-X : évaluation comparative des représentations d'action pour la manipulation dextère à plusieurs mains

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié sur arXiv (2610.03278) DexJoCo-X, un benchmark et une boîte à outils pour comparer, dans un cadre contrôlé, les représentations d'actions utilisées en manipulation dextre multi-mains. Le protocole couvre sept mains dextres représentatives, six tâches (mono-bras et bimanuelles) et 2 100 démonstrations équilibrées. Il impose des scènes, des critères de succès et des interfaces d'exécution communs. Il propose aussi des mappings gant-vers-main redessinés, ainsi qu'un pipeline automatisé qui étend des démonstrations validées à des scènes randomisées. Trois modèles sont testés : π0.5, Ego-Pi et Being-H0.5. Étendre π0.5 à une sortie bimanuelle de 80 dimensions donne un succès proche de zéro. Ego-Pi conserve la tête d'action pré-entraînée grâce à une prédiction entrelacée et fonctionne en multi-tâche pour une main donnée, mais échoue en entraînement conjoint sur les sept mains. Being-H0.5 réunit pré-entraînement cross-embodiment, espace d'action unifié et experts propres à chaque morphologie, et une seule politique pilote alors les sept mains. Dans cette architecture, des « slots d'action » alignés sur les fonctions atteignent 47,7 % de succès moyen. Les coordonnées natives font 47,0 % et DexLatent 33,1 %.

Le résultat contredit l'idée qu'il suffirait de concaténer ou d'élargir l'espace d'action d'un VLA existant pour couvrir de nouvelles mains. L'échec quasi total de π0.5 à 80 dimensions montre que la dimension de sortie n'est pas un simple paramètre à augmenter. Pour les fabricants de mains dextres et les intégrateurs, la perspective d'une seule politique partagée entre morphologies reste ouverte, mais elle dépend de la combinaison pré-entraînement, architecture et représentation. Un changement de coordonnées seul ne l'apporte pas. L'écart entre slots fonctionnels (47,7 %) et coordonnées natives (47,0 %) est minime, et les auteurs ne donnent pas de dispersion dans le résumé. Il est donc prudent de n'y voir qu'un avantage marginal. Le chiffre le plus net est l'infériorité de DexLatent (33,1 %). Surtout, un succès moyen proche de 48 % montre que le problème est loin d'être résolu pour un usage industriel.

Le travail répond à une prolifération de mains dextres qui rend peu réaliste la collecte de données et l'entraînement séparés pour chaque morphologie. Jusqu'ici, les études cross-embodiment variaient en même temps les mains, les tâches, les jeux de données et les interfaces de contrôle, ce qui empêchait d'isoler l'effet de la représentation, du pré-entraînement et de l'architecture. DexJoCo-X vise à combler ce manque. Il s'inscrit dans la famille des politiques VLA de type π0.5, avec Ego-Pi et Being-H0.5 comme variantes testées. Il s'agit d'un benchmark de recherche, sans produit ni déploiement réel annoncé, et le résumé ne précise pas si les résultats sont obtenus en simulation ou sur matériel. La suite logique serait l'adoption du protocole par d'autres équipes pour comparer de nouvelles architectures à action unifiée.

À lire aussi

TacO : évaluation comparative des capteurs tactiles pour la manipulation d'objets
Illustration générée par IA
1arXiv cs.RO 

TacO : évaluation comparative des capteurs tactiles pour la manipulation d'objets

Des chercheurs ont publié sur arXiv (réf. 2605.21976) un cadre d'évaluation systématique baptisé TacO, conçu pour comparer les capteurs tactiles sur des tâches de manipulation robotique concrètes. Quatre modalités ont été mises à l'épreuve : capteurs visuels (à base de caméra et d'élastomère), acoustiques, magnétiques et résistifs, testés sur trois scénarios représentatifs de l'assemblage industriel : pick-and-place avec masse inconnue, réorientation d'objet en main, et insertion de connecteur. Pour chaque tâche, des politiques de manipulation distinctes ont été entraînées, puis évaluées selon les propriétés intrinsèques de chaque capteur : résolution spatiale, détection du cisaillement (shear sensing), représentation tactile, et friction du matériau de contact. L'ensemble des capteurs, du code, des données et des configurations matérielles sera rendu public sur le site du projet. Ce travail remet en cause une hypothèse structurante de la communauté robotique : que le toucher améliore systématiquement les performances de manipulation. TacO montre au contraire que l'utilité de l'information tactile dépend fortement de la modalité du capteur, des propriétés mécaniques des matériaux et de la nature exacte de la tâche. Cette nuance a des implications directes pour les intégrateurs et les équipes R&D : choisir un capteur tactile sans référence à la tâche cible relève du pari. Pour les COO et décideurs industriels qui évaluent des solutions de manipulation complexe (assemblage, insertion, tri de pièces), TacO fournit un étalon comparatif là où n'existait jusqu'ici que du consensus non quantifié. Il faut noter que les métriques de performance détaillées par tâche ne sont pas divulguées dans le préprint, ce qui limite l'interprétation sans accès au papier complet. Le besoin de ce benchmark s'inscrit dans une dynamique plus large : le succès des approches vision-language-action (VLA) et de l'apprentissage par démonstration a repoussé les limites du manipulation standard, mais ces méthodes butent sur les tâches à contact riche, où le retour visuel seul ne suffit pas. Plusieurs capteurs font figure de références sectorielles -- GelSight et DIGIT pour le tactile visuel, ReSkin pour le magnétique, des matrices résistives pour la pression -- mais aucune comparaison tête-à-tête rigoureuse ne permettait aux équipes de justifier leur choix. TacO comble ce vide méthodologique. Les prochaines étapes naturelles incluent l'extension à des tâches bi-manuelles, à des environnements moins contrôlés, et l'intégration de ces résultats dans les pipelines d'entraînement de politiques généralisées comme Pi-0 ou GR00T N2.

UELes équipes R&D et intégrateurs européens travaillant sur la manipulation à contact riche pourront s'appuyer sur ce benchmark open-source pour justifier objectivement leurs choix de capteurs tactiles, comblant un vide méthodologique jusqu'ici non quantifié.

RecherchePaper
1 source
Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle
Illustration générée par IA
2arXiv cs.RO 

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé. L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable. Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

RecherchePaper
1 source
De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée
Illustration générée par IA
3arXiv cs.RO 

De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée

Des chercheurs proposent CPR, un cadre d'apprentissage en deux étapes qui apprend à des politiques de manipulation robotique des représentations prédictives complémentaires à partir de clips vidéo multi-vues. Lors du pré-entraînement, un modèle de fondation 3D gelé fournit des caractéristiques géométriques denses, compressées en représentations géométriques prédictives. Celles-ci sont optimisées pour préserver la structure de la scène et son évolution temporelle. Une supervision par l'action est ensuite appliquée aux transitions géométriques afin d'extraire une représentation motrice complémentaire, centrée sur les transitions pertinentes pour l'action. En post-entraînement, la géométrie prédictive est transférée au moyen de requêtes de géométrie (geometry queries), tandis que la représentation motrice guide les caractéristiques intermédiaires le long du chemin de génération d'actions. Les observations futures ne servent que de supervision privilégiée à l'entraînement et ne sont pas nécessaires à l'inférence. L'évaluation couvre les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que des tâches réelles bimanuelles et à un seul bras. Le gain absolu atteint 10,4 points de pourcentage sur l'évaluation WidowX. Les auteurs annoncent aussi un transfert vers plusieurs architectures VLA (vision-langage-action) et vers des WAM (modèles d'action du monde), avec des progrès en prédiction du monde futur comme en prédiction d'actions. Le code doit être publié sur GitHub (dépôt xuxiaoxxxx/CPR), mais ne l'est pas encore. Ce travail s'attaque à une question laissée ouverte : comment représenter la géométrie prédictive pour qu'elle serve réellement à générer des actions. Les approches existantes se limitent à enrichir la politique avec la géométrie des observations courantes, ou à ajouter la prédiction du futur comme simple supervision auxiliaire. Séparer la représentation géométrique de la représentation motrice, puis ne garder que les requêtes et le guidage au moment de l'inférence, évite de dépendre d'images futures coûteuses ou indisponibles en déploiement. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la compatibilité annoncée avec plusieurs architectures VLA : l'approche se présente comme un module de pré-entraînement réutilisable, pas comme une politique de plus. Il faut toutefois rester prudent. Les gains les plus chiffrés viennent de benchmarks simulés, notamment SimplerEnv avec WidowX, dont le rapport à la fiabilité en production reste faible. Le résumé ne donne ni taux de réussite absolus, ni nombre d'essais réels, ni temps de cycle, ni coût de calcul du pré-entraînement. Il s'agit d'un preprint non évalué par des pairs. Le travail s'inscrit dans la course à la manipulation généraliste fondée sur des VLA, où les modèles de fondation visuels et 3D sont de plus en plus réutilisés comme briques de perception. Les benchmarks cités, LIBERO et LIBERO-Plus (robustesse aux perturbations) et SimplerEnv (évaluation reproductible de politiques réelles en simulation), sont devenus des références courantes mais restent des proxys imparfaits. La suite dépendra de la publication du code et de réplications indépendantes, en particulier sur des tâches longues et des plateformes différentes de WidowX. Aucun pilote industriel ni calendrier de commercialisation n'est annoncé.

RecherchePaper
1 source
Passage à l'échelle de la manipulation dextre par préentraînement de représentations d'actions
Illustration générée par IA
4arXiv cs.RO 

Passage à l'échelle de la manipulation dextre par préentraînement de représentations d'actions

Une équipe de chercheurs propose ARPG (Action Representation Pretraining and Generation), une méthode qui sépare explicitement l'apprentissage des représentations d'actions de la génération d'actions pour la manipulation dextre. Dans un premier temps, un encodeur de représentation d'actions est pré-entraîné sur des données de manipulation humaine à grande échelle. Il est ensuite figé, puis un modèle génératif compact de 130 millions de paramètres apprend les distributions d'actions conditionnées par la tâche, directement dans l'espace de représentation de l'encodeur. Les auteurs annoncent des résultats de pointe sur le benchmark DexJoCo. Sur la manipulation dextre bimanuelle, le taux de succès moyen passe de 10,1 % pour π0.5 à 44,7 %. Des expériences de passage à l'échelle montrent aussi qu'une couverture plus large des comportements humains améliore les performances en aval. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu tient au goulot d'étranglement que le secteur rencontre sur la dextérité. Le pré-entraînement massif en vision, langage et vidéo a nettement amélioré la perception et la généralisation des modèles de manipulation. La génération d'actions complexes reste en revanche limitée par la rareté des démonstrations robotiques, qui doivent servir à apprendre à la fois la représentation des actions et leur distribution selon la tâche. En déplaçant le premier problème vers des données humaines, bien plus abondantes, ARPG suggère que la représentation d'actions constitue une dimension de passage à l'échelle indépendante, distincte de la taille du modèle ou du volume de démonstrations robot. Pour les intégrateurs et les équipes R&D, c'est une piste pour réduire le coût de collecte de téléopération. Un backbone de 130 millions de paramètres, très inférieur aux VLA de plusieurs milliards, pourrait aussi faciliter l'inférence embarquée. Une prudence s'impose toutefois : les chiffres proviennent d'un benchmark, probablement en simulation, et d'un article non encore évalué par les pairs. Le gain de 10,1 % à 44,7 % reste à confirmer sur matériel réel, et le taux de succès absolu demeure sous la barre de fiabilité qu'exige un usage industriel. Ce travail s'inscrit dans la course aux modèles généralistes de type VLA (vision-langage-action), dont π0.5 de Physical Intelligence sert ici de référence. Plusieurs acteurs exploitent déjà des vidéos et données humaines pour compenser le manque de données robotiques, notamment autour de GR00T chez NVIDIA ou de Helix chez Figure. Le texte ne précise ni code ni poids publiés, ni calendrier de validation sur robot physique. La suite logique serait des tests sur mains dextres réelles et une évaluation face à d'autres VLA récents. Il faudra aussi vérifier si la tendance se poursuit avec des corpus humains plus vastes et plus variés.

RecherchePaper
1 source