RecherchearXiv cs.RO 18 mai 2026

DexJoCo : un benchmark et une boîte à outils pour la manipulation dextérique orientée tâche sur MuJoCo

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a mis en ligne DexJoCo, un benchmark et toolkit open-source pour la manipulation dextre orientée tâches, construit sur le simulateur physique MuJoCo. Publié sur arXiv en mai 2025 (arXiv:2605.16257), il comprend 11 tâches fonctionnellement ancrées couvrant quatre capacités ciblées : utilisation d'outils, coordination bimanuelle, exécution à long horizon et raisonnement. Les chercheurs ont développé un système de collecte de données bas coût et constitué un dataset de 1 100 trajectoires annotées réparties sur l'ensemble des tâches. Le benchmark permet d'évaluer les politiques sous plusieurs configurations : randomisation visuelle et dynamique pour tester la robustesse au transfert sim-to-real, entraînement multi-tâches, et adaptation de têtes d'action. Une analyse empirique extensive identifie plusieurs limitations communes aux approches actuelles, sans toutefois les détailler dans le résumé disponible.

Ce qui distingue DexJoCo des benchmarks existants, selon ses auteurs, c'est qu'il cible précisément les capacités exclusives aux mains dextres multi-doigts, là où les évaluations existantes restent souvent réplicables avec de simples préhenseurs parallèles à deux mâchoires. Pour les chercheurs et équipes R&D travaillant sur les politiques robotiques (imitation learning, reinforcement learning), un pipeline d'évaluation standardisé facilite les comparaisons reproductibles entre architectures. L'inclusion de la randomisation de domaine est particulièrement pertinente : c'est le critère qui conditionne le passage du simulateur au robot physique, verrou central entre recherche académique et déploiement industriel. Les lacunes identifiées dans l'analyse empirique constituent un signal utile pour orienter les prochaines générations de modèles VLA (Vision-Language-Action) appliqués à la dextérité.

La manipulation dextre connaît un regain d'intérêt depuis 2023, portée par les avancées hardware (Shadow Dexterous Hand, Allegro Hand, LEAP Hand) et l'essor de l'imitation learning à grande échelle. Des benchmarks comme DexMV (Carnegie Mellon), OAKINK (Shanghai Jiao Tong University) ou DexArt ont tenté d'établir des standards, mais la communauté manque d'un référentiel intégrant collecte, randomisation et évaluation multi-modèles dans un seul pipeline. DexJoCo s'appuie sur MuJoCo, racheté par DeepMind en 2021 et devenu standard de facto. La mise à disposition du dataset et du toolkit sur dexjoco.github.io vise à réduire les barrières à l'entrée. Les prochaines étapes attendues dans ce champ incluent la validation sur hardware physique et l'intégration de modèles fondation spécialisés comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) parmi les baselines de référence.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

AM-Bench : une suite de simulation modulaire et un benchmark pour l'apprentissage de politiques de manipulation aérienne

Des chercheurs présentent AM-Bench, une suite de simulation modulaire et un benchmark dédiés à l'apprentissage de politiques de contrôle pour la manipulation aérienne, c'est-à-dire des drones multirotors équipés de bras manipulateurs. Décrit dans un article arXiv publié début septembre 2026, l'outil couvre des architectures robotiques représentatives allant des systèmes sous-actionnés aux systèmes pleinement ou sur-actionnés, avec 12 tâches réparties en trois catégories : contact, transport d'objets et interaction sous contrainte. AM-Bench intègre des perturbations aérodynamiques configurables, une modélisation de la saturation des actionneurs, des contrôleurs bas niveau standardisés ainsi que des algorithmes de référence pour l'apprentissage de politiques. Les auteurs valident l'outil via trois études en simulation portant respectivement sur les politiques de haut niveau, les interfaces entre politique et contrôle, et les différentes architectures robotiques, complétées par une validation partielle sur banc matériel réel. Pour l'industrie robotique, cet outil comble un vide méthodologique réel : la quasi-totalité des benchmarks de manipulation existants suppose une base fixe ou terrestre, alors que la manipulation aérienne ajoute un couplage dynamique complexe entre le bras et la plateforme volante, plus sensible aux perturbations environnementales et aux degrés de liberté restreints. En permettant une évaluation systémique, et non plus seulement une mesure de performance de bout en bout, AM-Bench donne aux équipes de recherche et aux intégrateurs un cadre commun pour comparer objectivement embodiment, contrôle et choix algorithmiques, un enjeu direct pour les applications d'inspection, de maintenance en hauteur ou de logistique aérienne où le drone manipulateur reste largement au stade expérimental. Le projet s'inscrit dans la continuité des travaux sur les benchmarks standardisés qui ont structuré les progrès de l'apprentissage de la manipulation robotique au sol ces dernières années, un mouvement qu'AM-Bench cherche explicitement à étendre au domaine aérien, resté à la traîne faute d'outils communs. L'article ne mentionne ni partenaire industriel ni acteur français ou européen impliqué, et reste à ce stade une contribution académique en open source plutôt qu'un produit commercial : les auteurs annoncent une validation matérielle réelle mais limitée, laissant ouverte la question de l'adoption par la communauté et d'un éventuel élargissement des tâches et des plateformes couvertes dans de futures versions.

RecherchePaper

1 source

2arXiv cs.RO

IMBench : un benchmark pour la manipulation robotique intuitive

Une équipe de recherche publie IMBench, un nouveau benchmark conçu pour évaluer ce qu'elle appelle la « manipulation intuitive » des robots, c'est-à-dire la capacité à combiner raisonnement physique et exécution motrice de façon intégrée, plutôt que de tester ces deux compétences séparément. L'article, déposé sur arXiv le 15 juillet 2026, propose un jeu de 35 tâches couvrant la manipulation avec contact riche, l'usage d'outils et les dépendances multi-étapes, accompagné de 14 000 trajectoires filtrées et d'outils permettant de générer de nouveaux scénarios à l'échelle. Contrairement aux benchmarks existants, IMBench exige des modèles qu'ils identifient d'abord la structure physique pertinente d'une scène (poids, friction, contraintes géométriques) avant de produire une séquence d'actions exécutable sous contraintes explicites. Les auteurs ont testé à la fois des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) de dernière génération sur cet ensemble de tâches. Les résultats mettent en évidence un écart systématique dans les systèmes actuels : les VLM montrent une capacité de raisonnement physique partielle mais ne parviennent pas à traduire ce raisonnement en plans d'action exécutables, tandis que les VLA de pointe échouent à respecter les contraintes des tâches et généralisent mal d'un scénario à l'autre. Pour l'industrie robotique, ce constat confirme un doute déjà répandu chez les intégrateurs : la performance affichée par les politiques génératives sur des démonstrations contrôlées ne garantit pas une compréhension physique transférable à des scènes nouvelles. IMBench propose ainsi une mesure plus rigoureuse pour distinguer les systèmes qui « comprennent » réellement une scène de ceux qui reproduisent des schémas d'entraînement. Ce travail s'inscrit dans une vague récente de benchmarks cherchant à combler le fossé entre évaluation en simulation et déploiement réel, alors que des modèles comme GR00T N2, Pi-0 ou Helix visent une manipulation généraliste dans des environnements variés. En isolant explicitement la composante « raisonnement intuitif » comme axe manquant des politiques robotiques actuelles, les auteurs positionnent IMBench comme un outil de diagnostic pour orienter les prochaines générations de modèles fondation en robotique, plutôt que comme un simple classement de performance brute.

RecherchePaper

1 source

3arXiv cs.RO

DexCompose : réutiliser des politiques dextériques pour la manipulation multi-tâche avec une seule main

DexCompose est un framework de composition de politiques robotiques présenté dans une prépublication arXiv (identifiant 2606.28323) en juin 2026. Son objectif : permettre à une main robotique dextère d'enchaîner plusieurs tâches sans réentraîner les politiques existantes depuis zéro. Le système atteint un taux de succès composite moyen de 77,4 % sur 16 tâches combinées, construites en croisant quatre compétences de rétention d'objet avec quatre interactions aval. L'ensemble de l'évaluation est conduit en simulation ; aucune validation sur hardware réel n'est présentée dans ce papier. Le problème central que DexCompose attaque est celui de l'interférence destructive entre politiques : lorsqu'une main doit simultanément maintenir une prise (tâche 1) et exécuter une nouvelle action (tâche 2), les deux politiques se disputent le contrôle des mêmes doigts, avec des conflits de modes de contact qui dégradent les deux. La réponse proposée est une notion de propriété d'action au niveau du doigt (finger-level action ownership) : le système identifie d'abord quels doigts sont nécessaires au maintien du résultat de la première compétence via des tests de relâche sur des masques candidats, puis entraîne deux modules résiduels asymétriques. Un stabilisateur résiduel borné préserve la tâche en cours ; un résiduel contextuel n'adapte la politique aval que dans le sous-espace d'action assigné à la nouvelle tâche. Pour les ingénieurs en manipulation, cela réduit potentiellement le coût de réentraînement à chaque nouvelle combinaison de tâches, sans toucher aux politiques de base préentraînées. La manipulation dextère multi-tâches avec une seule main est un problème ouvert depuis des années, les approches classiques de chaînage de politiques (policy chaining) échouant précisément sur ces conflits de contact. Des groupes chez Stanford, CMU ou Google DeepMind travaillent sur des architectures voisines, et des mains commerciales comme la Shadow Hand ou l'Allegro Hand constituent les bancs de test habituels du domaine. DexCompose se positionne comme une alternative structurée au fine-tuning complet ou aux hiérarchies de contrôleurs. Le gap sim-to-real sur la manipulation dextère reste cependant le défi non résolu de la discipline, et ce papier, encore en prépublication, n'y répond pas : une validation physique sur hardware réel constituerait l'étape déterminante avant toute considération industrielle.

RecherchePaper

1 source

4arXiv cs.RO

UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI

Une équipe de recherche a déposé le 10 juin 2026 le preprint arXiv 2606.10382 décrivant UMI-Bench 1.0, présenté comme le premier benchmark entièrement dédié à l'évaluation en conditions réelles de politiques de manipulation robotique entraînées via l'Universal Manipulation Interface (UMI). Le benchmark cible la manipulation d'objets sur table (tabletop manipulation) et couvre l'intégralité de la chaîne de validation : collecte de données, réinitialisation de scène entre essais, exécution de politique, journalisation des résultats et analyse par facteurs de tâche. Il opère en mode "local-first", c'est-à-dire que les évaluations tournent directement sur robot réel, sans couche de simulation intermédiaire. L'UMI couple observations depuis une caméra montée au poignet, représentation des actions, collecte de démonstrations humaines et déploiement physique, une architecture dont les performances dépendent de la cohérence de chaque maillon. Ce benchmark répond à un problème structurel de l'apprentissage par imitation : l'absence de protocole standardisé conduit chaque équipe à évaluer ses politiques dans des conditions non comparables, ce qui rend la littérature difficile à arbitrer pour un intégrateur ou un décideur industriel. En rendant le processus reproductible et auditable, UMI-Bench permet de mesurer concrètement dans quelle mesure une politique entraînée sur des démonstrations généralise à des configurations physiques inédites, ce que les chercheurs appellent la sim-to-real (ici demo-to-real) generalization. C'est un enjeu central pour les politiques de diffusion (Diffusion Policy) et les VLA (Vision-Language-Action models), dont les performances en démonstration sélectionnée restent difficiles à quantifier sans infrastructure de test commune. L'UMI a été introduit en 2023-2024 par Cheng Chi et al. (Columbia University) comme interface portable de collecte de démonstrations : un opérateur guide un gripper équipé d'une caméra et d'un module de localisation, et les trajectoires servent directement à entraîner des politiques. Le paysage concurrent des benchmarks comprend LIBERO, DROID et le framework LeRobot de Hugging Face, qui proposent leurs propres protocoles mais sans calibration spécifique pour le pipeline UMI. L'étape logique suivante serait l'intégration de modèles fondationnels comme pi-0 (Physical Intelligence) ou OpenVLA dans ce protocole de référence, et l'extension à des tâches multi-étapes.

RecherchePaper

1 source