Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

BiDex-100 : un banc d'essai complet pour la manipulation dextre bimanuelle sur plus de 100 tâches en simulation

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

BiDex-100, un nouveau banc d'essai en simulation publié sur arXiv par l'équipe Robbyant Research, cible la manipulation bimanuelle dextre, c'est-à-dire l'usage coordonné de deux mains robotiques à nombreux degrés de liberté (DOF). Il regroupe 106 tâches réparties selon cinq axes de capacités : généralisation, suivi d'instructions, démonstrations limitées, longs horizons et mémoire. Chaque tâche existe aussi en variante hors domaine, avec des modifications visuelles et spatiales contrôlées, afin de mesurer la robustesse. Le benchmark prend en charge deux embodiments (morphologies robotiques) et fournit 8 080 démonstrations téléopérées dont le succès a été validé, soit 6,25 millions de trames. Les auteurs évaluent sept modèles VLA (Vision-Language-Action) récents selon un protocole unifié, et établissent ainsi des références par capacité, par robustesse et par efficacité en données. Les noms des modèles testés et leurs scores ne figurent pas dans le résumé.

L'intérêt tient à un déficit de mesure. La plupart des évaluations de VLA se concentrent sur des pinces parallèles ou des scènes à un seul bras, si bien que les capacités réelles de ces modèles avec des mains à haute dimensionnalité restent mal caractérisées. Un banc d'essai qui sépare la mémoire, le long horizon et la frugalité en données permet de savoir où un modèle échoue, plutôt que de se contenter d'un taux de succès global. La paire tâche/variante hors domaine s'attaque directement à l'écart entre démonstration et réalité, car elle teste si une politique survit à un simple changement d'apparence ou de position. Pour un intégrateur ou un décideur B2B, cela offre un critère de comparaison plus exploitable que des vidéos choisies. Il faut toutefois rester prudent : il s'agit d'une simulation, et rien ne garantit que les classements se transfèrent au matériel réel, ni que les démonstrations téléopérées représentent la variabilité d'un site industriel.

Le contexte est celui d'une course aux mains dextres et aux modèles d'action généralistes, portée par des acteurs comme Figure avec Helix, Tesla avec Optimus, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Chacun annonce des progrès en dextérité, mais selon des protocoles propres et rarement comparables. Des suites existantes comme RoboTwin, centrée sur la bimanualité, ou LIBERO, orientée tâches de table, ont servi de références, mais pas pour des mains à nombreux DOF. Cette version 2 de l'article remplace une première soumission, et le site du projet est hébergé par Robbyant Research. La suite dépendra de l'adoption de BiDex-100 par d'autres laboratoires et de la publication de résultats sur robots physiques.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon
1arXiv cs.RO 

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon

ManiUnit est un jeu de données et un benchmark de compétences de manipulation, construit à partir de 50 activités du simulateur BEHAVIOR-1K et publié sur arXiv en octobre 2026. Le jeu de données compte 137 899 segments répartis sur 21 types de compétences et 417 sous-tâches, tandis que le benchmark comprend 1 260 instances de test. Chaque segment est associé à une instruction explicite de sous-tâche. Le benchmark mesure aussi la sensibilité à des perturbations de la position initiale de la base mobile ou de la configuration articulaire du robot. Il restaure des états intermédiaires du simulateur et définit des conditions de succès locales, ce qui permet d'évaluer chaque compétence sans exécuter les étapes qui la précèdent. Sur deux activités à long horizon, une politique de compétence entraînée sur les segments ManiUnit atteint 78,7 % de succès local en manipulation, contre 49,3 % pour une politique de tâche entraînée sur des démonstrations complètes. Une fois coordonnées par un planificateur, politiques de tâche et de compétence font passer le succès sur la tâche complète de 4,0 % à 18,0 %. L'enjeu est de rendre diagnostiquables les échecs de la manipulation mobile à long horizon, où un robot doit traverser plusieurs pièces et enchaîner des compétences à partir d'une seule consigne en langage naturel. Les auteurs identifient trois difficultés. D'abord, des observations proches sous une même consigne rendent la sélection de la compétence ambiguë. Ensuite, même lorsqu'une compétence réussit, l'état du robot qu'elle transmet à la suivante peut s'écarter des états de départ démontrés et dégrader l'exécution. Enfin, les métriques au niveau de la tâche masquent les causes d'échec, puisqu'une défaillance précoce empêche de tester les étapes suivantes. Les évaluations de politiques vision-langage-action (VLA) représentatives montrent que des scores agrégés similaires peuvent cacher des écarts importants d'une compétence à l'autre. Sur le benchmark complet, les perturbations articulaires réduisent le taux de succès d'environ 56 % par rapport aux états de départ démontrés. Ce résultat appelle à la prudence face aux démonstrations de VLA mesurées sur des conditions initiales propres. Il faut toutefois relativiser la portée de ces chiffres : tout est mesuré en simulation, sur un nombre limité d'activités pour la comparaison compétence contre tâche, et un succès de 18,0 % sur la tâche complète reste très éloigné d'un seuil industriel. Les auteurs ne nomment pas ici les modèles VLA évalués. ManiUnit s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches domestiques de longue durée, et d'une tendance à décomposer les tâches en compétences réutilisables pilotées par un planificateur, plutôt qu'à entraîner une politique monolithique. Le gain obtenu avec le planificateur suggère que cette approche modulaire est plus prometteuse, mais elle dépend de la robustesse de chaque compétence face aux états hérités. Le jeu de données et le benchmark sont des ressources de recherche, sans calendrier de déploiement ni transfert vers le matériel réel annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle
2arXiv cs.RO 

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé. L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable. Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique
3arXiv cs.RO 

Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique

Une publication mise à jour sur arXiv (2603.06538, version 2) présente une méthode pour la manipulation bimanuelle robotique qui unifie deux niveaux de raisonnement temporel jusqu'ici traités séparément : la structure symbolique d'une tâche (quelles actions précèdent, suivent ou chevauchent les autres) et le calage concret de chaque main (instant de déclenchement, durée). Le système apprend ces contraintes à partir de démonstrations humaines et en dérive des plans d'exécution paramétrés dans le temps pour un robot à deux bras. Il combine trois briques : une représentation en trois dimensions des délais fondée sur des modèles de mélange gaussien multivariés pour le niveau subsymbolique, un algorithme dérivé de Davis-Putnam-Logemann-Loveland qui classe tous les assignements sans contradiction des relations d'Allen, correspondant aux différents modes d'exécution possibles d'une tâche, et un planificateur par optimisation qui fusionne ces contraintes symboliques et subsymboliques. Les auteurs montrent quantitativement que les contraintes symboliques inférées sont plus précises que celles d'approches heuristiques antérieures, et que les plans générés se rapprochent davantage des démonstrations humaines que la démonstration la plus caractéristique prise comme référence, avec des essais qualitatifs menés en simulation et sur robots réels dont le nombre et les spécifications ne sont pas détaillés. Coordonner deux bras exige de savoir non seulement quel geste doit en précéder un autre, mais exactement quand le déclencher et combien de temps lui accorder, faute de quoi les mouvements se désynchronisent ou entrent en collision, un problème central pour tout intégrateur déployant des cellules bimanuelles en assemblage ou en logistique. La plupart des pipelines existants séparaient la planification symbolique de haut niveau du calage bas niveau des trajectoires, créant une rupture entre la tâche planifiée et son exécution physique ; en réunissant les deux couches dans un cadre appris par démonstration, ce travail cible un angle mort fréquent de l'apprentissage par imitation, qui reproduit souvent des gestes isolés sans capturer la logique de coordination entre bras. Si les résultats se confirment hors laboratoire, cela réduirait le travail manuel de programmation des séquences et des temporisations, un poste coûteux dans le déploiement de robots à deux bras, et fournirait un argument concret face au scepticisme ambiant sur l'écart entre démonstrations soignées et robustesse en conditions réelles. La méthode s'inscrit dans la lignée des travaux de planification robotique s'appuyant sur l'algèbre des intervalles d'Allen, un formalisme classique pour raisonner sur des relations temporelles qualitatives, combiné ici à des modèles de mélange gaussien déjà employés en apprentissage par démonstration pour encoder la variabilité des trajectoires humaines. Les auteurs situent leur contribution par rapport à des approches heuristiques antérieures pour l'extraction de contraintes symboliques, sans nommer de système concurrent précis ni d'institution, le résumé publié restant volontairement générique sur les auteurs et le matériel robotique utilisé. À ce stade, il s'agit d'une contribution de recherche en prépublication, validée en simulation et sur banc réel, sans indication de transfert vers un produit commercial ou un pilote industriel identifié, ni de calendrier de suite annoncé.

RecherchePaper
1 source
Planification tenant compte de l'embodiment pour la manipulation bimanuelle hétérogène
4arXiv cs.RO 

Planification tenant compte de l'embodiment pour la manipulation bimanuelle hétérogène

Des chercheurs proposent, dans un preprint arXiv (2610.23551v1), un cadre de planification dit « embodiment-aware » pour la manipulation bimanuelle hétérogène. L'idée est d'associer deux bras équipés de préhenseurs simples et différents, ici une ventouse et une pince parallèle à mâchoires, afin de réaliser des tâches qu'aucun des deux ne peut accomplir seul. À partir d'une unique démonstration humaine qui décrit le mouvement souhaité de l'objet, le planificateur découpe la tâche en segments. Pour chacun, il décide si un seul bras suffit ou si un transfert coordonné entre les deux bras est nécessaire. Il raisonne conjointement sur la faisabilité de la saisie pour chaque préhenseur, les contraintes de mouvement, la manipulabilité des bras et la compatibilité entre préhenseurs. Le problème est formulé comme une optimisation à horizon fini sur l'affectation des trajectoires aux bras, avec une régularisation explicite des changements d'affectation pour obtenir une solution globalement cohérente. Les expériences ont été menées sur une plateforme à deux bras Franka FR3. Les auteurs annoncent une faisabilité et une fiabilité améliorées sur des tâches impossibles avec un seul préhenseur. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'essais. L'intérêt tient à une question très concrète pour les intégrateurs. Les cellules industrielles reposent presque toujours sur des ventouses ou des pinces parallèles, car ces outils sont robustes, bon marché et bien maîtrisés. Leur limite apparaît dès qu'une tâche enchaîne prise, réorientation, insertion et placement contraint. La réponse habituelle est une main dextre coûteuse et fragile, ou un changeur d'outil qui allonge le cycle. Ce travail défend une autre voie : composer des préhenseurs simples et complémentaires, et laisser le logiciel orchestrer les passages de main. Si la démarche se confirme, elle permettrait d'étendre des postes existants sans changer de technologie de préhension. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par des pairs, testé sur un seul montage de laboratoire. Rien n'est dit sur la robustesse face à des objets variés, sur le temps de calcul du planificateur ni sur le temps de cycle, qui reste le critère décisif en production. L'article ne prouve donc pas encore un avantage économique. Ce travail s'inscrit dans le courant de la manipulation par démonstration unique et de la planification de tâche et de mouvement (TAMP). Il se situe à côté des modèles vision-langage-action de type Pi-0 ou Helix, qui apprennent des politiques de bout en bout à partir de grandes quantités de données. Ici, l'approche est au contraire explicite et optimisée, donc plus interprétable, mais moins générale. Le choix du Franka FR3, plateforme de recherche répandue, facilite la reproduction par d'autres laboratoires. Les suites logiques seraient des essais sur des objets plus variés, des comparaisons chiffrées avec des mains dextres ou des changeurs d'outils, et une éventuelle intégration avec des politiques apprises. Aucun pilote industriel n'est annoncé.

RecherchePaper
1 source