RecherchearXiv cs.RO 16 octobre 2026

Evo-DexBench : évaluer la généralisation entre tâches connexes en manipulation dextre

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Evo-DexBench, un nouveau benchmark publié sur arXiv (2610.21180), vise à mesurer la capacité des politiques de manipulation dextre à transférer des connaissances entre tâches apparentées à partir de très peu de démonstrations. Il comprend 30 tâches réparties en six familles fonctionnelles, ainsi qu'un pipeline de téléopération en réalité virtuelle. Le jeu de données couvre trois scènes du quotidien par tâche et contient 1 248 démonstrations multimodales, collectées en simulation avec des mains Shadow Hand équipées de 123 taxels (capteurs tactiles). Le meilleur algorithme testé n'atteint que 38,5 % de réussite en moyenne. Le benchmark et le dataset sont publiés en accès libre.

Le principe central, baptisé Core-Gen, distingue des tâches Core, apparentées et partageant une même interaction fonctionnelle, qui fournissent la connaissance source, et une tâche Gen, nouvelle mais de la même famille, pour laquelle seules quelques démonstrations sont disponibles. Les auteurs jugent que les benchmarks existants fournissent trop de démonstrations cibles et ne contrôlent pas l'écart entre tâches source et cible, ce qui empêche de distinguer un vrai transfert d'une simple mémorisation. Deux résultats ressortent de l'analyse. L'entraînement conjoint Core+Gen améliore le taux de réussite de 12 % et 38 % sur les deux tâches étudiées, par rapport à un pré-entraînement sur Core suivi d'un fine-tuning sur Gen. Par ailleurs, des données Core alignées fonctionnellement avec la cible apportent plus de gain que des données non alignées.

Pour les équipes qui développent des politiques de manipulation dextre, et pour les intégrateurs qui évaluent les promesses des modèles généralistes, ce travail rappelle que la généralisation à partir de peu d'exemples reste mal résolue : un score inférieur à 40 % sur des tâches pourtant proches de celles vues à l'entraînement tempère les démonstrations spectaculaires. Il suggère aussi des choix de conception concrets : privilégier l'entraînement conjoint et constituer des corpus structurés par fonction plutôt que par volume. Des réserves s'imposent toutefois : les résultats viennent uniquement de la simulation, sans validation sur matériel réel, et l'écart sim-to-real, notamment pour le tactile, n'est pas traité. L'échelle (1 248 démonstrations) reste modeste, et les gains de 12 % et 38 % ne portent que sur deux tâches.

Le travail s'inscrit dans la montée des modèles vision-langage-action et des jeux de données de téléopération pour mains à haut nombre de degrés de liberté, où les évaluations existantes mélangent souvent mémorisation et généralisation. Evo-DexBench propose un protocole plus strict, que les acteurs développant des mains dextres et des modèles généralistes pourront utiliser comme référence commune. Les prochaines étapes naturelles seraient l'extension à d'autres mains, la validation sur robots physiques et la comparaison avec des modèles de fondation de grande taille, mais aucune échéance n'est annoncée.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement

Le laboratoire à l'origine de ce papier arXiv (identifiant 2603.28545, version 2, soumission de type remplacement) présente ManipArena, un cadre d'évaluation standardisé pour la manipulation robotique en conditions réelles. Le benchmark couvre 20 tâches distinctes, s'appuie sur 10 812 trajectoires expertes et 13,5 millions d'images, pour un total d'environ 188 heures de fonctionnement robotique cumulées sur des scénarios de manipulation de table et de manipulation mobile. Le protocole combine variation de tâches définie par schéma, essais stratifiés en distribution, en décalage visuel et hors distribution sémantique, notation par crédit partiel au niveau des sous-tâches, annotations linguistiques à trois niveaux de granularité, signaux moteurs bas niveau, et environnements simulés jumeaux reconstruits à partir de scènes physiques réelles. Les chercheurs ont utilisé ce dispositif pour évaluer sept configurations de manipulation de table, couvrant à la fois des modèles vision-langage-action (VLA) et des modèles dits world-action. L'enjeu dépasse la simple création d'un nouveau jeu de tests. Les benchmarks en simulateur, bien que reproductibles et faciles à mettre à l'échelle, ne capturent pas fidèlement l'écart entre simulation et réel, ce dernier étant causé par le bruit de perception, la dynamique de contact, la latence et les erreurs de calibration. À l'inverse, les évaluations sur robots physiques existantes sont dispersées entre plateformes, scènes et règles de notation différentes, ce qui rend toute comparaison rigoureuse quasi impossible. Résultat clé de l'étude: les performances mesurées sur robot réel ne dépendent pas seulement de l'architecture du modèle, mais aussi de sa provenance, du régime de fine-tuning, de l'échantillonnage des données d'entraînement et de la granularité des annotations. Pour les intégrateurs et décideurs industriels, ce constat invite à relativiser fortement les annonces de performance basées uniquement sur des démonstrations vidéo ou des scores en simulation. Ce travail s'inscrit dans la course actuelle autour des modèles généralistes de contrôle robotique (VLA et world-action), un domaine où les affirmations de généralisation restent difficiles à vérifier faute de méthodologie commune. En proposant un référentiel reproductible avec attribution fine des échecs, ManipArena vise à devenir un outil diagnostique de référence pour mesurer les véritables limites de capacité de ces modèles, plutôt qu'un simple classement de plus.

RecherchePaper

1 source

2arXiv cs.RO

Sumo : la loco-manipulation dynamique et généralisable du corps entier

Un institut de recherche a publié via arXiv (article 2604.08508, troisième révision) un travail intitulé "Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation", mené sur les serveurs du RAI Institute (ex-Boston Dynamics AI Institute, hébergé sur rai-inst.com). La méthode combine sim-to-real et pilotage en temps réel: une politique de contrôle corps entier pré-entraînée est guidée au moment de l'exécution par un planificateur basé sur l'échantillonnage, sans réentraînement supplémentaire. Les chercheurs ont testé l'approche sur un robot quadrupède Spot (Boston Dynamics) dans le monde réel, avec deux tâches marquantes: redresser un pneu plus lourd que la capacité de levage nominale du robot, et traîner une barrière anti-émeute plus grande et plus haute que l'engin lui-même. Le système s'est aussi montré capable de généraliser à une variété d'objets et de tâches sans réglage additionnel, la fonction de coût pouvant être ajustée à la volée. En simulation uniquement, les auteurs étendent la méthode à un humanoïde pour ouvrir une porte et pousser une table. Code et vidéos sont publiés sur sumo.rai-inst.com. L'intérêt principal tient à la généralisation obtenue sans réentraînement par objet: une seule politique, pilotée différemment selon le contexte, remplace la logique habituelle d'entraînement dédié à chaque tâche de manipulation. Pour les intégrateurs et les équipes de R&D en robotique mobile, cela suggère une voie pour dépasser les limites de charge utile nominale annoncées par les constructeurs, un enjeu concret en logistique, chantier ou intervention d'urgence où les objets à déplacer dépassent souvent les specs du robot. Il faut toutefois noter que les résultats humanoïdes ne sont validés qu'en simulation, sans transfert réel démontré, et qu'aucun chiffre précis de masse, de temps de cycle ou de taux de réussite n'est communiqué dans le résumé, ce qui invite à la prudence avant de parler de percée généralisée. Le RAI Institute a été fondé par Marc Raibert, également fondateur de Boston Dynamics, comme structure de recherche indépendante à but non lucratif détachée de la feuille de route produit de Boston Dynamics. Spot reste la plateforme quadrupède commerciale de Boston Dynamics, ici réutilisée comme banc d'essai académique plutôt que comme produit vendu. Ce travail se distingue des approches dominantes du moment fondées sur des modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, en misant sur la planification par échantillonnage plutôt que sur un grand modèle appris de bout en bout. Les prochaines étapes attendues concernent la validation réelle du volet humanoïde, actuellement cantonné à la simulation.

RecherchePaper

1 source

3arXiv cs.RO

LIBERO-Agent : évaluation d'agents généralistes pour la manipulation incarnée directe

Des chercheurs publient sur arXiv LIBERO-Agent, un benchmark qui teste si les agents généralistes savent piloter directement un robot manipulateur. Ces agents planifient, utilisent des outils et corrigent leur comportement à partir de retours. Les approches existantes leur demandent soit de soumettre un programme Python de contrôle pour toute la tâche, soit d'appeler des compétences robotiques de haut niveau. Ici, l'agent évolue dans un environnement interactif. Il choisit les observations à consulter, les traite avec ses propres outils et émet des commandes d'action natives. Le benchmark réunit 200 tâches dans un cadre commun. Sa suite principale compte 30 tâches, réparties pour isoler la perception, l'exécution à court horizon et la composition à long horizon. Les agents réussissent bien la perception et les tâches courtes faciles, mais leurs scores chutent nettement sur les tâches courtes difficiles et sur les séquences longues. GPT-6 Astra obtient la meilleure performance globale. Le résultat nuance l'idée que les capacités agentiques acquises dans les environnements numériques se transfèrent mécaniquement au monde physique. Le goulot d'étranglement est la fiabilité, pas la compréhension de la scène. Pour un intégrateur ou un COO industriel, un agent généraliste n'est donc pas, en l'état, un substitut crédible à un modèle VLA (vision-langage-action) entraîné sur des données d'action. Les auteurs notent que des observations plus riches améliorent la manipulation à court horizon, alors que l'effet des démonstrations dépend de l'agent et du format. L'avantage de GPT-6 Astra tient surtout à l'interaction avec des mécanismes, en particulier quand un contact physique prolongé est nécessaire. Ses échecs restants viennent d'interférences entre étapes successives et d'erreurs géométriques. Ce travail s'inscrit dans la course entre deux voies. La première est celle des VLA spécialisés comme Pi-0, GR00T N2 ou Helix, entraînés sur des données de manipulation. La seconde consiste à réutiliser des modèles généralistes comme agents. LIBERO-Agent est un outil d'évaluation, pas un produit ni un déploiement. Le résumé ne précise ni matériel réel, ni temps de cycle, ni coût d'inférence, ni comparaison directe avec les VLA, des données indispensables avant toute lecture industrielle. La suite logique est l'adoption du benchmark par d'autres laboratoires et sa confrontation aux modèles robotiques dédiés.

RecherchePaper

1 source

4arXiv cs.RO

H2R-Bench : évaluation de la génération vidéo de manipulation humain-robot dans les modèles du monde

Des chercheurs ont publié le 14 août 2026 sur arXiv (2608.13049) un nouveau benchmark baptisé H2R-Bench, conçu pour évaluer la capacité des modèles de génération vidéo à transformer des démonstrations de manipulation humaines filmées à la première personne en vidéos de manipulation robotique correspondant à un embodiment cible. Chaque instance du benchmark associe une vidéo de démonstration humaine, des contraintes d'embodiment robotique, et des annotations ancrées dans la source couvrant les objectifs de tâche, les événements d'action, les contacts fonctionnels et les réactions des objets manipulés. L'évaluation repose sur cinq dimensions : l'atteinte de l'état final visé, la complétude des événements d'action, le transfert des contacts fonctionnels, la cohérence de l'embodiment et la qualité vidéo générale. Les auteurs ont testé onze modèles de génération vidéo de pointe sur six familles de tâches de manipulation et deux embodiments robotiques distincts. Résultat principal : même les modèles les plus performants échouent souvent sur la cohérence d'embodiment, l'interaction fonctionnelle avec les objets et l'exécution correcte de la tâche. Ce constat touche un point sensible de l'apprentissage robotique : la collecte de démonstrations réelles sur robot reste coûteuse et difficile à faire monter en échelle, alors que les vidéos humaines égocentriques sont abondantes et bon marché. Convertir ces vidéos humaines en données d'entraînement robot-centriques via des modèles de monde vidéo est envisagé depuis plusieurs mois comme une voie pour contourner ce goulot d'étranglement, notamment pour entraîner des politiques VLA. H2R-Bench montre que cette promesse reste largement non tenue en pratique : la différence morphologique entre mains humaines et effecteurs robotiques continue de casser la cohérence physique des vidéos générées. Pour les intégrateurs et laboratoires qui envisagent la génération vidéo synthétique comme substitut à la téléopération, ce résultat invite à la prudence sur la maturité réelle de cette approche. Le travail s'inscrit dans la vague plus large des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de brique de simulation ou de source de données synthétiques. Jusqu'ici, l'évaluation de ces modèles se limitait souvent à la qualité visuelle brute, sans mesurer si la vidéo générée respecte les contraintes physiques et fonctionnelles d'un robot donné. H2R-Bench comble ce vide avec un cadre diagnostique systématique et réutilisable pour les futurs modèles. Il ne s'agit pas d'une annonce produit ni d'un partenariat industriel, mais d'un travail de recherche évaluative destiné à orienter la prochaine génération de modèles capables de combler l'écart d'embodiment entre humains et robots.

RecherchePaper

1 source