RecherchearXiv cs.RO 9 novembre 2026

Voir ce qui compte : un banc d'essai de la croyance spatiale exploitable, conditionnée par la tâche, pour la manipulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un nouveau benchmark baptisé Seeing What Matters, décrit dans un article arXiv (2611.09794), s'attaque à une question précise de la manipulation robotique: quelle vue choisir, et quand. Il couvre trois domaines simulés de manipulation sur table (poste à café, tiroir/placard, micro-ondes/électroménager) et fournit 860 cas d'évaluation figés. En les croisant avec les méthodes, les budgets de vues et les répétitions d'inférence, les auteurs obtiennent plus de 115 000 épisodes d'évaluation, sous deux protocoles: l'actionnabilité en boucle fermée et la généralisation fonctionnelle hors distribution sur le même objet. Chaque cas associe plusieurs vues RGB candidates, une commande de manipulation, des compétences scriptées partagées et des postconditions cachées. Les auteurs proposent aussi un pipeline de référence à visée diagnostique, qui maintient un état de croyance spatio-fonctionnel et classe les vues selon les preuves qui leur manquent. Il atteint 98,8 % de succès en boucle fermée et 98,9 % en hors distribution fonctionnel, contre 26 à 43 % pour sept modèles vision-langage évalués sur les mêmes cas.

L'enjeu est de déplacer la mesure de la perception. Les benchmarks de raisonnement spatial testent surtout la capacité à décrire une scène, alors qu'un robot doit réunir l'observation qui rend la commande courante exécutable: une vue utile pour attraper la tasse peut être inutile pour le porte-filtre, sur le même poste. L'écart entre 98,8 % et 26-43 % suggère que les VLM généralistes, pourtant solides en description, restent faibles pour décider quoi regarder en fonction de la tâche. Pour les intégrateurs et équipes qui conçoivent des politiques VLA, cela invite à évaluer la sélection active des vues comme une compétence à part entière, et non comme un sous-produit de la compréhension de scène. Les ablations renforcent ce message: retirer les composants fonctionnels ou la liaison à la commande fait tomber les performances près de zéro, et remplacer les métadonnées de couverture par des scores dérivés du RGB conserve 98,5 % et 98,9 %, tandis que le mélange aléatoire de ces scores les fait chuter à 15 % et 11 %. Le résultat dépend donc bien du contenu des images.

Il faut toutefois lire ces chiffres avec prudence. Tout se passe en simulation, avec des compétences scriptées et des postconditions connues, ce qui isole la sélection des vues mais ne dit rien de la manipulation réelle ni du transfert sim-to-real. Le pipeline de référence est un outil de diagnostic conçu par les auteurs, pas un système concurrent entraîné de bout en bout, et son score proche de 99 % reflète en partie la structure du benchmark. Les domaines restent limités à trois scénarios domestiques ou de café. Le travail s'inscrit dans la montée des modèles vision-langage-action et des politiques généralistes, qui manquent encore de mesures dédiées à la perception active. Les suites logiques seraient des extensions à d'autres domaines, des tests sur robots réels et la comparaison avec des politiques apprises, mais aucune échéance n'est annoncée.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon

ManiUnit est un jeu de données et un benchmark de compétences de manipulation, construit à partir de 50 activités du simulateur BEHAVIOR-1K et publié sur arXiv en octobre 2026. Le jeu de données compte 137 899 segments répartis sur 21 types de compétences et 417 sous-tâches, tandis que le benchmark comprend 1 260 instances de test. Chaque segment est associé à une instruction explicite de sous-tâche. Le benchmark mesure aussi la sensibilité à des perturbations de la position initiale de la base mobile ou de la configuration articulaire du robot. Il restaure des états intermédiaires du simulateur et définit des conditions de succès locales, ce qui permet d'évaluer chaque compétence sans exécuter les étapes qui la précèdent. Sur deux activités à long horizon, une politique de compétence entraînée sur les segments ManiUnit atteint 78,7 % de succès local en manipulation, contre 49,3 % pour une politique de tâche entraînée sur des démonstrations complètes. Une fois coordonnées par un planificateur, politiques de tâche et de compétence font passer le succès sur la tâche complète de 4,0 % à 18,0 %. L'enjeu est de rendre diagnostiquables les échecs de la manipulation mobile à long horizon, où un robot doit traverser plusieurs pièces et enchaîner des compétences à partir d'une seule consigne en langage naturel. Les auteurs identifient trois difficultés. D'abord, des observations proches sous une même consigne rendent la sélection de la compétence ambiguë. Ensuite, même lorsqu'une compétence réussit, l'état du robot qu'elle transmet à la suivante peut s'écarter des états de départ démontrés et dégrader l'exécution. Enfin, les métriques au niveau de la tâche masquent les causes d'échec, puisqu'une défaillance précoce empêche de tester les étapes suivantes. Les évaluations de politiques vision-langage-action (VLA) représentatives montrent que des scores agrégés similaires peuvent cacher des écarts importants d'une compétence à l'autre. Sur le benchmark complet, les perturbations articulaires réduisent le taux de succès d'environ 56 % par rapport aux états de départ démontrés. Ce résultat appelle à la prudence face aux démonstrations de VLA mesurées sur des conditions initiales propres. Il faut toutefois relativiser la portée de ces chiffres : tout est mesuré en simulation, sur un nombre limité d'activités pour la comparaison compétence contre tâche, et un succès de 18,0 % sur la tâche complète reste très éloigné d'un seuil industriel. Les auteurs ne nomment pas ici les modèles VLA évalués. ManiUnit s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches domestiques de longue durée, et d'une tendance à décomposer les tâches en compétences réutilisables pilotées par un planificateur, plutôt qu'à entraîner une politique monolithique. Le gain obtenu avec le planificateur suggère que cette approche modulaire est plus prometteuse, mais elle dépend de la robustesse de chaque compétence face aux états hérités. Le jeu de données et le benchmark sont des ressources de recherche, sans calendrier de déploiement ni transfert vers le matériel réel annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

BiDex-100 : un banc d'essai complet pour la manipulation dextre bimanuelle sur plus de 100 tâches en simulation

BiDex-100, un nouveau banc d'essai en simulation publié sur arXiv par l'équipe Robbyant Research, cible la manipulation bimanuelle dextre, c'est-à-dire l'usage coordonné de deux mains robotiques à nombreux degrés de liberté (DOF). Il regroupe 106 tâches réparties selon cinq axes de capacités : généralisation, suivi d'instructions, démonstrations limitées, longs horizons et mémoire. Chaque tâche existe aussi en variante hors domaine, avec des modifications visuelles et spatiales contrôlées, afin de mesurer la robustesse. Le benchmark prend en charge deux embodiments (morphologies robotiques) et fournit 8 080 démonstrations téléopérées dont le succès a été validé, soit 6,25 millions de trames. Les auteurs évaluent sept modèles VLA (Vision-Language-Action) récents selon un protocole unifié, et établissent ainsi des références par capacité, par robustesse et par efficacité en données. Les noms des modèles testés et leurs scores ne figurent pas dans le résumé. L'intérêt tient à un déficit de mesure. La plupart des évaluations de VLA se concentrent sur des pinces parallèles ou des scènes à un seul bras, si bien que les capacités réelles de ces modèles avec des mains à haute dimensionnalité restent mal caractérisées. Un banc d'essai qui sépare la mémoire, le long horizon et la frugalité en données permet de savoir où un modèle échoue, plutôt que de se contenter d'un taux de succès global. La paire tâche/variante hors domaine s'attaque directement à l'écart entre démonstration et réalité, car elle teste si une politique survit à un simple changement d'apparence ou de position. Pour un intégrateur ou un décideur B2B, cela offre un critère de comparaison plus exploitable que des vidéos choisies. Il faut toutefois rester prudent : il s'agit d'une simulation, et rien ne garantit que les classements se transfèrent au matériel réel, ni que les démonstrations téléopérées représentent la variabilité d'un site industriel. Le contexte est celui d'une course aux mains dextres et aux modèles d'action généralistes, portée par des acteurs comme Figure avec Helix, Tesla avec Optimus, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Chacun annonce des progrès en dextérité, mais selon des protocoles propres et rarement comparables. Des suites existantes comme RoboTwin, centrée sur la bimanualité, ou LIBERO, orientée tâches de table, ont servi de références, mais pas pour des mains à nombreux DOF. Cette version 2 de l'article remplace une première soumission, et le site du projet est hébergé par Robbyant Research. La suite dépendra de l'adoption de BiDex-100 par d'autres laboratoires et de la publication de résultats sur robots physiques.

RecherchePaper

1 source

3arXiv cs.RO

ContactBench 1.0 : un banc d'essai pour la manipulation robotique quotidienne riche en contacts

ContactBench 1.0, présenté sur arXiv (2610.24512v2) par une équipe académique, est un banc d'essai ouvert destiné à évaluer la manipulation robotique riche en contacts, c'est-à-dire les tâches du quotidien où le robot doit insérer, pousser, glisser, visser ou réagir à des forces. À partir d'observations de la manipulation humaine, les auteurs définissent huit compétences élémentaires, qu'ils déclinent en 36 tâches de référence et plus de 40 objets. Ces derniers reproduisent la géométrie et le comportement de contact utiles à chaque tâche. Ils s'impriment sur des imprimantes 3D grand public et chacun a un modèle de simulation jumeau. Des variations contrôlées, dans le monde réel comme en simulation, permettent de mesurer la généralisation. Les auteurs ont testé des méthodes représentatives d'apprentissage de politiques, uniquement visuelles ou visuo-tactiles, sur six tâches seulement. Le code et les ressources seront publiés en open source sur le site du projet. Le résultat est plutôt sobre. Les politiques uniquement visuelles peinent à percevoir les événements de contact ou à y réagir. Les politiques visuo-tactiles, censées combler cette lacune, n'améliorent pas sensiblement les performances. Cela tempère l'idée répandue selon laquelle ajouter un capteur tactile à une politique apprise suffirait à résoudre la manipulation fine. Pour un intégrateur ou un responsable industriel, c'est un rappel que les démonstrations spectaculaires de VLA (modèles vision-langage-action) ne disent presque rien de la robustesse sur des tâches d'assemblage ou de contact, où l'écart entre démo et déploiement reste large. L'intérêt pratique est aussi méthodologique : des tâches et des pièces reproductibles permettraient enfin de comparer des systèmes entre laboratoires, ce qui manque aujourd'hui. Le résumé ne donne cependant ni taux de réussite chiffrés, ni noms des méthodes testées, et six tâches sur 36 constituent une évaluation initiale limitée. Ce travail s'inscrit dans une tendance : la montée en puissance de bancs d'essai standardisés pour la manipulation, après des références comme les benchmarks de simulation (RLBench, LIBERO) qui privilégient surtout des tâches de saisie et de placement, peu exigeantes en contact. La difficulté de reproduire les expériences d'un laboratoire à l'autre, notamment pour les capteurs tactiles, a freiné les comparaisons rigoureuses. Les acteurs industriels qui misent sur la dextérité, des développeurs de mains tactiles aux fabricants d'humanoïdes, n'ont pas publié de métriques comparables, et ce benchmark pourrait servir de terrain neutre. Il s'agit ici de la version 2 d'une prépublication, donc d'un travail non encore validé par les pairs. La prochaine étape est la publication effective des ressources, puis l'évaluation d'un plus grand nombre de politiques sur l'ensemble des 36 tâches.

RecherchePaper

1 source

4arXiv cs.RO

LIBERO-PeRM : un banc d'essai pour la manipulation robotique personnalisée

LIBERO-PeRM, publié sur arXiv (2610.22372), est un benchmark en simulation consacré à la manipulation robotique personnalisée (PeRM). Il vise à séparer l'accomplissement de la tâche de la satisfaction des préférences de l'utilisateur, ce que les benchmarks de manipulation généralistes ne font pas. Construit sur LIBERO, il utilise un pipeline procédural qui génère des démonstrations appariées, avec et sans préférence. Il comprend cinq suites de tâches, soit 312 tâches, avec des démonstrations de haute qualité, des métadonnées riches et des métriques dédiées de satisfaction des préférences. Les préférences couvertes sont observables et exprimables en langage naturel: style de mouvement, choix de compétence (skill) et profil d'utilisateur. Elles sont instanciables sans modifier l'objectif de la tâche, et leur évaluation est automatique. Le benchmark pose cinq questions: le suivi de préférences en zero-shot, l'apprentissage d'une préférence unique à partir de démonstrations, l'efficacité en fonction du nombre de démonstrations, la généralisation à d'autres agencements et tâches, et enfin la composition de préférences et la gestion des conflits entre elles. Le code, les jeux de données et des démos sont publiés sur la page du projet. Les résultats sont nuancés. Les politiques VLA (vision-language-action) actuelles échouent à se personnaliser en zero-shot: un simple prompt en langage naturel ne suffit pas à infléchir leur comportement. Le fine-tuning supervisé (SFT) rend en revanche les préférences apprenables. L'entraînement mixte, qui combine données avec et sans préférence, conserve mieux les comportements sans préférence que l'adaptation séquentielle. Il améliore aussi les performances avec des prompts contextuels par rapport à un entraînement limité aux préférences, mais peut affaiblir l'apprentissage des préférences de mouvement. La généralisation des préférences, leur décomposition et la résolution des conflits restent difficiles. Pour les intégrateurs et les décideurs qui visent le domestique ou les environnements de services, le message est net: la personnalisation ne vient pas gratuitement avec la généralisation des VLA. Elle demande des données et des protocoles d'adaptation spécifiques. Les résultats sont obtenus en simulation uniquement, et l'écart avec le monde réel n'est pas mesuré. Ce travail s'inscrit dans la lignée de LIBERO, benchmark de simulation très utilisé pour évaluer les politiques d'apprentissage tout au long de la vie et les VLA. Il en déplace l'attention de la réussite de la tâche vers la manière de l'exécuter. Les acteurs qui poussent les modèles généralistes, comme Physical Intelligence avec Pi-0, Figure avec Helix ou Nvidia avec GR00T, mettent surtout en avant l'étendue des compétences et peu la personnalisation à l'échelle d'un utilisateur. L'article ne nomme aucun modèle précis dans son résumé, et les chiffres détaillés ne sont pas disponibles ici. La suite logique est une validation sur robots réels et l'intégration de mémoire ou d'adaptation en ligne, indispensables pour une adoption domestique.

RecherchePaper

1 source