RecherchearXiv cs.RO 22 octobre 2026

De l'raisonnement à l'action : évaluation des modèles d'IA de pointe sur les tâches de manipulation robotique LIBERO-10

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv un cadre unifié de manipulation robotique en boucle fermée, destiné à évaluer des modèles d'IA généralistes sur le benchmark LIBERO-10, sans entraînement spécifique à la tâche. Les modèles pilotent le robot à partir d'observations visuelles, de la proprioception (l'état interne des articulations) et d'appels d'outils structurés, en spécifiant surtout des poses cibles de l'effecteur terminal et des commandes de pince. Aucun réglage fin ni compétence de manipulation préentraînée n'intervient. Six modèles sont testés : GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5 et Gemini-4 Argon, chacun à trois niveaux d'effort de raisonnement. Cela représente 18 configurations et 1 800 épisodes d'évaluation. GPT-6 Astra obtient le meilleur taux de réussite, 44 %, devant Gemini-4 Argon à 43 %. Les auteurs publient leur cadre d'évaluation et leurs résultats.

Ce travail compte parce que la question d'un modèle généraliste capable de manipuler sans données robotiques dédiées n'avait pas de mesure standardisée. Un score maximal de 44 % montre que le raisonnement visuel et la planification ne se traduisent pas encore en actions physiques fiables. Pour un intégrateur ou un COO industriel, un taux d'échec de plus de la moitié des épisodes reste incompatible avec une exploitation en production. Le gain apporté par un effort de raisonnement accru est réel mais inégal selon les modèles, et il se paie en coût d'inférence, donc en latence et en budget, deux paramètres critiques pour des temps de cycle industriels. Les modèles réussissent plutôt bien les tâches de placement d'objets, mais échouent sur les arrangements spatiaux précis et les interactions multi-étapes. Ce profil de faiblesses suggère que l'écart se joue sur la perception fine de la géométrie et le contrôle, pas sur la planification de haut niveau. À noter : LIBERO-10 est un benchmark en simulation, et l'écart sim-to-real n'est pas traité ici.

Ces résultats s'inscrivent dans la course entre deux approches. D'un côté, les modèles vision-langage-action (VLA) spécialisés, entraînés sur des démonstrations robotiques, comme Pi-0, Helix ou GR00T N2, dont les performances sur LIBERO sont généralement élevées après réglage fin. De l'autre, l'usage direct de modèles de frontière comme « cerveau » généraliste, appelant des outils. Le rapport sert de référence pour cette seconde voie, et la publication du code facilite la reproduction et la comparaison. Les suites probables sont des tests sur d'autres benchmarks, des essais sur robots réels et des architectures hybrides, où un modèle généraliste planifie et un contrôleur spécialisé exécute. Aucun déploiement industriel n'est annoncé : il s'agit d'un rapport de recherche (v1, non évalué par les pairs).

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique

Des chercheurs ont publié le 5 septembre 2026 sur arXiv (2609.05178) LIBERO-Recover, un benchmark consacré à la récupération après échec des modèles de manipulation robotique Vision-Language-Action (VLA) ou World Action (WAM). Construit à partir de LIBERO, référence de l'apprentissage robotique en simulation, il rassemble plus de 1 000 scénarios d'échecs réels issus de modèles état de l'art, répartis en quatre niveaux : réessai d'action, adaptation d'action, récupération de l'état de l'objet et récupération environnementale. Il évalue quatre compétences : compréhension spatiale, raisonnement sur la structure des objets, compréhension des interactions et raisonnement topologique. Le projet est disponible sur liulin815.github.io/LIBERO-Recovery. L'enjeu est réel pour les intégrateurs et décideurs du secteur robotique : les modèles les plus avancés affichent des taux de succès proches de 100% sur LIBERO, souvent présentés comme preuve de maturité pour un déploiement réel. Les auteurs contestent cette lecture, car ces scores mesurent l'exécution de tâches depuis des états initiaux idéaux, sans jamais tester la réaction à une prise ratée, une collision ou un déplacement involontaire d'objet, situations pourtant inévitables hors laboratoire. LIBERO-Recover déplace ainsi la question de la réussite d'une tâche vers la capacité à s'en remettre après un échec, nuançant l'idée que le sim-to-real et l'apprentissage par imitation à grande échelle seraient déjà résolus. Pour les industriels évaluant des piles VLA, ce travail rappelle que les scores de benchmark actuels ne garantissent pas la robustesse opérationnelle. Ce travail s'inscrit dans une critique méthodologique croissante des benchmarks de manipulation robotique : LIBERO, désormais jugé saturé, ne mesurait que la réussite finale d'une tâche, jamais la résilience face à l'imprévu. Il s'agit d'une contribution académique en preprint, sans lien annoncé avec un produit commercial : aucun robot physique, partenariat industriel ni calendrier de commercialisation n'est mentionné. Les auteurs présentent LIBERO-Recover comme le premier benchmark à grande échelle consacré à la récupération après échec en robotique incarnée, un manque notable face à la multiplication des modèles fondation pour la manipulation. La suite attendue est l'adoption de ce protocole par la communauté pour évaluer les futurs modèles VLA sur cet axe de robustesse, plutôt que sur le seul taux de succès brut.

RecherchePaper

1 source

2arXiv cs.RO

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Les LLM de pointe entrent dans la robotique : évaluation comparative de plusieurs modèles sur RoboColiseum

Une évaluation comparative publiée sur arXiv (2610.27865) teste quatre grands modèles de langage multimodaux de pointe sur la plateforme RoboColiseum: GPT-6 Astra, GPT-6.1 Sol, Claude Opus 5.5 et Gemini 4 Argon. Les chercheurs ont développé Agent2Act, un harnais de contrôle qui relie chaque modèle à l'environnement via des interfaces communes d'observation, d'exécution d'actions et de retour d'information. L'évaluation couvre quatre pistes: suivi d'instructions, raisonnement spatial, manipulation générale et robustesse. Les quatre modèles affichent le même profil: des scores élevés en suivi d'instructions, trois d'entre eux frôlant la perfection, un raisonnement spatial solide, et une manipulation générale nettement en retrait. Astra mène en suivi d'instructions et en robustesse, tandis qu'Opus domine le raisonnement spatial, la manipulation générale et le classement global. Des études de cas menées avec Astra explorent la coordination du corps entier, la manipulation sur différentes morphologies de robots, la manipulation de précision, les mains dextres et des tâches sur robot réel. Pour les intégrateurs et décideurs industriels, le résultat central est un écart persistant entre compréhension de la tâche et exécution physique fiable. Un LLM généraliste comprend presque parfaitement ce qu'on lui demande, mais ne le transforme pas encore de façon fiable en gestes. Cela conforte l'idée que le goulot d'étranglement de la robotique pilotée par modèles de fondation se situe dans le contrôle bas niveau et la manipulation, davantage que dans le langage ou la planification. L'étude indique aussi que la conception du harnais (planification, exécution, boucle de retour) influe sur le taux de réussite, le coût de planification et le temps d'exécution. Le choix du modèle ne suffit donc pas: l'architecture d'orchestration pèse autant. Les forces complémentaires des modèles plaident enfin pour des approches multi-modèles plutôt qu'un fournisseur unique. Quelques réserves s'imposent. Le résumé ne fournit ni taux de réussite chiffrés, ni temps de cycle, ni nombre de tâches, et la part des essais sur robot réel semble limitée à des études de cas qualitatives, la plupart des scores venant a priori d'un environnement simulé. Les classements valent « dans les configurations évaluées » et dépendent du harnais Agent2Act, ce qui limite leur portée générale. Ces travaux s'inscrivent dans la lignée des modèles vision-langage-action spécialisés (Pi-0, GR00T, Helix), qui entraînent directement le contrôle moteur, là où cette étude teste des LLM généralistes utilisés comme cerveau de haut niveau. La comparaison avec ces approches dédiées reste à faire, tout comme la validation à grande échelle sur matériel réel.

RecherchePaper

1 source

4arXiv cs.RO

IA incarnée : jeu de données de graphes de scène spatiaux pour l'évaluation de modèles vision-langage sur des trajectoires de manipulation robotique

Traduction avec le style demandé, en 3 paragraphes fluides sans titres. Une équipe de recherche présente EmbodimentSemantic, un jeu de données et un benchmark conçus pour évaluer la capacité des modèles vision-langage-action (VLA) à comprendre l'organisation spatiale des scènes en robotique manipulatrice. Le dataset représente chaque scène sous forme de graphe orienté objet-relation-objet, où chaque triplet encode une relation spatiale précise (support, contenance, ordre, occlusion, profondeur) entre deux objets. Il combine des observations réelles collectées avec le bras robotique low-cost SO101, accompagnées de graphes de scène générés automatiquement, ainsi qu'un benchmark simulé bâti sur l'environnement LIBERO comptant plus de 60 000 images de manipulation et plus de 120 000 graphes de scène spécifiques à chaque caméra, couvrant à la fois des vues à la troisième personne et des vues embarquées au poignet. Dans ce volet simulé, les relations de référence sont dérivées automatiquement de la géométrie MuJoCo, des coordonnées monde, des projections caméra et des contraintes de visibilité, ce qui garantit une annotation fiable sans intervention humaine. Ce travail met le doigt sur une faiblesse structurelle des systèmes VLA actuels: si ces modèles savent reconnaître des objets et suivre des instructions en langage naturel, ils peinent à représenter explicitement comment ces objets sont disposés les uns par rapport aux autres, en particulier sur les relations dépendantes de la profondeur ou du point de vue. Les expériences menées sur des VLM open source et commerciaux montrent que les modèles prédisent souvent des relations plausibles mais échouent sur la structure spatiale exacte, un écart qui rejoint le constat plus large d'un fossé entre démonstrations impressionnantes et robustesse réelle en conditions de manipulation. Pour les intégrateurs et équipes R&D, ce résultat suggère que l'injection explicite de graphes de scène dans les prompts des politiques VLA pourrait améliorer le contrôle en aval, une piste que les auteurs testent directement dans leurs expériences. EmbodimentSemantic s'inscrit dans la lignée des efforts récents visant à combler l'écart entre perception sémantique et contrôle moteur chez les modèles de type Pi-0, GR00T N2 ou Helix, qui reposent tous sur une compréhension fine de la géométrie de la scène pour planifier des trajectoires de manipulation fiables. En proposant un cadre unifié et reproductible pour diagnostiquer le grounding spatial, à la fois en environnement réel low-cost et en simulation contrôlée, les auteurs offrent un outil de benchmarking que les laboratoires de robotique pourront utiliser pour comparer objectivement leurs architectures VLA sur ce point précis, plutôt que de se fier aux seules démonstrations vidéo souvent sélectives des annonces commerciales.

RecherchePaper

1 source