RecherchearXiv cs.RO 19 octobre 2026

HexaShell : un cadre minimaliste pour explorer les limites des agents VLM comme agents de programmation de robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

HexaShell, un système décrit dans un preprint arXiv (2610.23479) par l'équipe HexaFuture, confie le pilotage d'un robot bimanuel à un agent de code basé sur un modèle vision-langage (VLM), via une unique ligne de commande. Le « harnais » reste volontairement mince : il se limite à convertir les commandes de l'agent en mouvements. L'agent dispose de trois caméras RGB calibrées, lit les journaux après chaque échec, identifie la cause et écrit ou corrige de petits programmes, les « outils », qui conservent l'apprentissage sous forme de code. Ces outils n'exploitent que les observations du robot : triangulation entre deux caméras, ou intersection d'un rayon avec un plan connu (table, dessus d'un cube), et déplacement d'une caméra poignet pour obtenir une seconde vue si la caméra de tête ne suffit pas. Les outils sont construits sur dix configurations d'une seule graine par tâche, puis gelés et testés sur dix nouvelles configurations. Avec Codex et GPT-6-Astra à effort de raisonnement moyen, HexaShell atteint 39,7 % de succès et un score de progression de 48,0 sur les 42 tâches de RoboDojo, moyennés comme le classement officiel, ce que les auteurs présentent comme un nouvel état de l'art. Les outils sont publiés en open source sur GitHub.

Le résultat est surtout instructif par sa répartition. Les tâches de poussée atteignent 92,5 % et celles qui demandent de la mémoire 65,0 %, mais l'insertion serrée plafonne à 8,3 %. Le goulot n'est donc pas le raisonnement : l'agent voit généralement son échec mais ne parvient pas à produire le mouvement de contact qui le corrige. Pour les intégrateurs, cela suggère que la perception géométrique et la planification de haut niveau peuvent être largement déléguées à un agent de code, tandis que la manipulation riche en contact reste le domaine où les politiques apprises ou le contrôle en force gardent l'avantage. Cela contredit aussi l'idée qu'un VLA entraîné de bout en bout serait indispensable pour battre les classements de manipulation. Plusieurs réserves s'imposent toutefois : un taux de succès inférieur à 40 % reste loin d'un usage industriel, le test porte sur une seule graine par tâche, la validation se fait en simulation, et le choix d'un modèle propriétaire limite la reproductibilité.

Ce travail s'inscrit dans une tendance récente : des agents fondés sur des VLM rivalisent désormais avec des politiques apprises sur les classements de manipulation, en s'appuyant sur le code comme mémoire explicite plutôt que sur des poids réseau. Il se positionne face aux approches de type VLA (Pi-0, GR00T, Helix), qui apprennent le contrôle directement à partir de démonstrations, et face aux pipelines modulaires classiques de vision et de planification. Les auteurs ne font état d'aucun test sur robot réel ni d'une feuille de route de déploiement. La suite logique serait d'améliorer les outils de contact, par exemple avec un retour d'effort, et de vérifier que les outils gelés se transfèrent à d'autres graines, d'autres robots et au monde physique.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Passage à l'échelle de l'exploration en ligne pour les robots à base d'agents

RAX (Robot Agent eXploration), un framework open source présenté sur arXiv (2610.22496), propose de remplacer l'apprentissage par démonstrations par l'exploration en ligne. Un agent de code généraliste y écrit directement le code de contrôle du robot, sans données de démonstration d'actions, sans primitives d'action conçues à la main et sans guidage par fonction de valeur. En explorant, l'agent identifie les séquences de décisions qui atteignent l'objectif, puis les compile en programmes modulaires couvrant toute la boucle perception, planification et contrôle. Les auteurs ont mené une étude multi-embodiment sur des tâches de précision et de manipulation longue durée, avec des bras uniques, des systèmes bimanuels, des mains dextres, des robots mobiles et des humanoïdes, en simulation et sur robots réels. En simulation, RAX dépasse les meilleurs modèles de référence de 37,4 % en moyenne. Sur robots réels, il apprend sans démonstration humaine des tâches dépendant de la mémoire, articulées, de haute précision, déformables et de manipulation mobile longue durée. Les nouvelles compétences sont composées à partir de compétences vérifiées lors de sessions d'exploration précédentes. L'enjeu pour l'industrie tient au coût d'intégration. Aujourd'hui, chaque nouvelle morphologie ou nouvelle tâche exige un corpus de téléopération dédié, ce qui limite le passage à l'échelle des modèles vision-langage-action (VLA) et enferme les politiques dans la distribution de leurs imitations. Ici, un nouveau robot s'intègre uniquement via ses API, sans collecte téléopérée ni entraînement de politique. Pour un intégrateur, cela déplace le goulot d'étranglement de la donnée vers l'exploration en ligne et la vérification des programmes produits. Les auteurs rapportent que la généralisation sur environnements inédits progresse de façon régulière avec le volume d'exploration, et que des comportements émergent : perception active, récupération d'erreurs, garde-fous de sécurité et collaboration homme-robot. Il faut toutefois rester prudent : le résumé ne donne ni temps de cycle, ni taux de réussite absolus, ni coût en calcul ou en appels au modèle de langage, ni durée réelle des explorations. La comparaison de +37,4 % porte sur des simulations dont le détail n'est pas précisé. Ce travail s'inscrit dans le courant des robots pilotés par agents de code, qui prolonge les approches de planification par modèles de langage générant des programmes, en opposition à la voie dominante des VLA entraînés sur de vastes corpus de démonstrations. Il s'agit ici d'un résultat de recherche publié en préprint, non d'un produit livré ni d'un déploiement industriel, et il n'a pas encore été évalué par des pairs. La publication du code ouvre la voie à une reproduction par la communauté, étape décisive pour juger de la robustesse hors des environnements des auteurs. Les prochains indicateurs à surveiller sont la fiabilité sur de longues séries d'essais, le coût de l'exploration et la sécurité lors de l'exploration sur machines réelles.

RecherchePaper

1 source

2arXiv cs.RO

CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotique

Des chercheurs publient CaP-X, un framework open-access destiné à évaluer et améliorer les agents de type "Code-as-Policy" pour la manipulation robotique, selon un article déposé sur arXiv (2603.22435v2). Le système s'appuie sur CaP-Gym, un environnement interactif où des agents pilotent des robots en générant et exécutant du code combinant des primitives de perception et de contrôle. Sur cette base, les auteurs construisent CaP-Bench, un banc d'essai qui compare 12 modèles de langage et modèles vision-langage frontier selon différents niveaux d'abstraction, d'interaction et d'ancrage perceptif. Le travail aboutit à deux propositions concrètes : CaP-Agent0, un framework ne nécessitant aucun entraînement supplémentaire, et CaP-RL, une méthode d'apprentissage par renforcement avec récompenses vérifiables, testée en simulation puis transférée sur robots réels. L'enjeu dépasse le simple exercice académique : l'approche "code comme politique de contrôle" est présentée comme un complément aux méthodes Vision-Language-Action (VLA), très gourmandes en données, qui dominent aujourd'hui la robotique humanoïde et industrielle. CaP-Bench met en évidence une faiblesse structurelle des agents actuels, leur performance chute nettement dès que les abstractions conçues par des humains sont retirées, ce qui révèle une dépendance excessive au travail d'ingénierie préalable plutôt qu'à une véritable autonomie de raisonnement. Pour les intégrateurs et décideurs industriels, ce résultat tempère l'idée que les grands modèles suffiraient seuls à piloter des bras ou des humanoïdes sans échafaudage logiciel dédié. À l'inverse, les auteurs montrent que multiplier les tours d'interaction, le retour d'exécution structuré, la différenciation visuelle et la synthèse automatique de compétences comble une grande partie de cet écart, même sur des primitives de bas niveau. Ce travail s'inscrit dans le prolongement des recherches sur le "Code-as-Policy", initiées pour donner aux modèles de langage une interface exécutable vers le contrôle robotique, en alternative aux pipelines VLA de bout en bout. En documentant précisément où les agents actuels échouent et en ouvrant l'accès à son environnement de test, CaP-X vise à devenir une plateforme de référence pour comparer objectivement les approches futures, avant un possible passage à l'échelle sur des tâches de manipulation réelles plus complexes.

RecherchePaper

1 source

3arXiv cs.RO

RAPID : programmation à base d'agents pour robots à partir de démonstrations

Une équipe de recherche présente RAPID (Robot Agentic Programming from Demonstrations) dans un preprint publié sur arXiv le 25 septembre 2026 (arXiv:2609.30249) : un système qui génère, vérifie et affine automatiquement un programme robotique complet à partir d'une seule démonstration visuelle humaine, sans corpus d'entraînement massif. La boucle agentique itérative infère elle-même, depuis cette démonstration, trois ingrédients clés : une spécification de tâche testable, des primitives d'action exécutables par le robot, et un environnement interactif pour exécuter et vérifier le programme. Pour rendre le résultat réutilisable au-delà du contexte filmé, RAPID exprime les primitives comme des programmes d'optimisation de trajectoire reproduisant l'effet de mouvement au niveau de l'objet, assemblés par des contraintes relationnelles qui capturent la géométrie de la scène au moment de l'exécution. Les chercheurs ont testé le système en simulation sur huit tâches de manipulation non préhensile riches en contacts (pousser, pivoter, basculer des objets) et sur des tâches préhensiles classiques du benchmark LIBERO-Pro, puis l'ont déployé sur un bras robotique Franka réel pour l'ensemble des huit tâches non préhensiles ; le projet est documenté sur yuyaoliu.me/projects/rapid. L'intérêt de RAPID tient à la difficulté qu'il attaque : transformer une démonstration unique en un programme réutilisable et généralisable, là où les politiques d'apprentissage par imitation ou les modèles vision-langage-action (VLA) exigent généralement des corpus de démonstrations massifs. En appliquant à la manipulation robotique la logique des agents de codage logiciel, capables d'itérer, tester et corriger leur propre production, RAPID parie que la synthèse de programmes symboliques explicites généralise mieux que des politiques paramétriques apprises, en particulier sur les tâches non préhensiles où la dynamique de contact et le frottement rendent la généralisation notoirement difficile. Les auteurs revendiquent une généralisation à la pose, la forme, le matériau et l'environnement des objets, une affirmation émanant pour l'instant d'une seule équipe sur un périmètre de tâches limité et non validée indépendamment ; le déploiement réel se cantonne d'ailleurs à un unique bras Franka et aux tâches non préhensiles, les tâches préhensiles de LIBERO-Pro n'ayant été testées qu'en simulation. Il s'agit donc d'un résultat de recherche prometteur mais encore au stade du preprint, pas d'un produit ou d'un pipeline prêt pour l'intégration industrielle. Le travail s'inscrit dans un mouvement plus large visant à transposer aux robots le paradigme des agents de codage popularisé en génie logiciel, plutôt que d'empiler les données pour entraîner des politiques de bout en bout. Il se positionne ainsi en alternative aux approches VLA dominantes du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent des politiques directement à partir de grands ensembles de démonstrations plutôt que de synthétiser un programme symbolique explicite à partir d'un seul exemple ; aucun acteur français ou européen n'apparaît dans cette publication. À ce stade, RAPID reste un résultat académique diffusé via un preprint arXiv et un site de projet présentant des matériaux complémentaires, sans partenariat industriel, pilote de déploiement ni calendrier de commercialisation annoncés par les auteurs.

RecherchePaper

1 source

4NVIDIA Developer Blog

Comment évaluer les politiques de robots généralistes pour un déploiement en conditions réelles

Une équipe de recherche en robotique publie un article de blog consacré à l'évaluation rigoureuse des politiques robotiques généralistes destinées au déploiement réel. Le texte part d'un constat : les meilleurs systèmes actuels, capables de suivre des instructions en langage naturel pour saisir, déplacer, trier et manipuler une grande variété d'objets, ont progressé rapidement ces derniers mois. Mais à mesure que ces modèles gagnent en capacité, les évaluer de façon fiable est devenu, selon les auteurs, l'un des problèmes non résolus les plus difficiles du secteur. Le billet ne détaille pas encore la méthode complète, mais annonce vouloir poser les problèmes clés de l'évaluation et présenter une approche pour les traiter, sans livrer dans cet extrait de chiffres de benchmark, de taux de réussite ou de comparaison entre modèles nommés. Pour l'industrie robotique, la question de l'évaluation n'est pas secondaire : elle conditionne la confiance que les intégrateurs et décideurs B2B peuvent accorder à des politiques génériques de type VLA avant de les déployer sur une ligne de production ou un site logistique. De nombreuses démonstrations de robots manipulateurs ou humanoïdes sont aujourd'hui présentées avec des vidéos sélectionnées et des conditions de test non standardisées, ce qui rend difficile toute comparaison objective entre acteurs. En pointant ce manque de rigueur méthodologique, la démarche s'inscrit dans une remise en question plus large de l'écart entre démonstration et réalité opérationnelle, un sujet central alors que plusieurs laboratoires affirment avoir résolu le passage de la simulation au réel à grande échelle. Cette initiative s'inscrit dans un mouvement plus large où plusieurs laboratoires de robotique généraliste développent des politiques capables d'exécuter des instructions en langage naturel sur des tâches variées, sans qu'il existe pour l'instant de standard d'évaluation partagé par le secteur. L'absence de protocole commun complique la comparaison entre approches concurrentes et freine l'adoption industrielle, les entreprises utilisatrices devant se fier aux métriques propres à chaque fournisseur. Le billet annonce vouloir combler ce vide méthodologique, sans préciser à ce stade de calendrier de publication détaillée ni de partenaires industriels associés à la démarche.

RecherchePaper

1 source