Aller au contenu principal
CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotiqueIllustration générée par IA
RecherchearXiv cs.RO 

CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient CaP-X, un framework open-access destiné à évaluer et améliorer les agents de type "Code-as-Policy" pour la manipulation robotique, selon un article déposé sur arXiv (2603.22435v2). Le système s'appuie sur CaP-Gym, un environnement interactif où des agents pilotent des robots en générant et exécutant du code combinant des primitives de perception et de contrôle. Sur cette base, les auteurs construisent CaP-Bench, un banc d'essai qui compare 12 modèles de langage et modèles vision-langage frontier selon différents niveaux d'abstraction, d'interaction et d'ancrage perceptif. Le travail aboutit à deux propositions concrètes : CaP-Agent0, un framework ne nécessitant aucun entraînement supplémentaire, et CaP-RL, une méthode d'apprentissage par renforcement avec récompenses vérifiables, testée en simulation puis transférée sur robots réels.

L'enjeu dépasse le simple exercice académique : l'approche "code comme politique de contrôle" est présentée comme un complément aux méthodes Vision-Language-Action (VLA), très gourmandes en données, qui dominent aujourd'hui la robotique humanoïde et industrielle. CaP-Bench met en évidence une faiblesse structurelle des agents actuels, leur performance chute nettement dès que les abstractions conçues par des humains sont retirées, ce qui révèle une dépendance excessive au travail d'ingénierie préalable plutôt qu'à une véritable autonomie de raisonnement. Pour les intégrateurs et décideurs industriels, ce résultat tempère l'idée que les grands modèles suffiraient seuls à piloter des bras ou des humanoïdes sans échafaudage logiciel dédié. À l'inverse, les auteurs montrent que multiplier les tours d'interaction, le retour d'exécution structuré, la différenciation visuelle et la synthèse automatique de compétences comble une grande partie de cet écart, même sur des primitives de bas niveau.

Ce travail s'inscrit dans le prolongement des recherches sur le "Code-as-Policy", initiées pour donner aux modèles de langage une interface exécutable vers le contrôle robotique, en alternative aux pipelines VLA de bout en bout. En documentant précisément où les agents actuels échouent et en ouvrant l'accès à son environnement de test, CaP-X vise à devenir une plateforme de référence pour comparer objectivement les approches futures, avant un possible passage à l'échelle sur des tâches de manipulation réelles plus complexes.

À lire aussi

Agents de codage avec harnais conscient des obstacles pour une manipulation robotique sûre
Illustration générée par IA
1arXiv cs.RO 

Agents de codage avec harnais conscient des obstacles pour une manipulation robotique sûre

Une étude publiée sur arXiv (2609.20822, 18 septembre 2026) évalue la sécurité des "coding agents", ces systèmes où un modèle de langage écrit directement le code du contrôleur robotique, sans entraînement spécifique au robot. Testés sur des tâches associant un objectif de manipulation à un obstacle interdit de contact, ces agents le heurtent dans la majorité des cas, alors même que leurs traces de raisonnement mentionnent l'obstacle et que le prompt en interdit explicitement le contact: ni la perception ni la consigne ne sont en cause, c'est la planification qui échoue à prioriser la contrainte de sécurité. En décomposant la manipulation en une phase de trajet et un moment de contact, les auteurs identifient deux manques: aucune notion de route dégagée ni de replanification pendant le trajet, aucune prise en compte de la contrainte pendant le geste de contact lui-même. Leur solution, SafeHarness, ajoute une planification de trajet par boîtes englobantes et séquences de points de passage vérifiées avant exécution, plus un choix de position de contact évitant l'obstacle. Résultat: 71,9% de réussite de tâche et 87,5% d'évitement de collision, soit respectivement 6,5 et 27,0 points de plus que le précédent état de l'art, et 2,3 et 1,5 fois les scores du même agent sans ces harnais. Ce résultat nuance l'idée qu'un modèle capable de verbaliser une contrainte de sécurité et de recevoir une consigne explicite s'y conforme automatiquement lors de l'exécution, une hypothèse implicite chez les promoteurs des coding agents comme voie rapide vers des robots généralistes sans données spécifiques. Pour les intégrateurs et décideurs qui envisagent de déployer des agents pilotés par LLM en environnement partagé avec des humains, l'étude montre qu'un bon prompt ne suffit pas: il faut séparer explicitement planification de trajectoire et exécution du contact dans l'architecture. Elle rappelle aussi qu'un taux de réussite de tâche élevé peut masquer un comportement dangereux tant que le taux de collision n'est pas mesuré séparément. Ces travaux s'inscrivent dans la lignée des approches "code as policy", où un LLM génère un programme de contrôle plutôt que d'être entraîné de bout en bout sur des données robotiques, une piste prisée car elle évite la collecte de données propre à chaque robot. SafeHarness se positionne face à un état de l'art antérieur non nommé dans le résumé, qu'il dépasse nettement sur les deux métriques de sécurité et de performance. Publiée le 18 septembre 2026, l'étude reste un travail de recherche évalué sur des tâches de benchmark, sans plateforme robotique commerciale ni déploiement pilote mentionnés, ni calendrier annoncé pour une éventuelle mise en œuvre au-delà du laboratoire.

RecherchePaper
1 source
LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique
Illustration générée par IA
2arXiv cs.RO 

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

Des chercheurs présentent LaGEA (Language Guided Embodied Agents), une architecture combinant un modèle vision-langage (VLM) et l'apprentissage par renforcement (RL) pour la manipulation robotique, décrite dans une version mise a jour (v3) d'un article arXiv (2509.23155). Apres chaque tentative, le système résume l'épisode en langage naturel, localise les instants décisifs de la trajectoire, aligne ce retour avec l'état visuel dans une représentation partagée, puis transforme la progression vers l'objectif en récompenses bornées appliquées pas a pas. Un coefficient adaptatif, sensible aux échecs, rend ce signal dense en début d'exploration puis l'atténué avec la montée en compétence de l'agent. Sur les bancs d'essai simules Meta-World MT10 (dix taches de manipulation) et Robotic Fetch, LaGEA améliore le taux de réussite moyen de 9,0% sur des objectifs aléatoires, 5,3% sur des objectifs fixes et 17% sur les taches Fetch par rapport aux méthodes de référence, avec une convergence plus rapide. Le travail s'attaque a un problème classique du RL, la conception manuelle des fonctions de récompense, souvent couteuse et peu généralisable a de nouvelles taches. En montrant qu'un retour en langage naturel, structure et ancre temporellement, peut remplacer une partie de cette ingénierie, LaGEA nuance le narratif dominant autour des modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix, conçus pour piloter directement une politique de bout en bout : ici, le langage sert de superviseur d'apprentissage plutôt que de commande directe. Les gains rapportes restent obtenus en simulation, non sur du matériel réel, et demandent une confirmation sur des taches de manipulation physique. LaGEA prolonge les travaux exploitant les grands modèles vision-langage comme source de récompense ou de critique pour le RL, un axe de recherche actif depuis l'essor des modèles de fondation capables de décrire des objectifs et d'évaluer des trajectoires. Meta-World MT10 et Robotic Fetch sont des bancs d'essai standards de la communauté robotique, ce qui permet une comparaison directe avec l'état de l'art. S'agissant d'une version corrigée d'un article déjà publie, la contribution reste académique : aucun partenaire industriel, date de déploiement ou intégration produit n'est annonce a ce stade, la prochaine étape logique étant une validation sim-to-real sur robot physique.

RecherchePaper
1 source
Évaluation et amélioration de la mémoire au niveau des compétences pour la manipulation robotique en observabilité partielle
Illustration générée par IA
3arXiv cs.RO 

Évaluation et amélioration de la mémoire au niveau des compétences pour la manipulation robotique en observabilité partielle

Des chercheurs publient sur arXiv (2609.38886) HIDE, un benchmark dédié à la mémoire en manipulation robotique sous observabilité partielle, ainsi que SEEK, un cadre logiciel pour y répondre. HIDE regroupe 15 tâches réparties en trois familles : comptage de répétitions, rappel d'états passés et suivi de l'avancement d'une exécution. Les configurations initiales sont randomisées. Chaque tâche comporte des points de décision où deux observations quasi identiques exigent des actions différentes, selon ce qui s'est produit auparavant. SEEK combine trois mécanismes de mémoire complémentaires, qui conservent des indices historiques et suivent l'état d'exécution. L'évaluation couvre la simulation et des expériences sur robot réel. Le résumé ne donne ni nom de robot, ni modèle de base, ni taux de succès chiffrés, ni liste des politiques testées. Il indique que les politiques existantes montrent des limites substantielles sur HIDE et que l'ajout de mémoire améliore le taux de succès dans les deux contextes. Le résultat le plus utile est aussi le moins spectaculaire. Aucun des trois mécanismes ne vaut pour toutes les tâches : chacun aide sur certaines et dégrade les performances sur d'autres. Seule leur combinaison obtient le meilleur taux de succès moyen, parmi les configurations évaluées. Pour un intégrateur, cela signifie qu'une mémoire générique ajoutée à une politique VLA (vision-langage-action) ne suffit pas. Il faut choisir l'architecture selon la nature de l'information à retenir : un compteur, un événement passé ou une étape en cours. Le benchmark met aussi un nom sur une faiblesse peu mesurée. Beaucoup de politiques actuelles réagissent à l'observation courante, alors que des tâches réelles (compter des pièces posées, savoir si une étape a déjà été faite, reprendre après une interruption) dépendent d'un état caché. Les démonstrations sélectionnées en vidéo masquent ce défaut, qu'un benchmark standardisé peut enfin quantifier. Les chiffres détaillés manquent toutefois dans le résumé : l'ampleur réelle des gains reste à vérifier dans l'article complet. Ce travail s'inscrit dans la montée en puissance des politiques généralistes de type Pi-0, GR00T ou Helix. Elles généralisent sur des tâches et des environnements variés, mais traitent le plus souvent un historique court, voire une seule image. Les benchmarks de manipulation existants testent surtout la diversité des tâches et la généralisation, rarement la dépendance à l'historique, ce que HIDE cherche à combler. Il s'agit d'une publication de recherche (v1, préprint) : ni produit, ni déploiement industriel, ni pilote annoncé. Les suites plausibles sont l'adoption de HIDE par d'autres laboratoires comme référence commune et l'intégration de mémoire au niveau des compétences dans les grands modèles de fondation robotiques. Cela dépendra de la disponibilité publique du benchmark et du code, que le résumé ne précise pas.

RecherchePaper
1 source
MANIGUARD : référentiel et jeu de données pour l'évaluation et l'amélioration de la sécurité de la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

MANIGUARD : référentiel et jeu de données pour l'évaluation et l'amélioration de la sécurité de la manipulation robotique

Une équipe de recherche présente en août 2026 ManiGuard, un cadre pour évaluer et améliorer la sécurité des politiques de manipulation robotique fondées sur des modèles de fondation. Le benchmark associé, ManiGuard-Bench, couvre six familles de tâches domestiques à fort contact physique, organisées en 200 tâches de base testées en configuration standard et sous quatre perturbations hors distribution, soit 1000 scénarios verrouillés où la sécurité est contrôlée par des moniteurs à automates fondés sur la logique LTLf et des prédicats physiques, en simulation et sur un bras Franka réel. Le pipeline associé fournit 8000 démonstrations annotées pour la sécurité. Sur plus de 23000 épisodes testés avec des politiques VLA en zero-shot et affinées, 6 à 21% des épisodes pourtant réussis violent la spécification de sécurité, et l'affinage porte le taux de complétion sûre de quasi nul à 7,5-29,8%, avec 21 à 42% des épisodes engagés toujours en infraction. Ce travail est une publication de recherche, pas une annonce produit, mais son constat central interpelle : le succès d'une tâche et sa sécurité restent deux mesures distinctes, alors que l'évaluation des politiques VLA (vision-language-action) actuelles, du type Pi-0, GR00T N2 ou Helix, repose surtout sur des taux de réussite bruts. Pour les intégrateurs qui envisagent de déployer ces politiques en environnement domestique ou industriel à fort contact, le message est direct : même après affinage sur des données dédiées, deux des six familles de tâches restent quasi toujours dangereuses, et augmenter le volume de démonstrations ne comble pas cet écart. ManiGuard s'inscrit dans une montée en puissance rapide des politiques de manipulation fondées sur des modèles de fondation, dont les progrès en taux de réussite ont devancé les outils d'évaluation de leur sécurité, jusqu'ici basés sur des classifieurs appris ou des juges LLM que les auteurs jugent insuffisamment rigoureux. Le benchmark s'en distingue en ancrant ses contrôles dans la logique temporelle formelle et des prédicats physiques, vérifiés en simulation comme sur un bras Franka réel. Aucun acteur français ou européen, tel Wandercraft, Pollen Robotics ou Enchanted Tools, ne figure parmi les politiques testées. Les 8000 démonstrations et le benchmark sont publiés, ouvrant la voie à des campagnes d'affinage sécuritaire par d'autres laboratoires, sans calendrier de déploiement industriel annoncé à ce stade.

UEAucun acteur français ou européen n'est impliqué ni testé, mais le benchmark ouvert est directement utilisable par les intégrateurs européens pour évaluer la sécurité de leurs politiques VLA avant déploiement, un enjeu pertinent au regard des exigences de sécurité de l'AI Act.

RecherchePaper
1 source