RecherchearXiv cs.RO 27 octobre 2026

RobotAgentBench : vers une autonomie des robots en monde ouvert

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RobotAgentBench (RAB), un nouveau benchmark publié sur arXiv, vise à évaluer des agents robotiques en environnement domestique ouvert, au-delà de la simple exécution de tâches prédéfinies. Il repose sur un pipeline « real-to-sim » assisté par des agents et supervisé par des humains, qui produit 50 agencements de logements variés, avec objets interactifs et tâches physiquement fondées. Le jeu de tests couvre 90 tâches atomiques, 18 tâches à horizon court, 8 tâches à horizon long et 4 scénarios ouverts. L'évaluation se fait à deux niveaux. Au niveau des tâches, cinq dimensions sont mesurées : découverte de tâches, raisonnement contextuel, manipulation, récupération après échec et robustesse. Au niveau des scénarios, le benchmark teste la capacité d'un agent à combiner ces compétences pour répondre seul à un besoin formulé par l'utilisateur. Un cadre unifié de planification, d'exécution et de vérification permet de comparer des modèles VLA (vision-langage-action) ou WAM (world-action models) utilisés seuls avec différentes architectures d'agents.

L'enjeu est de mesurer ce que les démonstrations masquent souvent : la distance entre savoir manipuler et savoir être autonome. Les auteurs rapportent des écarts substantiels entre ces deux niveaux, ce qui rappelle qu'un bon score de manipulation, même obtenu par un VLA de pointe, ne dit presque rien de la capacité d'un robot à décider quoi faire, à vérifier le résultat et à se rattraper quand une action échoue. Les expériences indiquent aussi que les architectures agentiques, qui orchestrent planification, exécution et vérification, surpassent les modèles isolés, et que l'auto-amélioration récursive apporte des gains. Pour les intégrateurs et les décideurs B2B, le message est pratique : la fiabilité en conditions réelles dépendra autant de la couche d'orchestration et de récupération que du modèle de contrôle de bas niveau. Une réserve s'impose toutefois : l'évaluation se déroule en simulation reconstruite à partir du réel, et le transfert vers des foyers physiques reste à démontrer. L'abstract ne chiffre pas les écarts ni ne nomme les modèles testés.

Le travail s'inscrit dans une évolution rapide. Les VLA puis les WAM ont nettement amélioré la manipulation, mais les benchmarks existants testent surtout des capacités isolées, comme le suivi d'instructions ou la saisie d'objets, sans mesurer la boucle fermée entre découverte de tâche, raisonnement, action et correction. RAB cherche à combler ce vide et pourrait servir de référence commune aux équipes qui développent des robots domestiques généralistes, qu'il s'agisse de laboratoires académiques ou d'acteurs industriels du humanoïde. Il s'agit pour l'instant d'une préversion (v1) sur arXiv, sans mention d'une évaluation par les pairs ni de calendrier de publication du code ou des données. Les suites probables sont l'adoption par d'autres groupes, l'ajout de tests sur robots physiques et des classements comparatifs entre agents.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

UAV-ON : un référentiel pour la navigation aérienne autonome vers des objets en monde ouvert

Un nouveau benchmark baptisé UAV-ON vise à évaluer la capacité de drones autonomes à localiser des objets dans de vastes environnements ouverts, sans dépendre d'instructions linguistiques détaillées. Publié sur arXiv (2508.00288v5), le jeu de données couvre 14 environnements haute fidélité construits sous Unreal Engine, mêlant zones urbaines, milieux naturels et espaces mixtes, avec des agencements spatiaux complexes. Il définit 1270 objets cibles annotés individuellement, chacun décrit par une instruction de niveau instance précisant la catégorie, l'emprise physique et des descripteurs visuels, permettant un raisonnement ancré dans la scène. Les chercheurs ont aussi implémenté plusieurs méthodes de référence, dont Aerial ObjectNav Agent (AOA), une politique modulaire combinant sémantique de l'instruction et observations égocentriques pour une exploration orientée objectif sur de longs horizons. Résultat: tous les modèles testés peinent à accomplir la tâche, ce qui souligne la difficulté cumulée de la navigation aérienne et de l'ancrage sémantique des objectifs. Ce benchmark marque une rupture avec le paradigme dominant de la navigation vision-langage (VLN), qui repose sur des séquences d'instructions pas à pas et limite de fait l'autonomie et le passage à l'échelle des agents. En proposant une tâche d'Object Goal Navigation où l'agent ne reçoit qu'un objectif sémantique de haut niveau, UAV-ON teste une compétence plus proche des besoins réels d'inspection, de surveillance ou de cartographie par drone. L'échec généralisé des baselines confirme que le passage d'instructions détaillées à des objectifs sémantiques abstraits reste un verrou majeur, loin d'être résolu malgré les progrès des modèles vision-langage-action sur d'autres plateformes robotiques. La navigation aérienne embarquée demeure sous-explorée comparée à la navigation terrestre, où les benchmarks VLN se sont multipliés ces dernières années. UAV-ON s'inscrit dans cette lignée en l'adaptant aux contraintes spécifiques du vol: grande échelle, environnements non structurés, absence de repères au sol. Les auteurs positionnent ce travail comme une fondation pour de futures recherches sur l'autonomie UAV pilotée par des descriptions sémantiques, ouvrant la voie à des méthodes capables de généraliser au-delà des scénarios scriptés actuels.

RecherchePaper

1 source

2arXiv cs.RO

Vers des robots à base d'agents : modèle, données, environnement et harnais

Une équipe de chercheurs publie sur arXiv (référence 2610.20442) une revue de littérature qui tente de structurer ce qu'elle appelle les « robots agentiques ». Le texte est un survol académique, sans nouveau robot, sans benchmark inédit ni déploiement chiffré. Il définit un robot agentique comme un système où un agent raisonne sur des instructions humaines, interagit avec son environnement, corrige seul ses erreurs d'exécution et ajuste dynamiquement sa stratégie. Les auteurs retracent d'abord le passage des politiques robotiques aux systèmes agentiques, en passant par les modèles vision-langage-action (VLA), les modèles du monde et les « world-action models ». Ils classent ensuite la littérature existante en dix-sept catégories, réparties sur quatre domaines fonctionnels : le modèle, la donnée, l'environnement et le « harness », c'est-à-dire la couche qui organise les capacités du robot pour son utilisation. Ils couvrent aussi la façon dont les agents orientent l'apprentissage et les décisions, collectent et curent les données robotiques, construisent mondes, tâches et tests pour l'entraînement et l'évaluation, et se terminent sur les défis ouverts. L'intérêt est surtout de cadrage. Les modèles de fondation ne se limitent plus à prédire des actions bas niveau : ils sont mobilisés pour piloter toute la chaîne, de la collecte de données à l'entraînement, à la planification et à l'exécution. Pour un intégrateur ou un décideur industriel, cela signale que la valeur se déplace du seul modèle de contrôle vers l'orchestration autour de lui : génération automatique de scénarios de simulation, curation des démonstrations, évaluation continue, reprise sur erreur. C'est aussi un aveu implicite : ces travaux sont aujourd'hui peu reliés entre eux, et les chercheurs n'ont pas de vision commune pour assembler ces fonctions en un système complet. Le survol ne prouve rien sur la fiabilité de ces approches en production. Il ne contredit ni ne confirme l'écart entre démonstration et réalité, et aucune métrique comparative n'est avancée dans le résumé. Ce travail s'inscrit dans la montée en puissance des VLA et des modèles du monde, popularisés par des acteurs comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, et dans la vague des agents à base de LLM issue du logiciel. La taxonomie en quatre domaines servira surtout de grille de lecture pour situer les prochains travaux, et le terme « agentique » reste en partie un label de positionnement dont la définition n'est pas encore stabilisée. Les auteurs annoncent une discussion des directions futures, sans calendrier ni pilote industriel. Le texte est une préversion (v1) non évaluée par les pairs, à lire comme une cartographie du champ et non comme une validation de ses résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Une taxonomie des activités de tâches de construction pour les robots ouvriers

Un article publié sur arXiv (2608.25395v1, août 2026) présente TARCAT, une taxonomie des tâches de construction destinée aux robots ouvriers, développée par un groupe associé au laboratoire AICPS. Le système s'appuie sur 91 tâches issues de la base O*NET, couvrant sept métiers du bâtiment à forte employabilité, ainsi que sur l'analyse de 30 vidéos pédagogiques de travail physique. TARCAT décompose ce corpus en 41 primitives d'action, regroupées en 12 catégories et trois classes, avec un mécanisme pour combiner ces primitives paramétrées en séquences réutilisables appelées compétences. Une partie de ces primitives a été testée sur un bras robotique DOBOT CR3 équipé d'une main CRAFT. Les annotations complètes sont publiées en accès libre sur GitHub, dans le dépôt AICPS/TARCAT-Taxonomy. Cette taxonomie répond à un problème concret pour les intégrateurs et chercheurs en robotique générale : les modèles vision-langage-action promettent des robots au répertoire plus large que les systèmes spécialisés, mais leur déploiement sur chantier exige un inventaire précis des gestes et des capacités nécessaires, ce qui manquait dans le secteur de la construction. En offrant un vocabulaire commun et lisible par des humains, TARCAT peut organiser des démonstrations d'apprentissage, spécifier les exigences matérielles d'un robot, et alimenter des agents de codage capables de retrouver et d'étendre des bibliothèques de compétences. À noter : seule une sélection restreinte de primitives a été validée physiquement sur un unique bras, loin d'une démonstration de système complet opérant sur un vrai chantier. Ce travail s'inscrit dans le mouvement plus large de la robotique embarquée, où les modèles VLA cherchent à s'affranchir des systèmes dédiés tâche par tâche, un axe poussé par plusieurs laboratoires et fabricants de robots manipulateurs ou humanoïdes. Contrairement aux annonces produits qui multiplient des démonstrations spectaculaires sans cadre d'évaluation standardisé, TARCAT s'appuie sur des données d'occupation officielles et des vidéos de terrain plutôt que sur des cas choisis pour l'effet. Les auteurs présentent ce travail comme une fondation destinée à être étendue : le dépôt GitHub public ouvre la porte à des contributions externes et à une adoption par d'autres équipes travaillant sur la robotique générale appliquée au bâtiment, un secteur où peu de standards communs existaient jusqu'ici pour décrire précisément le travail humain à automatiser.

RecherchePaper

1 source

4arXiv cs.RO

Principes de l'autonomie robotique

Un nouveau manuel intitulé "Principles of Robot Autonomy" vient d'être publié sur arXiv (2608.03496v1, début août 2026). L'ouvrage est issu de plusieurs décennies d'enseignement à Stanford et propose une introduction unifiée aux méthodes qui composent les piles logicielles d'autonomie robotique modernes, de la perception à la planification en passant par le contrôle. Chaque chapitre est accompagné de notebooks Jupyter et d'exercices d'implémentation, pensés pour que les lecteurs construisent une intuition pratique en parallèle des fondements théoriques. Le texte s'adresse aux étudiants, ingénieurs et chercheurs qui entrent dans le domaine, et vise explicitement à faire le pont entre la robotique classique (odométrie, SLAM, planification de trajectoire, commande) et ce que les auteurs appellent l'IA physique, c'est à dire les architectures d'apprentissage qui pilotent aujourd'hui les robots déployés sur route, en entrepôt, dans les airs ou en environnement spatial. L'intérêt de ce manuel dépasse le cadre académique. Il acte un changement de statut de l'autonomie robotique, qui n'est plus seulement un sujet de recherche mais un ensemble de méthodes éprouvées sur le terrain, utilisées quotidiennement par des praticiens. Pour les ingénieurs et les décideurs B2B qui recrutent ou forment des équipes robotique, disposer d'un cadre conceptuel commun, couvrant aussi bien les fondamentaux classiques que les briques modernes d'IA physique, répond à un vrai manque : la formation universitaire peine souvent à suivre le rythme d'un secteur où les modèles VLA (vision language action) et les stacks d'autonomie évoluent plus vite que les programmes d'enseignement. Ce manuel s'inscrit dans une lignée de références historiques de la robotique universitaire, à un moment où le secteur connaît une accélération commerciale sans précédent, portée par des architectures d'IA physique et des humanoïdes déployés en usine ou en entrepôt par plusieurs acteurs industriels. Ce contexte de bascule rapide entre recherche et déploiement réel rend d'autant plus utile un ouvrage qui structure les principes fondamentaux plutôt que de courir après chaque nouvelle démonstration. Le texte ne mentionne pas de suite ou de version imprimée prévue au delà de cette publication arXiv.

RecherchePaper

1 source