RecherchearXiv cs.RO 21 octobre 2026

Embodied Playground : un benchmark robotique à base d'agents, à long horizon, pour le raisonnement physique, stratégique et spatial

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Embodied Playground est un nouveau benchmark, décrit dans un preprint arXiv (2610.27039), conçu pour évaluer des agents robotiques fondés sur des modèles de fondation sur des tâches longues. Il regroupe 410 environnements de tâches couvrant la manipulation de base, des puzzles séquentiels et des activités domestiques en plusieurs étapes, avec des variations de profondeur de planification, de contraintes géométriques et d'exigences d'exécution physique. Les auteurs en tirent EP-100, une sélection représentative de 100 tâches réparties en cinq suites et 16 types de tâches, ainsi que deux découpages par difficulté, EP-Easy et EP-Hard, et une sélection compacte de 20 tâches, EP-20. Un protocole commun fixe l'accès aux observations et aux outils, les budgets de ressources et la répétition des essais. Il prévoit aussi trois vérifications indépendantes: l'atteinte de l'objectif, le respect des règles de la tâche et la validité physique. L'agent doit suivre sa progression, satisfaire des contraintes intermédiaires et réviser son plan à partir des retours d'exécution, puisque chaque action conditionne les décisions suivantes. Le résumé fourni ne contient ni résultats chiffrés ni classement de modèles, et le code et les ressources sont annoncés sur un site dédié.

L'intérêt pour l'industrie tient à un angle mort des évaluations actuelles. Beaucoup de démonstrations et de benchmarks de modèles vision-langage-action (VLA) mesurent des primitives courtes, alors que les déploiements réels (logistique, assemblage, services) enchaînent des dizaines d'étapes dépendantes, où une erreur précoce se propage. En séparant la réussite de l'objectif, la conformité aux règles et la validité physique, le protocole vise à écarter les exécutions qui « réussissent » en violant la physique ou les contraintes, un biais fréquent dans les vidéos de démonstration sélectionnées. Pour des intégrateurs et des décideurs B2B, c'est un outil potentiel pour comparer des agents sur la fiabilité à l'échelle de la tâche plutôt que sur des taux de succès par geste. Il faudra toutefois vérifier la part de simulation et l'écart sim-to-real, ainsi que la reproductibilité des résultats, tant que les scores ne sont pas publiés.

Ce travail s'inscrit dans une série de benchmarks d'agents incarnés et de manipulation à horizon long, apparus à mesure que les modèles de fondation (LLM, VLM, VLA) se sont imposés comme couche de raisonnement des robots. Ces benchmarks restent le plus souvent cantonnés à la simulation et diffèrent par leurs protocoles, ce qui complique les comparaisons entre laboratoires. Embodied Playground tente d'unifier ce cadre avec des sous-ensembles de taille graduée, EP-20 permettant des évaluations rapides et EP-100 des comparaisons plus complètes. Les suites logiques sont la publication de résultats de référence pour des modèles existants, l'adoption par d'autres équipes et, à terme, la validation sur matériel réel. Il s'agit pour l'instant d'une publication de recherche, sans produit commercial ni déploiement industriel associé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

EmbodiedSWE : agents de codage pour la robotique dextre à long horizon

Une équipe de recherche présente EmbodiedSWE, un système qui exploite des agents de codage pour résoudre des tâches de robotique dextre à long horizon, avant de transformer leurs solutions en données d'entraînement pour des politiques robotiques générales. Les auteurs introduisent EmbodiedSWE-Bench, un benchmark de simulation couvrant la manipulation à contact riche, les objets déformables et des tâches longues exigeant jusqu'à trente minutes d'interaction continue. Les agents de codage de pointe testés résolvent ces tâches et transfèrent leurs solutions d'une tâche à l'autre, voire d'un robot à un autre, au prix de nombreuses itérations et d'une forte spécialisation. EmbodiedSWE-Gen démultiplie ensuite une solution unique en de nombreuses trajectoires diversifiées pour entraîner un modèle vision-langage-action (VLA), qui, entraîné uniquement sur ces démonstrations simulées, exécute avec succès une tâche longue sur un robot réel, sans donnée de téléopération humaine. Ce résultat s'attaque au principal goulot d'étranglement de l'apprentissage robotique : la collecte de démonstrations, aujourd'hui dominée par la téléopération humaine, lente et coûteuse. En montrant qu'un agent de codage capable d'itérer en simulation peut se substituer à l'opérateur humain pour produire des trajectoires exploitables, l'étude ouvre une piste de supervision scalable pour les politiques VLA, la même famille de modèles que des systèmes connus du secteur comme GR00T N2, Pi-0 ou Helix. Pour les intégrateurs et décideurs industriels, l'enjeu est de réduire le coût et le délai nécessaires pour doter un robot de nouvelles compétences sans dépendre de flottes dédiées à la collecte de données. Le transfert réussi vers un robot réel, même limité à une seule tâche démontrée, suggère que l'écart sim-to-real peut être comblé par une diversification algorithmique des trajectoires plutôt que par un volume massif de données réelles. L'approche s'inscrit dans la tendance qui consiste à détourner les agents de codage, conçus pour l'ingénierie logicielle, vers des problèmes de contrôle physique, en écho aux efforts des laboratoires développant des modèles VLA pour réduire leur dépendance à la téléopération humaine. Publiée en prépublication sur arXiv (2609.27308), la recherche ne mentionne aucun déploiement industriel : la validation sur robot réel reste limitée à une seule tâche, le reste se déroulant en simulation.

RecherchePaper

1 source

2arXiv cs.RO

RACaP : raisonnement, action et codage à base d'agents pour un apprentissage robotique évolutif

Des chercheurs ont publié sur arXiv, le 25 septembre 2026 (référence 2609.29394), un article décrivant RACaP (Reasoning, Acting, and Coding as Policies), un framework agentique pour l'apprentissage robotique évolutif. Contrairement aux méthodes Code as Policies (CaP) classiques, qui génèrent et réparent du code au moment de l'exécution au prix d'une latence et d'un mélange entre mécanismes réutilisables et décisions spécifiques à la tâche, RACaP déplace la génération de code vers une phase d'évolution en amont et s'appuie, au déploiement, sur une boucle ReAct qui appelle des API de politiques figées et typées, combinant curriculum d'apprentissage et auto-évolution autonome. Sur les bancs d'essai en simulation LIBERO, RACaP atteint 54,4% de réussite sur LIBERO-90, 45,0% en zero-shot sur LIBERO-PRO et 46,0% sur LIBERO-Long, contre au maximum 4,0% pour les baselines CaP sur les tâches à long horizon, soit 2,5 fois leur taux de réussite sur LIBERO-PRO et un temps de décision médian 1,9 fois plus rapide. Un fine-tuning par échantillonnage par rejet distille ensuite les décisions ReAct de GPT-5.6 dans un modèle compact Qwen3-VL-8B-Instruct, accélérant l'inférence par décision d'un facteur 13,2 et réduisant les appels physiques répétés de 16 à 4. Ce travail cible un problème concret pour les intégrateurs: la latence et la fragilité des approches où un modèle de langage génère et corrige du code de contrôle en direct, ce qui complique la maintenance et le passage à l'échelle sur des tâches longues. En séparant le code réutilisable, figé après évolution, des décisions prises en temps réel via mémoire de travail, mémoire d'expérience et retour visuel, RACaP illustre une piste pour rendre les agents VLA (vision-language-action) plus robustes et plus rapides sans sacrifier l'adaptabilité. La distillation vers un modèle compact comme Qwen3-VL-8B-Instruct répond directement à une contrainte industrielle: les grands modèles comme GPT-5.6 restent trop lents et coûteux pour tourner en boucle fermée sur un robot physique. Ces résultats demeurent toutefois obtenus en simulation sur les bancs académiques LIBERO, et non lors d'un déploiement réel en usine ou en entrepôt, laissant ouvert l'écart classique entre performance simulée et performance en conditions réelles. RACaP s'inscrit dans la lignée des méthodes Code as Policies, qui font piloter des robots par des grands modèles de langage générant directement du code exécutable, une approche dont les limites sur les tâches longues et complexes sont confirmées ici par les scores plafonnés à 4,0% des baselines CaP citées dans l'article. En comparant son architecture à ces méthodes de référence sur les mêmes bancs LIBERO-90, LIBERO-PRO et LIBERO-Long, l'équipe cherche à démontrer qu'une architecture combinant code figé et raisonnement au moment de l'action offre une meilleure transférabilité zero-shot, un critère que surveillent les décideurs avant tout investissement en robotique VLA. L'article, disponible en prépublication sous la référence 2609.29394v1, ne mentionne ni calendrier de déploiement sur robot physique ni partenariat industriel; les prochaines étapes attendues pour ce type de travaux académiques restent une validation sur plateforme réelle et une revue par les pairs.

RechercheActu

1 source

3arXiv cs.RO

AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique

Des chercheurs ont publié AssemLM (arXiv:2604.08983), un modèle multimodal de raisonnement spatial pour la robotique d'assemblage. Le système fusionne trois sources (manuels d'assemblage, nuages de points 3D, instructions textuelles) pour prédire des poses 6D, c'est-à-dire la position et l'orientation complètes d'une pièce dans l'espace tridimensionnel. Un encodeur de nuages de points spécialisé extrait des caractéristiques géométriques et rotationnelles fines, transmises ensuite à un LLM multimodal pour le raisonnement spatial de haut niveau. Les auteurs publient également AssemBench, un benchmark de plus de 900 000 échantillons multimodaux avec annotations de poses 6D précises, étendant l'évaluation classique du grounding 2D à l'inférence géométrique 3D complète. Des tests sur robot réel valident des performances à l'état de l'art sur des tâches d'assemblage multi-étapes en conditions réelles. Le verrou ciblé est central en manipulation fine industrielle: les VLMs courants opèrent sur des images 2D et peinent à raisonner sur la géométrie précise qu'exigent le vissage, l'emboîtement ou l'alignement de composants au sous-millimètre. En intégrant les nuages de points comme modalité native, AssemLM raisonne sur l'orientation exacte d'une pièce, pas seulement sur sa présence dans le champ visuel. Pour un intégrateur ou une équipe R&D en automatisation industrielle, prédire des poses 6D depuis un manuel PDF et une capture 3D ouvre la voie à des cellules d'assemblage reconfigurables sans reprogrammation manuelle entre chaque référence produit. AssemBench, avec ses 900 000 échantillons annotés, comble par ailleurs un manque d'infrastructure de comparaison rigoureuse dans ce sous-domaine. Le raisonnement spatial est un défi persistant pour les modèles de vision-langage, majoritairement entraînés sur des tâches 2D (captioning, grounding d'objets, VQA). Les modèles VLA (Vision-Language-Action) récents, comme pi0 de Physical Intelligence, OpenVLA ou les travaux de Google DeepMind sur RoboVLMs, progressent sur la manipulation généraliste, mais l'assemblage industriel structuré avec ses contraintes de précision sub-millimétrique reste peu adressé par ces approches. AssemLM se positionne dans cette niche en ciblant explicitement les tâches avec documentation formalisée (manuels, nomenclatures). Les auteurs annoncent la mise à disposition publique du code, des modèles et du dataset AssemBench, point d'entrée potentiel pour la communauté académique et les industriels souhaitant affiner le modèle sur leurs propres composants. Aucun partenaire industriel ni déploiement commercial n'est mentionné: il s'agit à ce stade d'une publication de recherche, sans produit ni pilote planifié.

UELa publication en open-source d'AssemBench (900 000 échantillons annotés 6D) constitue une ressource d'entraînement et d'évaluation directement exploitable par les labos européens travaillant sur la manipulation industrielle précise, sans acteur FR/EU impliqué à ce stade.

RechercheOpinion

1 source

4arXiv cs.RO

Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents

Des chercheurs proposent WORLDS (World-state Observation and Reasoning for Language-guided Discovery and Search), un cadre pour la recherche robotique guidée par le langage naturel sur de longs horizons, détaillé dans un preprint publié sur arXiv (arXiv:2609.23841). Le système construit un graphe persistant initialisé à partir de priors géospatiaux, mis à jour par la perception, dans lequel des "Reasoners" parallèles maintiennent plusieurs interprétations candidates concurrentes et déclenchent la collecte d'observations pour les départager, avant qu'un "Examiner" multimodal traite ces observations et qu'un "Judge" choisisse une cible ou redemande une passe supplémentaire. Sur le benchmark CityNav, WORLDS atteint 51,8% de succès de navigation sur l'ensemble des 5 311 épisodes de test, le meilleur taux publié à ce jour, soit 15,7 points de plus que la référence précédente, sous un protocole limité aux données OpenStreetMap et à l'imagerie orthographique haute résolution. Sur un sous-ensemble comparatif de 1 000 épisodes, à modèle, prior, chaîne de perception et budget de déplacement identiques, WORLDS obtient 50,0% contre 27,9% pour la meilleure base adaptée. La vérification par observations de l'Examiner apporte à elle seule 5,9 points, et même avec un effort de raisonnement réduit, WORLDS dépasse encore la référence GeoNav adaptée de 18,8 points tout en générant moins de tokens. Pour les intégrateurs de robotique autonome et les équipes travaillant sur la navigation par instructions en langage naturel, ce résultat suggère que l'écart provient bien de l'architecture de raisonnement, avec maintien d'hypothèses concurrentes et vérification active par perception, plutôt que d'un simple gain de puissance de calcul, puisque la comparaison se fait à modèle et budget identiques. Le fait que la performance se maintienne, voire s'améliore relativement, à effort de raisonnement réduit et avec moins de tokens générés est un signal concret pour des applications embarquées où la latence et la puissance de calcul sont contraintes, comme les drones. Le cadre a aussi été testé sur un quadrirotor, qui exécute les points de passage de détection générés par le système et identifie trois cibles langagières à partir de son imagerie embarquée, dont un véhicule absent de la carte initiale. Il s'agit toutefois d'un preprint de recherche non encore évalué par les pairs, sans nom d'entreprise ni date de déploiement commercial associée: la démonstration drone reste un test de validation en conditions contrôlées, pas un produit déployé sur le terrain.

RecherchePaper

1 source