RechercheIEEE Spectrum Robotics 9 novembre 2026

La robotique à base d'agents peut-elle résoudre le problème du passage à l'échelle des données en robotique ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Lors de la Conference on Robot Learning 2026, l'Université de Californie à Berkeley et NVIDIA présentent conjointement l'« agentic robotics », une méthode qui utilise les outils d'IA de génération de code pour programmer des robots industriels sur des tâches pratiques. Le principe consiste à comprendre le fonctionnement physique et mathématique du robot, puis à produire du code lisible par un humain pour lui faire exécuter des tâches utiles, sans données de démonstration et sans intervention humaine dans la boucle. Le terme est popularisé par Ken Goldberg, professeur de robotique à Berkeley et cofondateur d'Ambi Robotics, et par Spencer Huang, directeur produit robotique chez NVIDIA. Le laboratoire de Goldberg présente un article sur le sujet pendant la conférence. À ce stade, il s'agit d'une publication de recherche et d'une approche annoncée, pas d'un produit commercialisé, et aucun chiffre de performance ni site de déploiement n'apparaît dans le passage disponible.

L'enjeu est de contester l'hypothèse qui structure aujourd'hui les investissements : avec assez de démonstrations humaines, les robots finiraient par atteindre une fiabilité généralisée, comme les modèles de langage l'ont fait avec les données d'Internet. Goldberg estime que l'apprentissage par imitation a atteint un plateau. Selon lui, il reste prometteur pour la robotique domestique, où vitesse et fiabilité sont moins critiques, mais peine à satisfaire l'exigence industrielle. Il décrit un cycle récurrent : de bons résultats initiaux, puis des défaillances, puis davantage de données, puis d'autres défaillances. Il reconnaît que le secteur se « rend nerveux » faute d'avoir observé le point de convergence espéré. Pour les intégrateurs et les décideurs industriels, l'intérêt tient aussi à l'interprétabilité : un code lisible se vérifie, se corrige et se certifie plus facilement qu'une politique neuronale opaque, un point sensible pour la sécurité en production. Ces affirmations restent toutefois celles des auteurs, et la robustesse de la méthode sur des tâches variées reste à démontrer.

Pendant des décennies, les robots ont été programmés par des méthodes fondées sur des modèles, rapides et fiables une fois réglées à la main, mais coûteuses en temps et en expertise. Cela explique leur abandon au profit de l'apprentissage à partir de démonstrations. Il n'existe aucun jeu de données robotique comparable à l'échelle d'Internet, et la collecte reste lente et chère, au point que certaines sociétés se consacrent uniquement à vendre des données d'entraînement. L'agentic robotics tente de transformer ce problème de données en problème de code, en exploitant directement la progression des modèles de langage. Goldberg indique avoir rencontré les limites de l'approche par données avec des entreprises comme Siemens et Bosch, ce qui situe les besoins industriels visés. Le passage disponible ne précise ni calendrier de pilotes ni positionnement détaillé face aux acteurs de l'apprentissage par imitation.

Impact France/UE

Impact indirect : l'approche pourrait intéresser les intégrateurs européens, Siemens et Bosch étant cités comme exemples de besoins industriels, mais aucun déploiement en Europe n'est annoncé.

À lire aussi

1arXiv cs.RO

Passage à l'échelle de l'exploration en ligne pour les robots à base d'agents

RAX (Robot Agent eXploration), un framework open source présenté sur arXiv (2610.22496), propose de remplacer l'apprentissage par démonstrations par l'exploration en ligne. Un agent de code généraliste y écrit directement le code de contrôle du robot, sans données de démonstration d'actions, sans primitives d'action conçues à la main et sans guidage par fonction de valeur. En explorant, l'agent identifie les séquences de décisions qui atteignent l'objectif, puis les compile en programmes modulaires couvrant toute la boucle perception, planification et contrôle. Les auteurs ont mené une étude multi-embodiment sur des tâches de précision et de manipulation longue durée, avec des bras uniques, des systèmes bimanuels, des mains dextres, des robots mobiles et des humanoïdes, en simulation et sur robots réels. En simulation, RAX dépasse les meilleurs modèles de référence de 37,4 % en moyenne. Sur robots réels, il apprend sans démonstration humaine des tâches dépendant de la mémoire, articulées, de haute précision, déformables et de manipulation mobile longue durée. Les nouvelles compétences sont composées à partir de compétences vérifiées lors de sessions d'exploration précédentes. L'enjeu pour l'industrie tient au coût d'intégration. Aujourd'hui, chaque nouvelle morphologie ou nouvelle tâche exige un corpus de téléopération dédié, ce qui limite le passage à l'échelle des modèles vision-langage-action (VLA) et enferme les politiques dans la distribution de leurs imitations. Ici, un nouveau robot s'intègre uniquement via ses API, sans collecte téléopérée ni entraînement de politique. Pour un intégrateur, cela déplace le goulot d'étranglement de la donnée vers l'exploration en ligne et la vérification des programmes produits. Les auteurs rapportent que la généralisation sur environnements inédits progresse de façon régulière avec le volume d'exploration, et que des comportements émergent : perception active, récupération d'erreurs, garde-fous de sécurité et collaboration homme-robot. Il faut toutefois rester prudent : le résumé ne donne ni temps de cycle, ni taux de réussite absolus, ni coût en calcul ou en appels au modèle de langage, ni durée réelle des explorations. La comparaison de +37,4 % porte sur des simulations dont le détail n'est pas précisé. Ce travail s'inscrit dans le courant des robots pilotés par agents de code, qui prolonge les approches de planification par modèles de langage générant des programmes, en opposition à la voie dominante des VLA entraînés sur de vastes corpus de démonstrations. Il s'agit ici d'un résultat de recherche publié en préprint, non d'un produit livré ni d'un déploiement industriel, et il n'a pas encore été évalué par des pairs. La publication du code ouvre la voie à une reproduction par la communauté, étape décisive pour juger de la robustesse hors des environnements des auteurs. Les prochains indicateurs à surveiller sont la fiabilité sur de longues séries d'essais, le coût de l'exploration et la sécurité lors de l'exploration sur machines réelles.

RecherchePaper

1 source

2arXiv cs.RO

RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique

RoboJEPA, un modèle du monde latent publié sur arXiv (2610.10515), repose sur l'architecture JEPA (Joint Embedding Predictive Architecture) et compte 8 milliards de paramètres. Ses auteurs le présentent comme le plus grand prédicteur JEPA entraîné à ce jour. Il a été entraîné sur un jeu de données à grande échelle couvrant 12 embodiments robotiques différents, issu de données de robots réels. Le résultat central est que l'« imagination error », c'est-à-dire l'erreur accumulée par les déroulés (rollouts) du modèle dans l'espace latent, suit une loi de puissance de second ordre en fonction du calcul. Cette loi permet de prédire la qualité du modèle bien au-delà de l'échelle sur laquelle elle a été ajustée. Les performances de planification en aval progressent elles aussi de façon prévisible avec le calcul. Enfin, le modèle a été déployé en zero-shot sur du matériel réel : il planifie vers une unique image-but pour résoudre des tâches à horizon long. Les checkpoints, le code d'entraînement et le code de déploiement sont publiés. L'intérêt tient moins à la performance brute qu'à la méthode. Jusqu'ici, les lois d'échelle étaient bien établies pour les modèles de langage, mais pas pour les modèles du monde robotiques, ce qui obligeait les équipes à investir à l'aveugle en paramètres, données et GPU. Si l'imagination error est effectivement corrélée de façon forte à la réussite de la planification, elle devient un indicateur peu coûteux pour évaluer un modèle sans passer par des essais sur robot réel, longs et difficiles à reproduire. Pour les intégrateurs et les décideurs B2B, cela rapproche la robotique d'une logique d'ingénierie où l'on chiffre à l'avance le gain attendu d'un budget de calcul. Il faut cependant rester prudent : il s'agit d'un preprint sans relecture par les pairs, les tâches réelles ne sont pas détaillées dans le résumé (taux de réussite, durée, diversité des scènes), et une extrapolation de loi d'échelle ne garantit pas la robustesse en environnement industriel ouvert. Ce travail s'inscrit dans la lignée des approches JEPA promues par Yann LeCun et Meta, qui privilégient la prédiction dans un espace de représentation abstrait plutôt qu'au niveau du pixel, en opposition aux modèles génératifs vidéo et aux politiques VLA (vision-langage-action) entraînées par imitation. Il se positionne face aux modèles du monde de type Cosmos de NVIDIA et aux modèles génératifs de Google DeepMind, ainsi qu'à V-JEPA 2 de Meta, qui avait déjà montré une planification robotique à partir d'une image-but. La publication ouverte des poids et du code laisse attendre des reproductions et des extensions par d'autres laboratoires. Les prochaines étapes à surveiller sont la validation des lois d'échelle à des tailles supérieures à 8 milliards de paramètres, leur confirmation par des équipes indépendantes, et une évaluation sur des tâches industrielles réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Résoudre la manipulation mobile : du diagnostic des échecs à un système robotique à base d'agents

Des chercheurs du laboratoire PKU-VaLuE de l'université de Pékin publient une étude sur l'écart entre manipulation locale et manipulation mobile à long horizon. Un VLA (vision-language-action) pré-entraîné, spécialisé par sous-tâche, atteint 80 % de réussite sur des tâches de manipulation atomiques, mais seulement 19 % lorsque ces compétences sont enchaînées dans des tâches de manipulation mobile. Les auteurs diagnostiquent systématiquement les échecs et en isolent trois régimes dominants : la planification de tâche, la navigation avec positionnement de la base, et la manipulation locale. Ils construisent ensuite une intervention « agentique » guidée par ces échecs, qui ajoute à un VLA figé quatre modules : un guidage de planification par démonstrations, une mémoire visuelle adaptative, un ajustement de la base tenant compte de l'accessibilité, et un ajustement local de l'effecteur. Sur le benchmark RoboCasa365, le taux de réussite passe progressivement de 19 % à 47 %, et le système final atteint 49 % sur des épisodes tenus à l'écart, contre 18 % pour la référence. Sur BEHAVIOR-1K, le score passe de 14 % à 37 %, et sur robot réel de 5 sur 20 à 13 sur 20 tâches réussies. Ces résultats remettent en cause l'idée que la réussite d'une politique sur des tâches locales se transfère mécaniquement aux tâches longues. Un écart de 80 % à 19 % montre que l'erreur se compose sur la chaîne d'exécution (planification, déplacement, placement du bras), et que les benchmarks de manipulation isolée surestiment la préparation au déploiement. Pour les intégrateurs et les décideurs, le message est pragmatique : plutôt que de miser uniquement sur des politiques plus grandes ou davantage de données, on peut gagner beaucoup en traitant le goulot d'étranglement du moment avec des modules d'orchestration autour d'un VLA existant. Il faut toutefois relativiser : un taux de 49 % en simulation reste loin de la fiabilité exigée en production, et l'évaluation réelle ne porte que sur 20 tâches, un échantillon trop petit pour des conclusions statistiques solides. Le fait que l'on passe de 5 à 13 réussites sur 20 est encourageant, sans être une preuve de robustesse. Ce travail s'inscrit dans la course aux modèles généralistes de type Pi-0, GR00T ou Helix, dont les démonstrations portent souvent sur des séquences courtes ou soigneusement choisies. Il rejoint une tendance vers des architectures hybrides combinant un planificateur de haut niveau, de la mémoire et des contrôleurs spécialisés, plutôt qu'une politique de bout en bout unique. RoboCasa365 et BEHAVIOR-1K, deux benchmarks de tâches domestiques en simulation, servent ici de références comparables. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, dont le code est annoncé sur GitHub mais pas encore publié. La suite dépendra de sa disponibilité, de sa reproduction par d'autres équipes et de son test sur d'autres plateformes mobiles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

META-Robot : auto-cognition et passage à l'échelle des capacités chez les robots à base d'agents

Des chercheurs ont déposé sur arXiv (identifiant 2610.41868, version 1, non évaluée par les pairs) META-Robot, un cadre logiciel pour agents robotiques pilotés par des grands modèles de langage (LLM) qui génèrent du code de contrôle. L'idée est de coupler « auto-cognition » et montée en compétences. Des prédicats au niveau de l'action rendent explicites les résultats d'exécution et les mettent à disposition du raisonnement du LLM. L'agent s'en sert pour repérer ses propres limites, étendre ses critères d'évaluation, puis enrichir de façon structurée son répertoire de compétences. Un retour proprioceptif, c'est-à-dire l'état physique du robot et donc des signaux non visuels, complète les indices disponibles. Les auteurs rapportent des essais en simulation et sur robots réels, avec de meilleures performances globales, une meilleure généralisation à de nouvelles tâches, une croissance continue des compétences et des critères, et un usage efficace de ces signaux. Le résumé ne donne aucun chiffre: ni taux de réussite, ni plateforme, ni nombre de tâches. L'enjeu est un point faible connu des agents LLM en robotique. Leur généralisation dépend souvent d'un échafaudage manuel élaboré (prompts, primitives écrites sur mesure), et ajouter des compétences n'indique ni comment juger les nouvelles ni ce qui reste hors de portée. META-Robot traite l'évaluation comme un objet qui évolue avec l'agent, ce qui s'apparente à un contrôle d'exécution traçable, utile pour un intégrateur qui doit savoir pourquoi une tâche a échoué. L'appui sur la proprioception réduit aussi la dépendance à la vision seule. Il faut toutefois rester prudent: sans benchmarks, sans comparaison chiffrée et sans durée d'essai, rien ne dit que l'approche tient hors laboratoire. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la lignée des approches où un LLM écrit le code de contrôle, apparues vers 2022, et des agents à bibliothèque de compétences qui s'enrichit. En face, les modèles vision-langage-action (VLA) de bout en bout, comme Pi-0, Helix ou GR00T, apprennent directement des politiques à partir de données. META-Robot se range côté programmatique, plus interprétable mais plus dépendant de la qualité des critères. Aucun acteur français ou européen n'est cité dans le résumé. Les prochaines étapes à surveiller sont la publication du code, des plateformes testées et des comparaisons directes avec les méthodes concurrentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source