RechercheThe Robot Report 11 novembre 2026

Des agents d'IA peuvent programmer des robots industriels sans données d'entraînement, selon Berkeley

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs de UC Berkeley et de NVIDIA ont publié des outils open source permettant à des équipes d'agents IA de coder, simuler et affiner des programmes robotiques lisibles, sans jeu de données d'entraînement massif. Présentés cette semaine à la conférence CoRL 2026 à Austin (Texas), ils reposent sur deux briques. Graph-as-Policy (GaP) est un cadre modulaire qui découpe une tâche en compétences (perception, planification de saisie, mouvement sans collision) que les agents génèrent, relient et répètent en simulation. Le Variational Automation Benchmark for Agentic Robotics (VABAR) propose six tâches (tri d'outils, accrochage d'outils, engrènement d'engrenages, conditionnement de seringues, insertion et routage de câbles), avec variations standardisées et niveaux de difficulté, construit sur Isaac Lab-Arena de NVIDIA et le moteur physique Newton. Le point de départ est un outil, RoboSimStudio, une interface à curseurs développée par l'étudiant Eric Chen pour son propre usage. En septembre, Chen a fourni à un modèle frontière (GPT-6 Astra) cet outil et une vidéo : en environ une heure, par essais et erreurs, l'agent a produit une simulation Newton très proche de la scène filmée.

L'enjeu pour l'industrie est le calendrier des projets. La programmation d'une cellule robotisée ne peut démarrer qu'une fois le robot, les alimentateurs et le convoyage installés, ce qui reporte la charge sur l'équipe logicielle au moment où l'échéance approche, et se traduit par des semaines à des mois de réglage. Si des agents peuvent écrire et valider le code en simulation en amont, une partie de ce goulot disparaît. Ken Goldberg, titulaire de la chaire William S. Floyd Jr. à Berkeley, y voit un changement de paradigme : au lieu de collecter des volumes massifs de données et d'ajuster chaque comportement à la main, les agents génèrent, testent et révisent des programmes que les ingénieurs peuvent lire, interpréter et vérifier. Cette lisibilité est un argument face aux politiques de type VLA ou réseaux de neurones, dont le comportement est difficile à certifier. Elle suggère aussi que le verrou n'était pas seulement le modèle, mais la simulation : Newton expose des centaines de paramètres, ce qui en limitait l'usage, et RoboSimStudio les rend suffisamment maniables pour qu'un agent les règle seul.

Il faut toutefois rester prudent. Les résultats rapportés reposent pour l'instant sur les propos du chercheur : l'épisode de la simulation générée en une heure est une démonstration unique, et l'extrait ne fournit ni taux de réussite sur VABAR ni mesure du transfert sim-to-real sur robot physique, même si le dispositif prévoit un bouclage avec des retours simulés et réels et un interpréteur embarqué qui pilote le robot. Il s'agit donc d'une publication de recherche et non d'un produit livré ni d'un déploiement industriel. Goldberg reconnaît d'ailleurs que les outils de simulation existants étaient peu fiables, ce qui rappelle que la qualité du simulateur borne celle de la boucle agentique. L'approche s'inscrit dans la montée du « vibe coding » appliqué à la robotique, que l'équipe dépasse en confiant à des agents la gestion complète du codage, du test et du déploiement. Elle s'appuie sur l'écosystème ouvert de NVIDIA (Isaac Lab-Arena, Newton), face aux approches fondées sur de grands modèles entraînés sur des données de démonstration. Les prochaines étapes à surveiller sont des évaluations chiffrées sur VABAR, des validations sur cellules réelles et l'adoption par des intégrateurs.

Dans nos dossiers

NVIDIA Isaac & Cosmos

À lire aussi

1MIT News Robotics

Les agents IA créent des terrains de jeu virtuels pour fournir aux robots des données d'entraînement essentielles

Des chercheurs du MIT CSAIL et du Toyota Research Institute ont présenté SceneSmith, un système qui génère des environnements 3D synthétiques pour entraîner des robots en simulation. L'outil s'appuie sur trois agents IA reposant chacun sur GPT-5.2, un modèle vision-langage (VLM) entraîné sur du texte et des images à grande échelle : un agent "designer" génère les éléments de la scène (murs, objets, mobilier), un agent "critique" évalue le réalisme du résultat, et un "orchestrateur" gère les allers-retours entre les deux jusqu'à validation finale. Les chercheurs ont produit plus de 1300 scènes de ce type, couvrant des restaurants, chambres, hôtels et garages, avec jusqu'à six fois plus d'objets par scène que les méthodes précédentes. Sur simple requête textuelle ("un garage avec une voiture, un établi, des pneus empilés dans un coin et une échelle contre le mur"), le système produit une scène directement chargeable dans un moteur de simulation physique. Nicholas Pfaff, doctorant au MIT EECS et auteur principal de l'étude aux côtés de Russ Tedrake, professeur au MIT et chercheur principal au CSAIL, note que le système a improvisé des arrangements créatifs sans instruction explicite en ce sens. Dans une phase de test, les chercheurs ont généré 100 environnements uniques pour évaluer des politiques d'action robotiques (des plans de tâches comme déposer une tasse dans l'évier ou déplacer une canette d'une étagère à une table). Un agent VLM a jugé chaque tentative, et ses verdicts ont concordé avec l'avis humain dans plus de 99% des cas. L'enjeu principal reste le goulot d'étranglement des données pour l'apprentissage robotique : entraîner physiquement un robot à chaque tâche, dans chaque environnement, est coûteux en temps et en main d'œuvre. La simulation est identifiée depuis des années comme solution potentielle, mais butait jusqu'ici sur la pauvreth et le manque de diversité du contenu généré, loin de la richesse du monde réel. Si les résultats de validation à 99% se confirment sur d'autres benchmarks, SceneSmith apporterait un début de réponse concrète à ce problème en permettant de tester et filtrer les politiques robotiques en simulation avant tout déploiement physique, réduisant d'autant les essais-erreurs coûteux sur du matériel réel. Pour les intégrateurs et équipes de R&D robotique, cela ouvre la possibilité de valider un plus grand nombre de comportements avant la mise en service, un enjeu classique de l'écart entre démonstration et réalité opérationnelle. Le projet s'inscrit dans la continuité des travaux du laboratoire de Russ Tedrake au CSAIL sur la simulation physique et l'apprentissage robotique, en partenariat avec le Toyota Research Institute, acteur historiquement actif sur la robotique domestique et industrielle. La question de la validité de ces mondes virtuels, à savoir dans quelle mesure leur réalisme se traduit effectivement par un transfert réussi vers le monde physique (le fameux problème du "sim-to-real"), reste ouverte : les chercheurs indiquent avoir engagé des vérifications supplémentaires sur ce point, sans que les détails de cette validation ne soient encore précisés.

RecherchePaper

1 source

2Robohub

IA agents créent des terrains de jeu virtuels pour entraîner les robots

Des chercheurs du MIT CSAIL et du Toyota Research Institute ont conçu SceneSmith, un système qui génère des scènes 3D réalistes pour entraîner des robots en simulation. Trois agents IA, tous pilotés par le même modèle vision-langage GPT-5.2, se répartissent le travail : un agent "designer" place les objets et l'agencement de la pièce, un agent "critique" évalue le réalisme du résultat, et un "orchestrateur" décide quand la scène est terminée avant de la charger dans un moteur physique. L'équipe, menée par le doctorant Nicholas Pfaff sous la direction de Russ Tedrake (chaire Toyota, CSAIL), a produit plus de 1300 scènes de restaurants, chambres, hôtels et garages, avec jusqu'à six fois plus d'objets par pièce que les méthodes précédentes. Cent espaces additionnels ont servi à tester automatiquement, via un agent VLM juge, la fiabilité de politiques de contrôle de robots pour des tâches comme poser un verre dans un évier ou déplacer une canette d'une étagère à une table. Le principal frein de la robotique généraliste reste la donnée : entraîner un robot physique à de nouvelles tâches en conditions réelles coûte cher en temps et en supervision. SceneSmith automatise la création de mondes virtuels assez variés pour que les compétences apprises en simulation se transfèrent au réel, un défi connu sous le nom de sim-to-real. Pour les intégrateurs, l'intérêt est direct : tester des politiques de contrôle dans des scènes générées automatiquement plutôt que construites pièce par pièce à la main, avant tout essai physique. Le résultat illustre aussi une tendance plus large : des modèles vision-langage entraînés sur des corpus internet encodent assez de connaissance spatiale pour composer des environnements crédibles sans règles d'agencement écrites à la main, signe que les VLM à grande échelle deviennent des briques réutilisables au-delà de la perception ou du langage. À nuancer : il s'agit d'un système testé en simulation, sans robot physique déployé, et la créativité des arrangements, saluée par les auteurs, reste une appréciation qualitative plutôt qu'une métrique chiffrée. Ces travaux prolongent les recherches du laboratoire de Russ Tedrake au CSAIL sur la génération procédurale de scènes, un axe où les moteurs physiques ont progressé plus vite que le contenu réaliste à y faire tourner. Le partenariat avec le Toyota Research Institute s'inscrit dans les efforts du constructeur pour accélérer l'apprentissage de robots domestiques et industriels sans multiplier les essais physiques coûteux. SceneSmith rejoint la vague d'outils de génération de données synthétiques et de jumeaux numériques que les laboratoires de robotique développent pour combler l'écart entre simulation et réalité. Aucun calendrier de déploiement sur un robot commercial n'est annoncé : l'outil reste un système de recherche en simulation, dont la prochaine étape logique serait de vérifier que les politiques entraînées sur ces scènes se transfèrent bien à des robots physiques.

RecherchePaper

1 source

3arXiv cs.RO

Mémoriser, s'adapter, ignorer : diagnostiquer les mécanismes d'apprentissage des robots selon la variation des données d'entraînement

Une étude publiée sur arXiv (v1, septembre 2026) s'attaque à une question que les équipes de robotique manipulent surtout à tâtons : pourquoi faire varier les données d'entraînement améliore-t-il la robustesse d'une politique de manipulation, et jusqu'où faut-il aller ? Les auteurs travaillent sur la randomisation de domaine (DR) en simulation et sur la curation de démonstrations pour l'apprentissage par imitation. Ils font varier la taille, la couleur et le type des objets, l'éclairage de la scène et les instructions en langage naturel. Les cas d'étude couvrent du pick-and-place par apprentissage par renforcement dans ManiSkill, ainsi que le fine-tuning de modèles vision-langage-action (VLA) sur les benchmarks LIBERO et RoboTwin. L'outil de diagnostic principal est le noyau tangent neuronal empirique (NTK), qui permet d'inspecter les représentations internes en plus du comportement observé. Les résultats sont validés sur du matériel réel avec de l'imitation de type ACT. Le principal résultat est que le NTK distingue deux régimes d'apprentissage. Avec trop peu de variation, la politique « mémorise » des situations séparées, par exemple une conduite pour un grand cube et une autre pour un petit cube. Avec une variation suffisante, elle « s'adapte » à la situation en cours. Un rapport signal sur bruit construit sur le NTK indique en outre si la politique a appris à « ignorer » un facteur non pertinent, comme traiter de la même façon un cube bleu et un cube rouge au lieu d'entretenir deux sous-politiques. Les auteurs en tirent des consignes pratiques pour dimensionner un schéma de DR, choisir un modèle et repérer l'apprentissage par raccourci (shortcut learning). Ce n'est ni un produit ni un déploiement, mais un travail de méthode, et les chiffres de gain ne figurent pas dans le résumé. Pour les intégrateurs et les équipes qui entraînent des VLA, l'intérêt est de remplacer l'essai-erreur coûteux, qui reste la norme pour régler les paramètres de randomisation, par un diagnostic mesurable avant le déploiement. Cela traite directement l'écart entre démonstration et réalité : une politique qui réussit en benchmark peut n'avoir mémorisé que des cas particuliers, sans généraliser. Une limite à garder en tête : le NTK empirique est coûteux à calculer sur de très gros modèles, et la validation matérielle annoncée repose sur ACT, bien plus petit que les VLA de fondation. Le résumé ne dit pas si le diagnostic reste fiable à cette échelle. Ces travaux s'inscrivent dans un mouvement d'interprétabilité appliquée à l'apprentissage robotique. Il s'est développé avec la montée des VLA et les critiques récurrentes sur la fragilité de LIBERO, souvent soupçonné de récompenser la mémorisation. Reste à voir si les équipes industrielles adopteront ce type de métrique pour auditer leurs jeux de données avant d'entraîner à grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

AgenticRoboRL : appliquer le post-entraînement des agents de code à la robotique à base d'agents

Des chercheurs publient AgenticRoboRL, un cadre de post-entraînement destiné aux planificateurs des systèmes de robotique agentique. Ces systèmes associent un planificateur, c'est-à-dire un modèle de langage qui décompose la tâche, à un « harnais » qui exécute les actions, soit en appelant des compétences VLA (vision-langage-action), soit en générant du code de contrôle. La recette combine un réglage supervisé (SFT) et un apprentissage par renforcement multi-tours. Des adaptateurs propres à chaque harnais relient les interactions enregistrées du planificateur aux résultats des tâches. Le pipeline RL reste ainsi commun et les composants d'exécution restent figés. Sur le benchmark LIBERO-PRO, un planificateur de 9 milliards de paramètres passe de 18,1 % à 71,0 % de réussite sans mémoire externe. Codex (GPT-5.5) atteint 72,1 % avec mémoire externe. Les auteurs annoncent la publication du cadre et des checkpoints entraînés. Pour l'instant, il s'agit d'une prépublication arXiv, sans code disponible. L'intérêt tient à ce que les travaux récents sur la robotique agentique cherchaient surtout à améliorer le harnais et la mémoire externe, tout en s'appuyant sur de gros modèles propriétaires pour planifier. Ces résultats suggèrent qu'un modèle ouvert de taille modeste, spécialisé par post-entraînement, peut se rapprocher d'un modèle fermé de pointe sur ce benchmark. Pour un intégrateur ou un industriel, cela change le calcul sur trois points : la dépendance à une API tierce, la latence et la possibilité d'un déploiement embarqué ou sur site. Le gain de 53 points montre aussi que l'écart de départ venait en grande partie de l'inadéquation du modèle à la tâche, et pas de la seule faiblesse du harnais. Il faut toutefois relativiser. LIBERO-PRO est un benchmark simulé de manipulation, le comparatif avec Codex mélange des conditions différentes (avec ou sans mémoire), et rien n'indique encore une validation sur robot réel, en environnement non structuré, ni sur des temps de cycle industriels. Le transfert sim-to-real reste donc entièrement à démontrer. Cette approche transpose à la robotique ce qui a fait progresser les agents de code, dont les gains récents viennent du post-entraînement du modèle lui-même par RL sur des retours d'exécution vérifiables. Elle se place face aux architectures de type VLA de bout en bout (Pi-0, GR00T, Helix), qui fusionnent perception et contrôle dans un seul modèle, alors qu'ici la planification reste séparée de l'exécution. Elle se distingue aussi des systèmes agentiques qui reposent sur des LLM fermés avec mémoire externe. La suite dépendra de la publication effective des poids et du code, qui permettra une réplication indépendante. Il faudra ensuite voir si le gain tient sur d'autres harnais, sur des tâches plus longues et sur du matériel réel. Aucun pilote industriel ni calendrier n'est annoncé à ce stade.

RecherchePaper

1 source