Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

EmbodiedLab : un banc d'essai pour les agents incarnés qui agissent pour savoir

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv EmbodiedLab, un benchmark qui évalue des agents incarnés censés « agir pour savoir ». Il couvre 30 expériences de sciences quantitatives réparties en cinq disciplines, sur 14 plateformes d'appareillage, dans un laboratoire simulé par un moteur physique. L'agent reçoit un objectif et l'appareil, choisit seul sa procédure, manipule les instruments et lit leurs mesures à travers ses caméras. Les paramètres du système sont retirés au hasard à chaque instance, donc le résultat ne peut pas être mémorisé, mais il reste notable exactement. L'évaluation vérifie ce que l'agent a appris, en le rattachant aux relevés enregistrés pendant l'épisode, ainsi que l'état physique final exigé. Chaque expérience est vérifiée comme résoluble. Six modèles de pointe ont été testés dans les agents de code de leurs développeurs, dans trois configurations : contrôle et observation natifs, ajout de perception et de planification de mouvement, puis ajout de compétences de manipulation distillées des meilleurs agents. Avec le contrôle natif, même le meilleur agent réussit moins d'une fois sur deux. Le code et l'évaluation sont publiés sur GitHub (HexaFuture/EmbodiedLab).

L'intérêt est de combler un vide entre deux familles de benchmarks. Les tests de manipulation s'arrêtent à « agir pour changer » avec un état cible fourni. Ceux de découverte scientifique mesurent le savoir, mais remplacent l'expérimentation physique par des requêtes numériques ou symboliques. Le résultat central est un diagnostic : la majorité des échecs, pour tous les agents, vient de l'interaction avec l'appareil, pas du raisonnement scientifique. Les compétences de manipulation aident davantage les modèles faibles que la perception et la planification ajoutées. Pour un intégrateur ou un responsable de laboratoire automatisé, cela place le goulot d'étranglement dans la dextérité et le contrôle, pas dans la « compréhension ».

Il faut toutefois rester prudent : tout se déroule en simulation, sans robot réel, et le papier est un préprint non évalué par des pairs. L'écart entre simulation et réalité n'est donc pas mesuré ici. Le travail s'inscrit dans la montée des agents de code utilisés comme contrôleurs robotiques et des « laboratoires autonomes ». Aucune suite n'est annoncée, mais la publication du code permet à d'autres équipes de comparer leurs modèles sur le même protocole.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

Vers un cadre pour les agents incarnés
1arXiv cs.RO 

Vers un cadre pour les agents incarnés

Un article de recherche mis en ligne le 13 aout 2026 sur arXiv (2608.11246) présente Thea, un "harness", c'est a dire une architecture d'orchestration logicielle, destine aux agents robotiques et conçu selon le principe des agents de codage: la performance dépend moins du modèle que de l'infrastructure qui l'entoure. Thea fait tourner une boucle agentique qui invoque les capacités du robot, chacune encapsulée comme un outil appelable. Les auteurs pointent deux fonctions que le monde physique refuse, contrairement au monde logiciel: lire l'état du monde et juger le résultat d'une action. Pour y remédier, le système introduit le Scene Graph as Context, une représentation symbolique persistante de l'environnement servant de contexte au modèle, et l'Evaluation as Exit Codes, un module qui détecte la fin d'une action, évalué sa réussite et diagnostique la cause d'un échec. Cette approche cible directement l'écart, souvent dénonce dans le secteur, entre démonstrations impressionnantes en environnement contrôle et exécution fiable de taches longues en conditions réelles. En fermant la boucle entre perception, action et évaluation, Thea cherche a faire émerger des comportements complexes par simple composition d'outils, sans reentrainement du modèle pour chaque nouvelle tache. L'article ne fournit toutefois aucune métrique chiffrée, ni taux de réussite ni benchmark, dans son résume: il s'agit a ce stade d'une contribution architecturale, pas d'une validation empirique a grande échelle ni d'un produit déployé. Pour les intégrateurs, l'intérêt tient a la proposition méthodologique: traiter l'agent robotique comme un agent logiciel dote d'un accès symbolique au monde plutôt que comme un modèle entraine de bout en bout. Thea prolonge directement la lignée des harnais d'agents de codage, dont le succès récent a impose ce paradigme d'infrastructure au delà du monde logiciel, et rejoint les recherches en cours sur les modèles vision-langage-action cherchant a leur adjoindre une mémoire structurée du monde plutôt qu'une politique entraînée par imitation. Le document ne précise ni l'affiliation institutionnelle des auteurs ni de calendrier de déploiement pilote. Il se presente comme une contribution académique destinée a être discutée et reproduite par la communauté, la prochaine étape logique étant une évaluation quantitative sur des taches longues en environnement réel.

RecherchePaper
1 source
ETA : un nouveau paradigme à base d'agents pour les tâches incarnées
2arXiv cs.RO 

ETA : un nouveau paradigme à base d'agents pour les tâches incarnées

Un nouveau papier de recherche publié sur arXiv (référence 2608.03924, version 1) présente ETA, pour Embodied Task Agent, un paradigme conçu pour étendre les agents numériques au monde physique. Les auteurs publient en parallèle OpenETA, une implémentation open source du système. L'architecture repose sur une boucle à trois éléments : un Planner qui sélectionne un appel d'outil à la fois, une Interface qui pilote l'exécution de cet appel, et un World qui renvoie le résultat de l'action ainsi qu'une observation fraîche de l'environnement. Cette boucle permet à l'agent de vérifier ce qu'il a réellement accompli, de corriger son plan en conséquence, et de conserver les interactions réussies comme les échecs sous forme d'expérience réutilisable. OpenETA propose des Planners interchangeables, des Tools et Skills composables, une mémoire consultable a posteriori, des trajectoires rejouables, ainsi que des interfaces communes pour la simulation et pour des robots réels. Le papier mentionne aussi une intégration légère avec Codex, où OpenETA tourne comme un plugin limité à trois fonctions : observe, markpoint et moveto. L'enjeu que pose l'équipe est celui du moment "ChatGPT" de la robotique : un robot généraliste capable de gérer des tâches et des environnements inconnus, tout en restant contrôlable sur des interactions longues. Les auteurs pointent une limite des systèmes actuels, majoritairement bâtis en bout en bout de l'observation vers l'action : leur généralisation dépend fortement de la couverture des données d'entraînement, et l'exécution de tâches longues reste difficile à superviser et à inspecter. En important le schéma agentique du monde des LLM (choix d'outil, vérification, mémoire auditable) plutôt qu'une politique monolithique, ETA vise justement l'inspectabilité et la traçabilité, deux propriétés recherchées par les intégrateurs et décideurs industriels pour le débogage, la sécurité et l'éventuelle certification, là où les modèles vision-langage-action de bout en bout restent largement des boîtes noires. Il s'agit à ce stade d'un article de recherche accompagné d'un code source ouvert, sans déploiement industriel ni partenariat annoncé : le texte ne cite aucune entreprise ni site de production. La démarche se distingue des modèles VLA propriétaires à grande échelle qui dominent la course humanoïde actuelle, en empruntant plutôt aux architectures d'agents logiciels à base d'outils déjà répandues côté LLM. La suite logique passera par l'adoption du code OpenETA par la communauté, avec des évaluations en simulation puis sur robots réels pour confirmer si cette approche modulaire tient la comparaison face aux politiques end-to-end sur des tâches longues et non familières.

RecherchePaper
1 source
Video2World : un banc d'essai d'agents de code pour la modélisation interactive du monde à partir de vidéos incarnées
3arXiv cs.RO 

Video2World : un banc d'essai d'agents de code pour la modélisation interactive du monde à partir de vidéos incarnées

Une équipe de chercheurs publie Video2World, un benchmark qui teste si des agents de code adossés à des modèles de fondation peuvent transformer une vidéo embodied en simulateur interactif, sans intervention humaine. La tâche, baptisée « vidéo-to-simulation autonome », est posée comme un problème d'ingénierie logicielle. L'agent observe une vidéo de démonstration (robot ou humain), construit l'environnement simulé et le comportement du robot correspondants, puis affine le résultat grâce au retour d'exécution. Le benchmark compte 222 instances de reconstruction issues de 189 vidéos. Il note les mondes reconstruits selon trois axes : la fidélité géométrique (perception spatiale), la fidélité dynamique (raisonnement physique) et la justesse fonctionnelle (capacité à exécuter une interaction). Neuf systèmes d'agents de code de pointe ont été évalués. Le taux de réussite de la tâche passe de moins de 5 % à plus de 15 % à partir de Claude Opus 5. L'écart avec une reconstruction assistée par des humains reste important. L'enjeu est direct pour quiconque produit des données d'entraînement pour la robotique. Aujourd'hui, construire un environnement de simulation à partir d'observations réelles demande beaucoup de travail manuel, de modélisation de scène et de calibration. C'est un goulot d'étranglement pour passer à l'échelle des données embodied, par exemple pour entraîner des politiques VLA (vision-langage-action) ou générer des jeux de test reproductibles. Le saut observé suggère que les capacités de génie logiciel agentique commencent à toucher ce problème, mais un taux de succès d'environ 15 % reste très loin d'un pipeline industriel fiable. Le résultat le plus instructif est ailleurs : les mondes qui paraissent meilleurs ne fonctionnent pas forcément mieux, et une fidélité visuelle accrue ne garantit pas un meilleur taux de réussite. Cela rappelle l'écart, déjà connu avec les modèles génératifs, entre réalisme perceptif et exactitude factuelle. Pour les équipes qui évaluent des « world models » ou des simulateurs générés, juger sur le rendu est donc un mauvais indicateur, et il faut mesurer la dynamique et l'exécution. Ce travail s'inscrit dans la course à l'automatisation de la création de simulateurs, où se croisent les modèles de monde génératifs vidéo, les pipelines de reconstruction 3D et les approches « real-to-sim » encore très manuelles. Le choix de cadrer le problème comme une tâche d'agent de code, avec boucle d'exécution et correction, déplace la question de la génération de pixels vers la production de code de simulation exécutable. Il s'agit d'une publication académique sur arXiv (v2) et non d'un produit livré : aucun déploiement industriel ni acteur européen n'est mentionné dans le résumé. Les suites probables sont l'évaluation de nouveaux agents sur le benchmark, la mesure de l'écart restant avec les humains et, à terme, l'usage de ces mondes reconstruits pour générer des données d'entraînement. La preuve que ces mondes améliorent réellement des politiques robotiques reste à apporter.

RecherchePaper
1 source
EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée
4arXiv cs.RO 

EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée

Une équipe de recherche a publié EmbodiedGen V2 sur arXiv (2607.07459v1), un moteur génératif de mondes 3D destiné à produire des environnements de simulation directement exploitables pour l'entraînement de robots. Le problème visé est concret : générer des assets 3D "sim-ready" est devenu rapide, mais les assembler en environnements de tâches réellement utilisables pour l'apprentissage reste largement manuel, ce qui limite le passage à l'échelle de l'apprentissage en boucle fermée. EmbodiedGen V2 propose une représentation unifiée qui relie assets compatibles multi-simulateurs, affordances d'interaction, mondes orientés tâches, scènes multi-pièces à grande échelle, et un système de "Vibe Coding" avec état, le tout dans un pipeline génératif, éditable et réutilisable. Les environnements produits couvrent la manipulation, la navigation, la manipulation mobile, le déploiement cross-simulateur et l'entraînement de politiques robotiques. Sur le plan chiffré, le pipeline de génération d'assets atteint 96,5% d'acceptation humaine et 98,6% de réussite de détection de collisions, et 83,3% des mondes orientés tâches sont directement utilisables en simulation sans retouche manuelle. L'intérêt principal tient aux résultats de transfert obtenus grâce à ces environnements générés. Un entraînement par renforcement en ligne fait passer le taux de succès en simulation de 9,7% à 79,8%, et ces gains se transfèrent à des robots réels avec un taux de succès en tâche réelle passant de 21,7% à 75,0%. Pour un secteur où l'écart entre démonstration simulée et comportement réel reste un obstacle majeur à la commercialisation de robots humanoïdes ou mobiles pilotés par des politiques apprises, ce type de résultat constitue un argument concret en faveur de la génération procédurale de mondes comme infrastructure d'entraînement, plutôt qu'une simple preuve de concept de génération d'assets visuels. Le travail s'inscrit dans la lignée des efforts récents de génération de scènes 3D et d'assets simulables pour l'IA incarnée, où la difficulté ne portait plus tant sur la qualité visuelle des objets générés que sur leur intégration fonctionnelle dans des tâches robotiques complètes et transférables entre simulateurs. Le papier ne mentionne pas de partenariat industriel ni de déploiement sur robot commercial identifié, et se positionne comme une contribution d'infrastructure de recherche, dont l'adoption dépendra de sa reproductibilité et de son intégration par d'autres laboratoires travaillant sur l'apprentissage par renforcement pour la robotique.

RechercheActu
1 source