Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ETA : un nouveau paradigme à base d'agents pour les tâches incarnées
RecherchearXiv cs.RO 

ETA : un nouveau paradigme à base d'agents pour les tâches incarnées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un nouveau papier de recherche publié sur arXiv (référence 2608.03924, version 1) présente ETA, pour Embodied Task Agent, un paradigme conçu pour étendre les agents numériques au monde physique. Les auteurs publient en parallèle OpenETA, une implémentation open source du système. L'architecture repose sur une boucle à trois éléments : un Planner qui sélectionne un appel d'outil à la fois, une Interface qui pilote l'exécution de cet appel, et un World qui renvoie le résultat de l'action ainsi qu'une observation fraîche de l'environnement. Cette boucle permet à l'agent de vérifier ce qu'il a réellement accompli, de corriger son plan en conséquence, et de conserver les interactions réussies comme les échecs sous forme d'expérience réutilisable. OpenETA propose des Planners interchangeables, des Tools et Skills composables, une mémoire consultable a posteriori, des trajectoires rejouables, ainsi que des interfaces communes pour la simulation et pour des robots réels. Le papier mentionne aussi une intégration légère avec Codex, où OpenETA tourne comme un plugin limité à trois fonctions : observe, markpoint et moveto.

L'enjeu que pose l'équipe est celui du moment "ChatGPT" de la robotique : un robot généraliste capable de gérer des tâches et des environnements inconnus, tout en restant contrôlable sur des interactions longues. Les auteurs pointent une limite des systèmes actuels, majoritairement bâtis en bout en bout de l'observation vers l'action : leur généralisation dépend fortement de la couverture des données d'entraînement, et l'exécution de tâches longues reste difficile à superviser et à inspecter. En important le schéma agentique du monde des LLM (choix d'outil, vérification, mémoire auditable) plutôt qu'une politique monolithique, ETA vise justement l'inspectabilité et la traçabilité, deux propriétés recherchées par les intégrateurs et décideurs industriels pour le débogage, la sécurité et l'éventuelle certification, là où les modèles vision-langage-action de bout en bout restent largement des boîtes noires.

Il s'agit à ce stade d'un article de recherche accompagné d'un code source ouvert, sans déploiement industriel ni partenariat annoncé : le texte ne cite aucune entreprise ni site de production. La démarche se distingue des modèles VLA propriétaires à grande échelle qui dominent la course humanoïde actuelle, en empruntant plutôt aux architectures d'agents logiciels à base d'outils déjà répandues côté LLM. La suite logique passera par l'adoption du code OpenETA par la communauté, avec des évaluations en simulation puis sur robots réels pour confirmer si cette approche modulaire tient la comparaison face aux politiques end-to-end sur des tâches longues et non familières.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Vers un cadre pour les agents incarnés
1arXiv cs.RO 

Vers un cadre pour les agents incarnés

Un article de recherche mis en ligne le 13 aout 2026 sur arXiv (2608.11246) présente Thea, un "harness", c'est a dire une architecture d'orchestration logicielle, destine aux agents robotiques et conçu selon le principe des agents de codage: la performance dépend moins du modèle que de l'infrastructure qui l'entoure. Thea fait tourner une boucle agentique qui invoque les capacités du robot, chacune encapsulée comme un outil appelable. Les auteurs pointent deux fonctions que le monde physique refuse, contrairement au monde logiciel: lire l'état du monde et juger le résultat d'une action. Pour y remédier, le système introduit le Scene Graph as Context, une représentation symbolique persistante de l'environnement servant de contexte au modèle, et l'Evaluation as Exit Codes, un module qui détecte la fin d'une action, évalué sa réussite et diagnostique la cause d'un échec. Cette approche cible directement l'écart, souvent dénonce dans le secteur, entre démonstrations impressionnantes en environnement contrôle et exécution fiable de taches longues en conditions réelles. En fermant la boucle entre perception, action et évaluation, Thea cherche a faire émerger des comportements complexes par simple composition d'outils, sans reentrainement du modèle pour chaque nouvelle tache. L'article ne fournit toutefois aucune métrique chiffrée, ni taux de réussite ni benchmark, dans son résume: il s'agit a ce stade d'une contribution architecturale, pas d'une validation empirique a grande échelle ni d'un produit déployé. Pour les intégrateurs, l'intérêt tient a la proposition méthodologique: traiter l'agent robotique comme un agent logiciel dote d'un accès symbolique au monde plutôt que comme un modèle entraine de bout en bout. Thea prolonge directement la lignée des harnais d'agents de codage, dont le succès récent a impose ce paradigme d'infrastructure au delà du monde logiciel, et rejoint les recherches en cours sur les modèles vision-langage-action cherchant a leur adjoindre une mémoire structurée du monde plutôt qu'une politique entraînée par imitation. Le document ne précise ni l'affiliation institutionnelle des auteurs ni de calendrier de déploiement pilote. Il se presente comme une contribution académique destinée a être discutée et reproduite par la communauté, la prochaine étape logique étant une évaluation quantitative sur des taches longues en environnement réel.

RecherchePaper
1 source
Compiler et évaluer les horizons d'états de tâche pour les agents incarnés
2arXiv cs.RO 

Compiler et évaluer les horizons d'états de tâche pour les agents incarnés

L'agence de recherche IA vient de publier un article arXiv (2608.08036, non révisé par les pairs) qui identifie une faille dans la façon dont l'industrie évalue les agents robotiques capables de planification longue durée. L'équipe introduit la notion de "task-state horizon" (TSH), c'est-à-dire l'étendue des transitions d'état pertinentes pour la tâche qu'un agent doit suivre au fil du temps, y compris celles causées par ses propres explorations, la dynamique de l'environnement, des échecs inattendus ou des interventions externes. Pour mesurer ce facteur, jusqu'ici ignoré par les benchmarks existants qui se contentent de mesurer la longueur des séquences d'actions ou la complexité des sous-tâches, les chercheurs ont développé RoboGraph, un compilateur de tâches robotiques qui traduit les dépendances de transition d'état en graphes symboliques exécutables. Ils publient également un benchmark associé de 588 épisodes répartis sur 84 scènes, avec des niveaux de TSH variables. Testés sur cet ensemble, en environnement fermé sémantique et visuel, 15 modèles agentiques de pointe ont été évalués, sans que les noms précis de ces modèles ne soient détaillés dans le résumé disponible. Ce travail est important car il déplace la question centrale de l'évaluation robotique : la difficulté d'une tâche ne se réduit pas à sa longueur ou à son nombre d'étapes, mais dépend de la capacité de l'agent à maintenir, explorer et mettre à jour une représentation cohérente de l'état du monde sur la durée. Pour les intégrateurs et décideurs qui évaluent des piles de planification haut niveau associées à des modèles vision-langage-action (VLA), ce résultat suggère que des benchmarks de "longue durée" bien notés peuvent masquer des faiblesses réelles sur des tâches où l'état évolue de façon imprévisible, un cas fréquent en environnement industriel réel. L'étude confirme empiriquement que la majorité des modèles agentiques testés peinent dès que le TSH devient exigeant, ce qui nuance les annonces de robustesse "long-horizon" faites par certains fournisseurs de modèles de fondation robotique. Ce travail s'inscrit dans la vague récente de benchmarks cherchant à dépasser les métriques simplistes (taux de succès, nombre d'étapes) pour capturer des dimensions cognitives plus fines de l'autonomie robotique, à l'image d'efforts antérieurs sur la mémoire ou le raisonnement causal des agents. Les auteurs ne précisent pas, dans le résumé, l'identité des laboratoires ou entreprises ayant développé les 15 modèles testés ni un calendrier de suites prévues ; RoboGraph et le benchmark associé sont présentés comme des outils ouverts destinés à orienter les prochaines générations d'agents planificateurs vers une meilleure gestion des états de tâche, plutôt que comme un produit ou déploiement commercial.

RecherchePaper
1 source
eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée
3arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

RecherchePaper
1 source
RoboGene : un cadre à base d'agents pour générer des tâches diversifiées en pré-entraînement de modèles VLA
4arXiv cs.RO 

RoboGene : un cadre à base d'agents pour générer des tâches diversifiées en pré-entraînement de modèles VLA

RoboGene est un framework agentique de génération de tâches de manipulation, conçu pour alimenter le pré-entraînement de modèles VLA (vision-langage-action). Il cible trois types de robots : bras simple, bras double et plateformes mobiles. Le système repose sur trois briques : un échantillonnage orienté diversité pour couvrir largement objets, scènes et compétences, une auto-réflexion agentique qui évalue la qualité de chaque tâche proposée, et une mémoire de retours validés par des humains, qui sert à vérifier l'exécution réelle et à affiner le processus en continu. Les auteurs ont collecté 18 000 trajectoires réelles et introduit des métriques de faisabilité et de diversité des tâches. Ils affirment que RoboGene surpasse des modèles de fondation de pointe comme GPT-4o et Gemini 2.5 Pro pour proposer des tâches. Les VLA entraînés sur ces données obtiennent de meilleurs taux de succès et une meilleure généralisation. Le jeu de données est publié sur Hugging Face et ModelScope, sous le nom d'organisation X-Humanoid. Il s'agit d'un travail de recherche, sans produit commercialisé ni déploiement industriel. L'enjeu est de déplacer le goulot d'étranglement de la robotique généraliste. Contrairement aux données web, les données d'interaction physique coûtent cher en temps opérateur, en matériel et en supervision. Ajouter des démonstrations ne suffit donc pas : leur valeur dépend de la variété des comportements couverts. RoboGene traite la curation des tâches comme un levier à part entière, en amont de la téléopération. Pour un intégrateur ou un responsable de programme de collecte, cela revient à optimiser le budget de démonstrations plutôt que son seul volume. Le résultat va aussi à l'encontre d'une idée répandue : les grands modèles généralistes ne sont pas de bons planificateurs de tâches physiques, car ils proposent des consignes peu faisables ou redondantes sans ancrage dans l'exécution réelle. Le rôle de la validation humaine dans la boucle montre que l'automatisation complète n'est pas encore atteinte. Les gains sont mesurés avec les métriques maison des auteurs, sur 18 000 trajectoires, ce qui reste modeste face aux corpus des grands laboratoires. La portée à l'échelle reste donc à démontrer. Le contexte est celui d'une course aux modèles de fondation robotiques, où Pi-0, GR00T et Helix misent sur de gros volumes de démonstrations, de simulation ou de données humaines. Le travail s'inscrit dans l'écosystème X-Humanoid, structure de recherche chinoise en humanoïdes, et rejoint la tendance à publier des jeux de données ouverts. Cette version v3 de l'article remplace des versions antérieures. Les prochaines étapes à surveiller sont des comparaisons sur des benchmarks communs, une réduction de la part de validation humaine et une éventuelle adoption par les équipes qui constituent des corpus de pré-entraînement.

RecherchePaper
1 source