Aller au contenu principal
Agents neurosymboliques incarnésIllustration générée par IA
RecherchearXiv cs.RO 

Agents neurosymboliques incarnés

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un agent neurosymbolique décrit dans un article publié sur arXiv sous la référence 2608.16794 vise à rendre exécutables les plans que les modèles de vision-langage (VLM) génèrent pour des tâches domestiques, alors que ces plans violent souvent la physique de l'environnement ou ciblent des objets mal identifiés. Le système fonctionne en deux phases : une exploration visuelle dirigée par la tâche construit d'abord, à partir d'observations égocentriques et d'interactions ancrées, un état symbolique initial fiable ; puis un modèle de transition PDDL restreint le décodage aux seules actions réalisables, complété par une recherche arborescente Monte Carlo (MCTS) guidée par une heuristique de planification indépendante du domaine. Testé sur les environnements simulés VirtualHome et ALFWorld, le système dépasse 90% de réussite avec des modèles ouverts de 4 à 27 milliards de paramètres, et sa version la plus légère surpasse nettement une politique visuelle directe à 27 milliards de paramètres. Sur ALFWorld, contraintes seules ou recherche seule ne résolvent chacune qu'un tiers des tâches, contre plus de 95% une fois combinées.

Cette démonstration cible un problème central de l'IA embodied : la fiabilité à l'exécution des plans produits par de grands modèles de langage, souvent convaincants en démonstration mais fragiles une fois confrontés à un environnement réel. En garantissant l'exécutabilité par construction plutôt que par apprentissage, la méthode déplace le goulot d'étranglement vers la perception : les échecs résiduels proviennent presque exclusivement d'erreurs d'ancrage visuel lors de l'acquisition de l'état, pas de la planification, ce qui réoriente l'effort de recherche vers la perception plutôt que vers des modèles toujours plus gros. L'approche consomme aussi nettement moins de tokens générés qu'un raisonnement étendu classique et bien moins d'images vues par le modèle qu'une interaction directe, un argument concret pour les intégrateurs cherchant à réduire les coûts de calcul embarqué, sans entraînement spécialisé additionnel.

Le travail s'inscrit dans la filiation de la planification symbolique classique (PDDL), réactivée par l'essor des modèles vision-langage-action qui dominent aujourd'hui la robotique humanoïde et domestique. Il s'oppose implicitement aux approches tout-apprentissage bout en bout, qui misent sur des politiques visuelles directes sans structure symbolique explicite, en montrant qu'un modèle nettement plus petit mais correctement contraint peut surpasser un modèle plus gros laissé libre. La validation reste toutefois cantonnée à des environnements simulés : le transfert vers un robot physique dépendra, selon les auteurs eux-mêmes, de la qualité de l'ancrage visuel en conditions réelles, une étape que le papier n'a pas encore testée sur matériel.

À lire aussi

P³ : vers des agents incarnés polyvalents
Illustration générée par IA
1arXiv cs.RO 

P³ : vers des agents incarnés polyvalents

Des chercheurs ont publié la seconde version d'un article arXiv (2508.07033v2) présentant P³, un framework unifié pour agents incarnés (embodied agents) polyvalents. Le code et les données sont disponibles sur GitHub (fz-zsl/P3). Le framework s'attaque à trois limitations identifiées dans les approches existantes: la perception dynamique de l'environnement, l'usage flexible d'outils, et la planification multi-tâches complexe. Contrairement aux méthodes précédentes qui dépendent uniquement du retour d'agents-outils pour détecter les changements d'environnement et le statut des tâches, ce qui limite l'adaptabilité en temps réel et provoque une accumulation d'erreurs, P³ permet à l'agent de percevoir activement les informations pertinentes directement depuis l'environnement. Il autorise aussi l'utilisation d'outils sans nécessiter de retour systématique, et priorise dynamiquement les tâches urgentes en ajustant leur ordre d'exécution selon leurs dépendances. Les auteurs rapportent des expérimentations en conditions réelles, sans toutefois préciser dans le résumé les métriques chiffrées, le nombre de tâches testées ou les plateformes robotiques utilisées, ce qui invite à la prudence sur la portée exacte des gains démontrés. Cette contribution touche un point sensible du secteur des agents incarnés: l'écart persistant entre les benchmarks académiques et le déploiement pratique. La plupart des architectures actuelles pour robots ou agents autonomes traitent la perception, l'usage d'outils et la planification comme des modules largement indépendants, ce qui les rend fragiles dès que l'environnement change ou que plusieurs tâches concurrentes doivent être arbitrées en temps réel. En proposant un mécanisme de planification dynamique capable de réordonner les priorités selon les dépendances, P³ répond à un problème très concret pour les intégrateurs qui cherchent à déployer des agents capables de gérer plusieurs objectifs simultanément sans supervision humaine constante, un prérequis pour toute application industrielle ou domestique à grande échelle. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques pour l'IA incarnée, qui combinent perception, raisonnement et action physique ou logicielle, un domaine où rivalisent notamment les approches fondées sur de grands modèles multimodaux couplés à des outils externes. La publication d'une seconde version de l'article, après un premier dépôt, suggère une itération liée à des retours de relecture, signe habituel d'une maturation vers une publication en conférence. La mise à disposition du code sur GitHub permettra à la communauté de reproduire et d'étendre les résultats, étape nécessaire avant toute adoption au-delà du cadre académique.

RecherchePaper
1 source
Vers un cadre pour les agents incarnés
Illustration générée par IA
2arXiv cs.RO 

Vers un cadre pour les agents incarnés

Un article de recherche mis en ligne le 13 aout 2026 sur arXiv (2608.11246) présente Thea, un "harness", c'est a dire une architecture d'orchestration logicielle, destine aux agents robotiques et conçu selon le principe des agents de codage: la performance dépend moins du modèle que de l'infrastructure qui l'entoure. Thea fait tourner une boucle agentique qui invoque les capacités du robot, chacune encapsulée comme un outil appelable. Les auteurs pointent deux fonctions que le monde physique refuse, contrairement au monde logiciel: lire l'état du monde et juger le résultat d'une action. Pour y remédier, le système introduit le Scene Graph as Context, une représentation symbolique persistante de l'environnement servant de contexte au modèle, et l'Evaluation as Exit Codes, un module qui détecte la fin d'une action, évalué sa réussite et diagnostique la cause d'un échec. Cette approche cible directement l'écart, souvent dénonce dans le secteur, entre démonstrations impressionnantes en environnement contrôle et exécution fiable de taches longues en conditions réelles. En fermant la boucle entre perception, action et évaluation, Thea cherche a faire émerger des comportements complexes par simple composition d'outils, sans reentrainement du modèle pour chaque nouvelle tache. L'article ne fournit toutefois aucune métrique chiffrée, ni taux de réussite ni benchmark, dans son résume: il s'agit a ce stade d'une contribution architecturale, pas d'une validation empirique a grande échelle ni d'un produit déployé. Pour les intégrateurs, l'intérêt tient a la proposition méthodologique: traiter l'agent robotique comme un agent logiciel dote d'un accès symbolique au monde plutôt que comme un modèle entraine de bout en bout. Thea prolonge directement la lignée des harnais d'agents de codage, dont le succès récent a impose ce paradigme d'infrastructure au delà du monde logiciel, et rejoint les recherches en cours sur les modèles vision-langage-action cherchant a leur adjoindre une mémoire structurée du monde plutôt qu'une politique entraînée par imitation. Le document ne précise ni l'affiliation institutionnelle des auteurs ni de calendrier de déploiement pilote. Il se presente comme une contribution académique destinée a être discutée et reproduite par la communauté, la prochaine étape logique étant une évaluation quantitative sur des taches longues en environnement réel.

RecherchePaper
1 source
Mimir : un système de mémoire neuro-symbolique à ancrage dynamique pour agents incarnés en environnements interactifs
Illustration générée par IA
3arXiv cs.RO 

Mimir : un système de mémoire neuro-symbolique à ancrage dynamique pour agents incarnés en environnements interactifs

Des chercheurs publient sur arXiv (4 août 2026) Mimir, un système de mémoire neuro-symbolique pour agents incarnés évoluant sous observabilité partielle. L'architecture sépare une mémoire du monde (emplacements et états des objets, preuves perceptuelles) d'une mémoire de tâche (agenda d'objectifs, progression, état de la main de l'agent, échecs, contraintes), qu'un module d'ancrage relie dynamiquement avant chaque planification. Testé sur plusieurs backbones via les benchmarks EB-ALFRED et EB-Habitat, Mimir obtient des gains allant jusqu'à 42,5% (moyenne de 23,0%) et améliore de 8,5% le taux de réussite moyen face aux meilleurs systèmes antérieurs évalués sur le même backbone. Sur le sous-ensemble de tâches longues d'EB-Habitat, il atteint 86,0% de réussite, devant les modèles propriétaires actuels. Le problème ciblé est connu : un historique plat ou un état de politique implicite ne dit pas explicitement quels faits du monde soutiennent l'objectif en cours, ce qui fragilise la planification sur des tâches longues. En séparant "ce que l'agent sait du monde" de "où il en est dans sa tâche", et en ancrant l'un dans l'autre à chaque étape, Mimir cible la dérive entre perception et progression qui limite les agents domestiques ou robotiques sur des séquences multi-étapes. Dépasser des modèles fermés sur le sous-ensemble long-horizon d'EB-Habitat, benchmark utilisé comme proxy vers la robotique physique, suggère qu'une mémoire explicite et modulaire peut surpasser des politiques bout-en-bout plus opaques. EB-ALFRED et EB-Habitat dérivent respectivement d'ALFRED (tâches ménagères instruites en langage naturel) et d'Habitat, le simulateur d'intérieurs de Meta AI, tous deux utilisés pour évaluer des agents en observabilité partielle. Mimir s'inscrit dans une lignée récente de travaux sur la mémoire augmentée pour agents LLM, où plusieurs équipes académiques et industrielles combinent raisonnement symbolique et perception neuronale pour étendre l'horizon de planification. Les auteurs comparent leurs résultats aux "meilleurs systèmes d'agents et de mémoire antérieurs" sans les nommer précisément, ce qui limite l'évaluation de l'avance réellement revendiquée. Le code, annoncé "prochainement", n'est pas encore disponible, et aucun test sur robot physique n'est mentionné : tous les résultats proviennent de simulation.

RecherchePaper
1 source
Ancrage neurosymbolique de la cinématique des robots, indépendant de la taxonomie
Illustration générée par IA
4arXiv cs.RO 

Ancrage neurosymbolique de la cinématique des robots, indépendant de la taxonomie

Des chercheurs publient sur arXiv (référence 2611.13850v1) URDF2Ontology, un framework neurosymbolique qui convertit automatiquement des fichiers URDF (Unified Robot Description Format) en ontologies OWL peuplées et ancrées dans la physique du robot. Le format URDF, standard de fait sous ROS, ne décrit que la cinématique de bas niveau : liens, articulations, axes, limites. Il ne porte aucun contexte sémantique formel exploitable par un raisonneur symbolique. Le système s'appuie sur un grand modèle de langage (LLM) pour un raisonnement sémantique ciblé, associé à un mécanisme de purge séquentielle itérative du graphe qui évite de saturer la fenêtre de contexte. Une architecture à double voie tient compte de la morphologie : une voie « Tree » ascendante pour les assemblages ramifiés (mains, pinces multi-doigts) et une voie « Chain » descendante pour les membres sériels (bras, jambes). Des garde-fous neurosymboliques encadrent l'extraction des sous-graphes fonctionnels, qui sont ensuite alignés sur des taxonomies fournies librement par l'utilisateur. Les auteurs annoncent, sur une flotte diversifiée de robots hétérogènes, un bon alignement de schéma, une extraction structurelle valide et une réduction sensible du travail manuel de rédaction d'ontologies. Aucun chiffre précis n'est donné dans le résumé : ni taux de précision, ni nombre de robots testés, ni modèle de langage utilisé, ni temps de traitement. L'intérêt pratique tient à un goulot d'étranglement connu de l'allocation de tâches par raisonnement symbolique, notamment en robotique multi-robots et en flottes hétérogènes. Pour décider quel robot peut saisir, porter ou atteindre, le planificateur doit savoir ce que le robot est capable de faire, et cette connaissance est aujourd'hui rédigée à la main par des experts du domaine, robot par robot. Automatiser ce passage de l'URDF à une ontologie réduirait le coût d'intégration d'une nouvelle machine dans un système d'orchestration, un point sensible pour les intégrateurs qui mélangent bras industriels, manipulateurs mobiles et humanoïdes. Le caractère agnostique vis-à-vis de la taxonomie est l'autre argument : une entreprise peut conserver son propre vocabulaire de capacités au lieu d'adopter un schéma imposé. Il faut toutefois rester prudent. Il s'agit d'un travail académique évalué sur des modèles de description, pas d'un produit ni d'un déploiement en production. L'URDF ne contient ni dynamique réelle, ni payload mesuré, ni performances en conditions réelles, et la fiabilité d'inférences produites par un LLM reste à établir hors des cas testés par les auteurs. Ce travail s'inscrit dans le courant plus large qui cherche à relier les modèles de fondation (LLM, VLA) à des représentations symboliques vérifiables, afin de combiner la flexibilité du langage et les garanties d'un raisonnement formel. Les ontologies robotiques existent de longue date, notamment à travers les efforts de standardisation de l'IEEE sur les ontologies pour la robotique et l'automatisation, mais leur peuplement manuel a freiné leur adoption. Les approches concurrentes passent plutôt par des modèles vision-langage-action de bout en bout, qui évitent la représentation explicite des capacités au prix d'une moindre interprétabilité. Le résumé ne mentionne ni code ouvert ni calendrier de suite. Les prochaines étapes naturelles seraient la publication des benchmarks détaillés, la comparaison avec des ontologies rédigées par des experts, et des essais d'intégration dans des planificateurs de tâches multi-robots.

RecherchePaper
1 source