RecherchearXiv cs.RO 15 septembre 2026

P-POSEMEM : mémoire sémantique projective pour un ancrage langagier cohérent lors de réécritures du graphe de poses

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

P-POSEMEM est une méthode de mémoire sémantique présentée dans un article arXiv (2609.15475v1, soumis anonymement) qui vise à résoudre un problème précis en robotique mobile guidée par le langage: garder l'identité d'un objet stable dans la mémoire du robot pendant que le graphe de poses SLAM sous-jacent est optimisé, fermé en boucle (loop closure) et compressé. Au lieu d'ancrer chaque détection à une coordonnée monde fixe, qui devient fausse dès qu'une fermeture de boucle déplace l'ancre ou que le solveur la marginalise, P-POSEMEM stocke chaque observation comme un événement immuable rattaché à son keyframe de naissance, conserve la conditionnelle d'élimination Bayes-tree de chaque keyframe marginalisé, et intègre la vraisemblance sémantique sur la postérieure jointe reconstruite des poses, ancres et identités. Testée sur 40 scènes HM3DSem et 112 000 requêtes, la méthode reproduit exactement l'oracle en graphe complet (métrique Dproj à zéro) et réduit les changements de cible (goal flips) par rapport à toutes les méthodes de référence. Sur une campagne de huit runs comptant 761 fermetures de boucle ayant réécrit la carte jusqu'à 47 mètres, Dproj reste sous 10^-13 avec 0 flip sur 288 requêtes quand l'élimination suit les fermetures, contre des échecs pour chaque variante testée et pour une coordonnée figée dès l'insertion; sous un solveur borné en temps réel, la même mémoire chute à 23 flips sur 288 contre 53 pour cette approche figée.

Pour les intégrateurs combinant SLAM et modèles vision-langage-action (VLA), l'enjeu dépasse la démonstration académique: un robot peut échouer à atteindre "la bonne" cible non pas par erreur de perception ou de calibration, mais parce que l'optimisation interne de sa carte a silencieusement changé quel objet physique correspond à une instruction donnée. Un contrôle négatif pré-enregistré confirme que Dproj détecte ce mode de défaillance alors que l'erreur de calibration et le taux de succès de navigation restent inchangés, ce qui suggère un angle mort dans les benchmarks actuels de navigation robotique.

Le code et les données sont hébergés sur une plateforme de dépôt anonyme, signe d'une soumission en cours d'évaluation par les pairs plutôt que d'un produit déployé. Aucune entreprise ni laboratoire n'est nommé du fait de l'anonymisation, et le travail reste à ce stade une contribution méthodologique et un protocole d'évaluation, sans annonce de déploiement industriel ni de partenariat.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

EmbodiedLGR : un graphe léger pour la mémoire sémantique-spatiale des agents robotiques

Des chercheurs ont publié le 23 avril 2026 sur arXiv (référence 2604.18271) les travaux sur EmbodiedLGR-Agent, une architecture mémoire pour robots mobiles combinant graphe sémantique léger et retrieval-augmented generation. Le système repose sur un modèle visuo-langagier (VLM) à faible empreinte paramétrique qui indexe en continu les objets détectés, leurs positions et leurs relations spatiales dans un graphe dense, tout en conservant des descriptions de haut niveau des scènes observées via une couche RAG classique. L'ensemble tourne localement, sans dépendance cloud. Évalué sur le benchmark NaVQA, EmbodiedLGR-Agent atteint des performances état de l'art sur les temps d'inférence et de requête pour les agents robotiques embarqués, tout en maintenant une précision compétitive sur la tâche globale de question-réponse spatiale. Le système a également été déployé sur un robot physique réel, validant son utilité hors simulation. Ce qui mérite attention, c'est moins la précision brute que la latence : dans les interactions humain-robot, un agent qui répond "où sont les ciseaux ?" en temps humain change radicalement l'expérience utilisateur. La majorité des architectures mémoire robotiques actuelles sacrifient la réactivité à la richesse sémantique, ou inversement. L'approche hybride graphe + RAG tente de résoudre ce compromis sans exploser les ressources de calcul embarqué. Le déploiement sur robot physique, et non en simulation pure, est un signal concret, même si l'article ne précise pas la plateforme matérielle ni les métriques de latence chiffrées en millisecondes, ce qui limite la comparabilité directe avec d'autres systèmes. L'enjeu de la mémoire sémantique-spatiale est un chantier ouvert depuis plusieurs années dans la communauté robotique, avec des approches comme les scene graphs neuraux, ConceptGraphs ou encore les travaux de SayPlan. EmbodiedLGR se positionne sur le segment des architectures légères et déployables sur matériel contraint, là où des solutions comme celles de Boston Dynamics ou des startups comme Skild AI misent plutôt sur la puissance de calcul embarquée ou le traitement distant. Sur le front européen, des acteurs comme Enchanted Tools (Mirokaï) ou Wandercraft travaillent également sur la cognition embarquée, mais dans des contextes applicatifs distincts. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks plus récents (Habitat, OpenEQA) et une publication des temps de latence mesurés sur plateforme physique.

RechercheOpinion

1 source

2arXiv cs.RO

CGFM-Nav : mémoire cognitive de graphe-champ pour la navigation incarnée multimodale et continue guidée sémantiquement

Des chercheurs présentent CGFM-Nav, un framework de navigation robotique fondé sur un nouveau schéma de représentation d'environnement baptisé Cognitive Graph-Field Memory (CGFM), détaillé dans un article publié sur arXiv (référence 2608.29114v1) le 29 août 2026. CGFM combine une mémoire relationnelle explicite, sous forme de graphe de scène multimodal organisant objets, relations spatiales et observations visuelles, avec un champ sémantique continu qui guide l'exploration lorsqu'aucune correspondance fiable n'est trouvée dans le graphe. Le système repose sur un modèle vision-langage Qwen3-VL-8B comme backbone, complété par une sélection de sous-graphes pertinents pour la tâche, un raisonnement VLM et une boucle de vérification par feedback. Sur le benchmark GOAT-Bench, les auteurs rapportent une hausse du taux de succès global de 53,2% à 63,0%, et du score SPL (Success weighted by Path Length) de 30,0% à 39,6%, par rapport à une base équivalente sans CGFM. Ces chiffres sont qualifiés d'expérience préliminaire par les auteurs eux-mêmes, ce qui invite à la prudence avant toute généralisation. Pour l'industrie de la navigation robotique et de l'IA incarnée, ce travail s'attaque à un problème concret : les agents de navigation vision-langage (VLN) peinent historiquement à combiner mémoire sémantique persistante et exploration continue de zones inconnues, deux capacités habituellement traitées séparément. En prouvant qu'un même backbone VLM voit ses performances progresser significativement grâce à une meilleure structuration de la mémoire spatiale, l'étude appuie l'idée que les gains en navigation autonome ne viennent pas seulement de modèles plus gros, mais aussi de représentations d'environnement mieux conçues, un argument pertinent pour les intégrateurs travaillant sur des robots mobiles ou humanoïdes devant opérer en continu dans des environnements changeants. Ce travail s'inscrit dans la lignée des recherches en VLN qui cherchent à dépasser les limites des scene graphs statiques classiques, insuffisants pour guider l'exploration en l'absence de cible identifiée. Il se positionne dans un paysage où d'autres approches combinent déjà mémoire de graphe et modèles de fondation pour la navigation à long terme. L'article ne mentionne ni déploiement matériel, ni partenariat industriel, ni calendrier de suite : il s'agit à ce stade d'une contribution de recherche évaluée en simulation sur GOAT-Bench, sans validation en conditions réelles.

RecherchePaper

1 source

3arXiv cs.RO

Ancrages de mémoire pour l'apprentissage continu des robots

Des chercheurs présentent, dans un article publie le 28 aout 2026 sur arXiv (2608.26545v1), une méthode baptisée "Memory Anchors" pour lutter contre l'oubli catastrophique des robots qui apprennent de nouvelles taches en continu. Le principe s'appuie sur les buffers de rejeu, habituellement échantillonnés au hasard parmi les expériences passées pour reentrainer la politique sur d'anciennes taches en parallèle des nouvelles. Les auteurs montrent qu'un petit sous ensemble de ces expériences, les "ancres mémoire", concentre l'essentiel de la protection: ce sont les cas ou les représentations internes d'observations d'une nouvelle tache s'effondrent sur celles d'une ancienne tache alors que les deux exigent des actions contradictoires, par exemple manipuler différemment un objet déjà connu. Sur la suite de benchmarks LIBERO, exclure seulement 10% de ces ancres du buffer multiplie par plus de 4,5 l'oubli catastrophique mesure. A l'inverse, enrichir le buffer en ancres mémoire réduit de 63% l'oubli sur les taches a fort conflit et permet un apprentissage continu réussi de deux séquences de taches sur un robot réel. Videos et visualisations sont disponibles sur robot-adaptation.github.io/MemoryAnchors. Pour les intégrateurs qui déploient des politiques robotiques de type VLA en production, l'oubli catastrophique reste un frein concret a la mise a jour continue des flottes: chaque nouvelle compétence ajoutée risque de dégrader des comportements déjà valides sur le terrain. En montrant qu'une fraction minime, environ 10%, du buffer de rejeu porte l'essentiel de la stabilité du système, ce travail suggère que le cout mémoire et calcul de l'apprentissage continu peut baisser sans sacrifier la rétention, un enjeu direct pour les couts de stockage et de reentrainement a l'échelle d'une flotte. La validation sur robot réel, au delà de la simulation LIBERO, renforce la crédibilité de l'approche, même si elle reste limitée a deux séquences de taches et ne démontre pas encore un passage a l'échelle vers des dizaines de compétences. L'approche s'inscrit dans la lignée des méthodes de rehearsal en apprentissage continu, ou le problème central est de choisir quelles expériences rejouer sans faire exploser la taille du buffer ni le temps d'entrainement; l'échantillonnage aléatoire restait jusqu'ici la norme faute de critère fiable. Le benchmark LIBERO, standard pour évaluer l'apprentissage continu de politiques robotiques, sert de terrain de comparaison. Aucun acteur industriel ni déploiement commercial n'est associe a cette publication, qui relève pour l'instant de la recherche académique; les prochaines étapes attendues portent sur l'extension a un plus grand nombre de taches et l'intégration éventuelle de ce critère de sélection dans des pipelines d'entrainement de politiques généralistes.

RecherchePaper

1 source

4arXiv cs.RO

De la réaction à l'anticipation : un graphe de tâches à base d'agents pour la reprise proactive en manipulation robotique

Une équipe de recherche a publié en mai 2025 sur arXiv (identifiant 2605.11951) AgentChord, un système multi-agents qui anticipe les pannes de manipulation robotique avant l'exécution plutôt qu'en les traitant de manière réactive. L'architecture repose sur un graphe de tâches dirigé enrichi, en amont de toute exécution, de branches de récupération pré-compilées et contextualisées selon chaque étape critique. Trois agents spécialisés structurent ce pipeline : un "composer" modélise la tâche nominale, un "arranger" greffe les branches de récupération anticipées, et un "conductor" orchestre les transitions via des moniteurs à faible latence. Les expériences portent sur des tâches de manipulation bimanuelle à horizon long ; les auteurs rapportent une amélioration "substantielle" des taux de succès sans publier de métriques chiffrées précises dans l'abstract disponible. Le principal apport est d'éliminer la latence inhérente au pipeline classique "détecter-raisonner-récupérer", dans lequel chaque échec déclenche un nouvel appel à un LLM ou à un planificateur symbolique. En pré-compilant les correctifs avant le début de la tâche, AgentChord permet une réponse immédiate sans re-planification dès qu'un moniteur détecte une déviation. Pour les intégrateurs industriels qui automatisent des opérations en cellule non structurée, cette architecture de graphe anticipatif pourrait réduire les arrêts imprévus liés aux échecs de manipulation. L'approche présente néanmoins une limite structurelle : les branches pré-compilées ne couvrent que les pannes anticipées, non les défaillances inédites ou hors-modèle. La robustesse de la manipulation en conditions réelles reste l'un des goulots d'étranglement centraux de la robotique commerciale, que ce soit pour les bras industriels ou les humanoïdes en phase de déploiement comme Optimus de Tesla ou les robots de Figure AI. AgentChord s'inscrit dans un courant qui exploite les LLMs comme orchestrateurs de logique de haut niveau, en complément de politiques d'action de bas niveau. Des approches concurrentes comme les VLA Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA intègrent la récupération de manière implicite dans le réseau de politique, là où AgentChord opte pour une représentation explicite en graphe, plus transparente mais potentiellement moins générique face à la variabilité du monde réel. La page projet est accessible sur shengxu.net/AgentChord ; la validation hors banc de test académique reste la prochaine frontière.

RecherchePaper

1 source