RecherchearXiv cs.RO 18 septembre 2026

CoRef-GS : Splatting gaussien de référence coopératif pour la compréhension multi-agents de scènes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CoRef-GS, un framework de cartographie Gaussienne coopérative pour robots, a été décrit dans un article publié sur arXiv en septembre 2026 (référence 2609.20586). Le système répond à un cas concret : plusieurs robots construisent chacun une carte Gaussienne sémantique locale de leur environnement, et une fois ces cartes fusionnées, il faut pouvoir localiser un objet désigné en langage naturel même s'il n'a été observé que par un autre agent, tout en gardant les relations spatiales interprétées depuis le point de vue du robot qui pose la question. CoRef-GS construit d'abord des cartes Gaussiennes locales à vocabulaire ouvert et conscientes des instances, les aligne via un module d'alignement inter-agents combinant cohérence géométrique et sémantique, puis effectue le grounding grâce à un graphe de relations conditionné par la vue. Les auteurs introduisent aussi CoQuad-Ref, un benchmark reposant sur deux robots quadrupèdes et couvrant des scènes d'intérieur réelles et simulées : en simulation, l'erreur de rotation passe de 2,58 degrés après initialisation grossière à 0,15 degré après raffinement, et en conditions réelles le mIoU de référencement grimpe de 52,6% avec la méthode existante ReferSplat à 68,8% avec CoRef-GS. Code et benchmark doivent être publiés sur GitHub.

Ce travail cible un verrou peu traité mais central pour les flottes de robots mobiles : faire coopérer plusieurs agents sur une carte sémantique commune sans perdre la capacité à traiter des instructions en langage naturel relatives et ambiguës. Les méthodes existantes de cartographie Gaussienne consciente du langage se limitent à l'interrogation d'une carte unique, tandis que les techniques de recalage Gaussien optimisent l'alignement géométrique ou photométrique sans préserver la compatibilité sémantique nécessaire au grounding, ce que CoRef-GS cherche justement à combiner. Les gains rapportés, une erreur de pose divisée par plus de quinze en simulation et un mIoU en hausse de seize points sur données réelles, restent issus d'un seul benchmark défini par les auteurs et demandent confirmation sur d'autres plateformes avant généralisation. Pour les intégrateurs qui déploient des flottes de robots mobiles ou quadrupèdes en entrepôt ou en bâtiment, l'enjeu démontré est réel : plusieurs unités doivent partager une compréhension cohérente de l'espace pour exécuter des instructions humaines sans recartographier chaque zone individuellement.

CoRef-GS s'inscrit dans la lignée des cartes Gaussiennes sémantiques, ces représentations 3D Gaussian Splatting enrichies de features de langage développées pour le grounding dans des scènes reconstruites par un seul agent, limite que les auteurs identifient explicitement chez des approches comme ReferSplat, utilisée ici comme référence de comparaison. L'apport revendiqué est de déplacer ce paradigme vers un cadre multi-agent, testé sur des robots quadrupèdes plutôt que sur des humanoïdes ou des AMR à roues. Les auteurs annoncent la publication prochaine, en open source, du code et du benchmark CoQuad-Ref sur GitHub, ce qui permettra à la communauté de reproduire les résultats et de comparer d'autres méthodes de fusion de cartes sur le même protocole. Aucun calendrier de déploiement industriel n'est mentionné : le travail reste à ce stade une contribution de recherche académique, sans lien annoncé avec un acteur commercial.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme

Des chercheurs de l'ICR Lab présentent DGSG-Mind (arXiv:2605.29879, mai 2026), un système de représentation de scènes 3D dynamiques combinant cartes de Gaussiennes 3D explicites et grille de voxels probabiliste pour permettre à un robot de comprendre et de raisonner sur son environnement sur le long terme. L'architecture fusionne deux niveaux de représentation : les Gaussiennes 3D assurent un ancrage spatial fin des instances d'objets avec suivi incrémental, tandis que la grille voxel gère la fusion cross-modale et la réinitialisation visuelle lorsqu'un objet est déplacé ou occlus. Sur cette carte d'instances, le système construit un graphe de scène hiérarchique, puis y greffe un agent de raisonnement multimodal baptisé "3D Gaussian Mind" qui intègre relations structurelles, informations spatio-sémantiques et rendus annotés des régions d'intérêt. Les expériences reportent les meilleures performances zero-shot en 3D Visual Grounding (3DVG) parmi les méthodes opérant sur des cartes auto-reconstruites, avec des résultats compétitifs en segmentation sémantique open-vocabulary et en reconstruction de scènes. Le système a été déployé sur des robots réels pour valider les capacités de mise à jour dynamique, bien que l'article ne précise pas le matériel ni les conditions exactes des essais terrain. L'enjeu central est la robustesse à long terme : la majorité des systèmes de compréhension de scènes 3D supposent un environnement statique ou s'appuient sur une géométrie ground-truth fournie hors ligne, ce qui les rend inutilisables pour une manipulation robotique en conditions réelles où les objets bougent. DGSG-Mind traite explicitement les changements topologiques au niveau objet via un mécanisme de relocalisation visuelle gaussienne et de raffinement masqué guidé par cohérence géométrique-sémantique. La composante open-vocabulary est particulièrement pertinente pour les intégrateurs : elle signifie qu'un opérateur peut interroger le robot en langage naturel ("prends la bouteille rouge à gauche du moniteur") sans ré-entraînement ni labeling préalable. La performance zero-shot sur cartes auto-reconstruites, par opposition aux benchmarks avec géométrie parfaite, est un indicateur plus honnête de la viabilité réelle du système. Le contexte technique s'inscrit dans la vague post-3DGS (3D Gaussian Splatting, Kerbl et al., 2023) qui a largement supplanté les approches NeRF pour la reconstruction temps réel. Les graphes de scènes pour la robotique sont un axe de recherche actif, avec des travaux concurrents comme ConceptGraphs, OpenMask3D ou SceneGraphFusion, dont aucun ne résout à la fois l'association d'instances robuste et les mises à jour dynamiques incrémentales. DGSG-Mind reste un preprint de recherche, non un produit expédié : le gap entre benchmark académique et déploiement industriel fiable demeure à évaluer, notamment sur la latence de mise à jour des Gaussiennes en environnement encombré. Les prochaines étapes naturelles concernent l'intégration dans des pipelines de manipulation (tâches pick-and-place longues durée) et le couplage avec des modèles VLA comme Pi-0 ou GR00T N2.

RecherchePaper

1 source

2arXiv cs.RO

Caméras externes fixes comme cartes de référence communes pour la génération active de graphes de scènes 3D

Des chercheurs ont publié sur arXiv (réf. 2605.18184) un framework RGB-only permettant à un robot de construire incrémentalement un graphe de scène 3D (3DSG) en exploitant des caméras fixes extérieures comme cartes a priori communes, désignées sous le terme "Common Prior Maps" (CPMs). Le principe : avant même que le robot ne commence à se déplacer, une ou plusieurs caméras RGB fixes, caméras de surveillance, caméras d'atelier déjà en place, fournissent une vue large de l'environnement qui initialise une représentation sémantique et géométrique de la scène. Le système fusionne ensuite les observations embarquées (caméra du robot) et extérieures dans un pipeline unique, sans modification matérielle, en traitant chaque flux caméra de manière identique via un modèle de reconstruction 3D feed-forward. Résultat mesuré : l'intégration d'une seule caméra externe augmente le rappel initial d'objets de +79 %, et l'exploration active subséquente devient significativement plus efficace grâce à ce contexte enrichi. L'intérêt opérationnel est direct pour les intégrateurs robotiques en environnement industriel ou logistique : l'infrastructure caméra fixe est souvent déjà déployée (sécurité, supervision), et la pouvoir réutiliser comme prior sémantique évite le coût d'un SLAM à froid complet. Le graphe de scène 3D oriente ensuite l'exploration active du robot vers les zones de haute incertitude sémantique, ce qui réduit le temps de cartographie utile. L'approche contredit une hypothèse courante selon laquelle la reconstruction 3D précise exigerait obligatoirement des capteurs de profondeur (LiDAR, RGB-D), ici, RGB seul suffit via un modèle feed-forward, ce qui abaisse le seuil matériel d'entrée. Le gain de +79 % en rappel initial est notable, mais il convient de noter que ce chiffre est mesuré en début d'exploration : l'article ne détaille pas les conditions exactes des scènes de test ni la diversité des configurations d'occlusion. Cette recherche s'inscrit dans une dynamique active autour des graphes de scène pour la robotique autonome, après des travaux fondateurs comme 3DSG (MIT, 2020) et les approches Hydra (MIT SPARK Lab). Elle se distingue des méthodes classiques de cartographie sémantique en exploitant des informations a priori déjà disponibles dans de nombreux déploiements industriels, plans BIM, images de télédétection, flux caméra fixes, plutôt que de partir d'une page blanche. Aucune collaboration industrielle ni timeline de transfert n'est mentionnée dans la publication ; le travail reste pour l'instant au stade de la démonstration académique. Les prochaines étapes naturelles seraient l'évaluation sur des scènes dynamiques peuplées d'humains ou d'AMR, et l'intégration avec des pipelines de planification de tâches en aval.

RecherchePaper

1 source

3arXiv cs.RO

LT-Mem : une mémoire spatio-temporelle sensible à la volatilité pour la compréhension de scènes à long terme

Une équipe de recherche publie sur arXiv, sous la référence 2608.19059v1, LT-Mem, un système de mémoire spatio-temporelle pour robots opérant sur la durée dans des environnements changeants. L'objectif est de résoudre l'amnésie temporelle : les cartographies classiques écrasent l'historique pour rester à jour, ou stockent des instantanés sémantiques sans identité d'objet stable d'une session à l'autre, empêchant par exemple de savoir où est passée une chaise verte au fil des visites. Le système combine un module SLAM multi-sessions alignant spatialement les observations par objet, un score de preuve déterministe préservant l'identité inter-sessions, et une politique de volatilité choisissant entre écraser, conserver ou garder plusieurs hypothèses, organisée en trois couches Live, Delta et Meta. Les auteurs publient aussi LT-VQA, un jeu de données et protocole d'évaluation dédié ; LT-Mem y dépasse les méthodes de référence sur toutes les métriques tout en consommant dix fois moins de jetons, un gain attribué à l'architecture plutôt qu'à la taille du modèle de langage. Pour l'écosystème robotique, ce travail s'attaque à un verrou concret des déploiements longue durée : les robots de service ou d'entrepôt en exploitation continue doivent aujourd'hui reconstruire leur compréhension de l'environnement à chaque passage, ou faire grossir indéfiniment le contexte fourni à un modèle de langage. En montrant qu'une mémoire structurée surpasse une simple augmentation de la taille du modèle, l'étude nuance l'idée reçue selon laquelle élargir la fenêtre de contexte d'un modèle vision-langage-action suffirait à obtenir une mémoire persistante fiable, un point qui parle directement aux intégrateurs dont les flottes doivent revisiter les mêmes lieux sur la durée. LT-Mem se positionne contre deux familles de systèmes existants : les cartographies SLAM classiques qui écrasent l'état précédent, et les mémoires sémantiques par instantanés qui perdent le fil de l'identité des objets. L'article, classé comme nouvelle soumission sur arXiv, ne précise ni la plateforme robotique testée ni le laboratoire porteur du projet, ce qui limite l'appréciation de sa transférabilité à un déploiement industriel réel. La publication conjointe du benchmark LT-VQA suggère une volonté d'en faire une référence partagée pour la communauté travaillant sur la compréhension de scène à long terme, un terrain que recoupent les efforts autour de modèles vision-langage-action comme Pi-0 ou GR00T N2.

RecherchePaper

1 source

4arXiv cs.RO

CoCoBench : un benchmark de coordination coopérative pour la planification de tâches multi-agents incarnés

Des chercheurs ont présenté CoCoBench, un benchmark conçu pour évaluer la coordination entre agents dans des tâches domestiques exécutables pilotées par des modèles de langage multimodaux (MLLM). L'ensemble comprend 897 instances validées par un oracle, organisées autour de quatre constructions récurrentes de coordination : l'allocation des tâches, l'ordonnancement séquentiel, l'exclusion mutuelle et la coordination des transferts (handoff) entre agents. Au-delà du taux de réussite global des tâches, CoCoBench introduit des scores par construction, qui mesurent précisément si les agents coordonnent effectivement leurs actions plutôt que de simplement atteindre l'objectif final. Les auteurs ont évalué 11 MLLM de premier plan selon différents modes de coordination, types d'observations et nombres d'agents engagés. Le papier a été publié sur arXiv fin août 2026 et s'inscrit dans le champ des agents incarnés multi-robots pour l'environnement domestique. L'apport principal de ce travail est de démontrer que les benchmarks existants, qui résument la performance multi-agent à un simple taux de réussite global, masquent des défaillances de coordination bien réelles : travail dupliqué entre agents, violations des contraintes d'ordre, conflits d'accès aux ressources partagées et désynchronisation lors des transferts de tâches. Les résultats montrent que la capacité de coordination est fortement spécifique à chaque construction : un modèle affichant un bon score global peut échouer nettement sur un type précis de coordination, comme l'exclusion mutuelle, tout en excellant sur un autre. Ce constat contredit l'hypothèse implicite de nombreux acteurs du secteur selon laquelle un haut taux de succès agrégé traduit une compétence de coordination équilibrée. Pour les intégrateurs et décideurs qui envisagent des flottes de robots collaboratifs pilotés par des architectures VLA ou MLLM, ce diagnostic granulaire signale que les métriques usuelles ne suffisent pas à qualifier la fiabilité opérationnelle en environnement partagé. Ce travail s'inscrit dans la progression rapide des systèmes d'agents fondés sur les MLLM ces dernières années, un domaine où l'évaluation a longtemps privilégié soit l'accomplissement de tâches par un agent unique, soit des métriques agrégées peu diagnostiques pour les scénarios multi-agents. CoCoBench cherche à combler ce vide en proposant une évaluation au niveau des mécanismes de coordination eux-mêmes plutôt que du seul résultat final. Les auteurs positionnent leurs conclusions comme une piste concrète pour orienter la conception de futures architectures de modèles et améliorer spécifiquement les capacités de coordination multi-agent, plutôt que d'optimiser uniquement le taux de réussite agrégé. Aucun calendrier de déploiement industriel ni partenariat commercial n'est mentionné : il s'agit à ce stade d'une contribution de recherche et d'un outil de benchmark, destiné à la communauté académique et aux équipes développant des systèmes multi-robots embodied.

RecherchePaper

1 source