RecherchearXiv cs.RO 29 mai 2026

DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'ICR Lab présentent DGSG-Mind (arXiv:2605.29879, mai 2026), un système de représentation de scènes 3D dynamiques combinant cartes de Gaussiennes 3D explicites et grille de voxels probabiliste pour permettre à un robot de comprendre et de raisonner sur son environnement sur le long terme. L'architecture fusionne deux niveaux de représentation : les Gaussiennes 3D assurent un ancrage spatial fin des instances d'objets avec suivi incrémental, tandis que la grille voxel gère la fusion cross-modale et la réinitialisation visuelle lorsqu'un objet est déplacé ou occlus. Sur cette carte d'instances, le système construit un graphe de scène hiérarchique, puis y greffe un agent de raisonnement multimodal baptisé "3D Gaussian Mind" qui intègre relations structurelles, informations spatio-sémantiques et rendus annotés des régions d'intérêt. Les expériences reportent les meilleures performances zero-shot en 3D Visual Grounding (3DVG) parmi les méthodes opérant sur des cartes auto-reconstruites, avec des résultats compétitifs en segmentation sémantique open-vocabulary et en reconstruction de scènes. Le système a été déployé sur des robots réels pour valider les capacités de mise à jour dynamique, bien que l'article ne précise pas le matériel ni les conditions exactes des essais terrain.

L'enjeu central est la robustesse à long terme : la majorité des systèmes de compréhension de scènes 3D supposent un environnement statique ou s'appuient sur une géométrie ground-truth fournie hors ligne, ce qui les rend inutilisables pour une manipulation robotique en conditions réelles où les objets bougent. DGSG-Mind traite explicitement les changements topologiques au niveau objet via un mécanisme de relocalisation visuelle gaussienne et de raffinement masqué guidé par cohérence géométrique-sémantique. La composante open-vocabulary est particulièrement pertinente pour les intégrateurs : elle signifie qu'un opérateur peut interroger le robot en langage naturel ("prends la bouteille rouge à gauche du moniteur") sans ré-entraînement ni labeling préalable. La performance zero-shot sur cartes auto-reconstruites, par opposition aux benchmarks avec géométrie parfaite, est un indicateur plus honnête de la viabilité réelle du système.

Le contexte technique s'inscrit dans la vague post-3DGS (3D Gaussian Splatting, Kerbl et al., 2023) qui a largement supplanté les approches NeRF pour la reconstruction temps réel. Les graphes de scènes pour la robotique sont un axe de recherche actif, avec des travaux concurrents comme ConceptGraphs, OpenMask3D ou SceneGraphFusion, dont aucun ne résout à la fois l'association d'instances robuste et les mises à jour dynamiques incrémentales. DGSG-Mind reste un preprint de recherche, non un produit expédié : le gap entre benchmark académique et déploiement industriel fiable demeure à évaluer, notamment sur la latence de mise à jour des Gaussiennes en environnement encombré. Les prochaines étapes naturelles concernent l'intégration dans des pipelines de manipulation (tâches pick-and-place longues durée) et le couplage avec des modèles VLA comme Pi-0 ou GR00T N2.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

CoRef-GS : Splatting gaussien de référence coopératif pour la compréhension multi-agents de scènes

CoRef-GS, un framework de cartographie Gaussienne coopérative pour robots, a été décrit dans un article publié sur arXiv en septembre 2026 (référence 2609.20586). Le système répond à un cas concret : plusieurs robots construisent chacun une carte Gaussienne sémantique locale de leur environnement, et une fois ces cartes fusionnées, il faut pouvoir localiser un objet désigné en langage naturel même s'il n'a été observé que par un autre agent, tout en gardant les relations spatiales interprétées depuis le point de vue du robot qui pose la question. CoRef-GS construit d'abord des cartes Gaussiennes locales à vocabulaire ouvert et conscientes des instances, les aligne via un module d'alignement inter-agents combinant cohérence géométrique et sémantique, puis effectue le grounding grâce à un graphe de relations conditionné par la vue. Les auteurs introduisent aussi CoQuad-Ref, un benchmark reposant sur deux robots quadrupèdes et couvrant des scènes d'intérieur réelles et simulées : en simulation, l'erreur de rotation passe de 2,58 degrés après initialisation grossière à 0,15 degré après raffinement, et en conditions réelles le mIoU de référencement grimpe de 52,6% avec la méthode existante ReferSplat à 68,8% avec CoRef-GS. Code et benchmark doivent être publiés sur GitHub. Ce travail cible un verrou peu traité mais central pour les flottes de robots mobiles : faire coopérer plusieurs agents sur une carte sémantique commune sans perdre la capacité à traiter des instructions en langage naturel relatives et ambiguës. Les méthodes existantes de cartographie Gaussienne consciente du langage se limitent à l'interrogation d'une carte unique, tandis que les techniques de recalage Gaussien optimisent l'alignement géométrique ou photométrique sans préserver la compatibilité sémantique nécessaire au grounding, ce que CoRef-GS cherche justement à combiner. Les gains rapportés, une erreur de pose divisée par plus de quinze en simulation et un mIoU en hausse de seize points sur données réelles, restent issus d'un seul benchmark défini par les auteurs et demandent confirmation sur d'autres plateformes avant généralisation. Pour les intégrateurs qui déploient des flottes de robots mobiles ou quadrupèdes en entrepôt ou en bâtiment, l'enjeu démontré est réel : plusieurs unités doivent partager une compréhension cohérente de l'espace pour exécuter des instructions humaines sans recartographier chaque zone individuellement. CoRef-GS s'inscrit dans la lignée des cartes Gaussiennes sémantiques, ces représentations 3D Gaussian Splatting enrichies de features de langage développées pour le grounding dans des scènes reconstruites par un seul agent, limite que les auteurs identifient explicitement chez des approches comme ReferSplat, utilisée ici comme référence de comparaison. L'apport revendiqué est de déplacer ce paradigme vers un cadre multi-agent, testé sur des robots quadrupèdes plutôt que sur des humanoïdes ou des AMR à roues. Les auteurs annoncent la publication prochaine, en open source, du code et du benchmark CoQuad-Ref sur GitHub, ce qui permettra à la communauté de reproduire les résultats et de comparer d'autres méthodes de fusion de cartes sur le même protocole. Aucun calendrier de déploiement industriel n'est mentionné : le travail reste à ce stade une contribution de recherche académique, sans lien annoncé avec un acteur commercial.

RecherchePaper

1 source

2arXiv cs.RO

LT-Mem : une mémoire spatio-temporelle sensible à la volatilité pour la compréhension de scènes à long terme

Une équipe de recherche publie sur arXiv, sous la référence 2608.19059v1, LT-Mem, un système de mémoire spatio-temporelle pour robots opérant sur la durée dans des environnements changeants. L'objectif est de résoudre l'amnésie temporelle : les cartographies classiques écrasent l'historique pour rester à jour, ou stockent des instantanés sémantiques sans identité d'objet stable d'une session à l'autre, empêchant par exemple de savoir où est passée une chaise verte au fil des visites. Le système combine un module SLAM multi-sessions alignant spatialement les observations par objet, un score de preuve déterministe préservant l'identité inter-sessions, et une politique de volatilité choisissant entre écraser, conserver ou garder plusieurs hypothèses, organisée en trois couches Live, Delta et Meta. Les auteurs publient aussi LT-VQA, un jeu de données et protocole d'évaluation dédié ; LT-Mem y dépasse les méthodes de référence sur toutes les métriques tout en consommant dix fois moins de jetons, un gain attribué à l'architecture plutôt qu'à la taille du modèle de langage. Pour l'écosystème robotique, ce travail s'attaque à un verrou concret des déploiements longue durée : les robots de service ou d'entrepôt en exploitation continue doivent aujourd'hui reconstruire leur compréhension de l'environnement à chaque passage, ou faire grossir indéfiniment le contexte fourni à un modèle de langage. En montrant qu'une mémoire structurée surpasse une simple augmentation de la taille du modèle, l'étude nuance l'idée reçue selon laquelle élargir la fenêtre de contexte d'un modèle vision-langage-action suffirait à obtenir une mémoire persistante fiable, un point qui parle directement aux intégrateurs dont les flottes doivent revisiter les mêmes lieux sur la durée. LT-Mem se positionne contre deux familles de systèmes existants : les cartographies SLAM classiques qui écrasent l'état précédent, et les mémoires sémantiques par instantanés qui perdent le fil de l'identité des objets. L'article, classé comme nouvelle soumission sur arXiv, ne précise ni la plateforme robotique testée ni le laboratoire porteur du projet, ce qui limite l'appréciation de sa transférabilité à un déploiement industriel réel. La publication conjointe du benchmark LT-VQA suggère une volonté d'en faire une référence partagée pour la communauté travaillant sur la compréhension de scène à long terme, un terrain que recoupent les efforts autour de modèles vision-langage-action comme Pi-0 ou GR00T N2.

RecherchePaper

1 source

3arXiv cs.RO

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier. Sur les bancs d'essai LIBERO et VLABench, il depasse le système MemoryVLA sur les taches Goal et Long-10, et surpasse le modèle π0-FAST de 5,2 points sur la piste 1 et de 6,0 points sur la piste 6. Le problème vise est bien connu du secteur: les architectures vision-langage-action mémorisent généralement l'environnement de façon passive, sans distinguer ce qui compte pour la tache en cours, ce qui dégradé les performances des que les séquences de manipulation s'allongent. En unifiant mise a jour et lecture de la mémoire dans un seul mécanisme appris plutôt que des heuristiques écrites a la main, GaussMemory s'inscrit dans une tendance de fond visant a faire passer les VLA de démonstrations courtes en laboratoire vers des taches multi-étapes plus proches des besoins industriels réels. Pour les intégrateurs qui évaluent des piles VLA, des gains chiffres sur des benchmarks standardises comme LIBERO et VLABench offrent un point de comparaison plus solide qu'une simple vidéo de démonstration. Le travail se positionne explicitement face a deux références du domaine, MemoryVLA et π0-FAST, ce dernier dérivé du modèle π0 de Physical Intelligence, citées comme bases de comparaison directes plutôt que comme simples antécédents. Il s'inscrit dans la lignée des travaux sur le 3D Gaussian Splatting, technique de représentation de scènes issue de la vision par ordinateur, de plus en plus réutilisée comme mémoire de travail pour des agents robotiques. A ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation, sans déploiement matériel annonce ni partenaire industriel cite, et sans calendrier donne pour un transfert vers des robots physiques, ce qui distingue clairement cette contribution d'une annonce produit ou d'un pilote commercial.

RechercheActu

1 source

4arXiv cs.RO

De l'impact à la compréhension : détection proprioceptive du terrain sur milieux granulaires, fondée sur la dynamique

Des chercheurs ont publié sur arXiv (référence 2604.02563, version 2) un cadre physique permettant à un robot sauteur d'estimer les propriétés d'un sol granulaire, par exemple du sable, uniquement grâce à sa proprioception, c'est-à-dire ses capteurs internes de position et d'effort, sans caméra ni capteur dédié au sol. Les expériences ont été menées en laboratoire, avec des sauts à vitesse d'impact et compliance de jambe variées de façon systématique. Les mesures montrent que les hypothèses quasi-statiques, courantes en caractérisation de terrain, produisent de forts écarts d'estimation lors des sauts rapides, surtout à l'atterrissage et lors des transitions de raideur induites par le contrôleur. Le seul frottement dépendant de la vitesse n'explique pas ces écarts. Ce sont des effets de masse ajoutée, liés à l'accélération et à l'entraînement de grains sous le pied, qui dominent la réponse transitoire des forces. Les auteurs combinent cette décomposition des forces avec un estimateur à observateur de moment, qui compense l'inertie du corps rigide et la gravité. Ils y ajoutent une régression pondérée tenant compte de l'accélération, car la variance des forces augmente lors des événements à forte accélération. Le résultat retrouve la résistance granulaire de manière cohérente selon les conditions de locomotion, au plus près d'une vérité terrain mesurée par actionneur linéaire. L'article ne fournit pas ici de chiffres d'erreur, de vitesse ou de masse du robot. L'intérêt tient à la rupture avec une pratique répandue : traiter le contact comme quasi-statique revient à mal lire le sol précisément quand le robot va vite. Pour les concepteurs de robots à pattes, cela signifie qu'un estimateur de terrain fondé sur la seule raideur ou sur un frottement visqueux se trompe dès que l'allure s'accélère, ce qui peut dégrader la planification de pas, la sélection de démarche ou les décisions de traversabilité. L'approche reste purement proprioceptive, donc peu coûteuse en matériel et utilisable quand la vision est gênée par la poussière, la lumière ou l'occultation. Il faut toutefois rester prudent : il s'agit d'un résultat de laboratoire sur un dispositif de saut contrôlé, validé contre un banc linéaire, et non d'un déploiement sur robot mobile en terrain ouvert. Rien ne prouve encore que la méthode se généralise à d'autres types de sols (humides, cohésifs, pentus) ou à des marches multi-contacts complètes. Ce travail s'inscrit dans la lignée de la robotique d'exploration planétaire et de la locomotion sur milieux déformables, où la physique de l'interaction pied-grains (poussée de sable, théories de résistance) est étudiée depuis longtemps, mais surtout à basse vitesse. La montée en puissance des quadrupèdes et des robots sauteurs dynamiques oblige à étendre ces modèles aux régimes rapides. Les auteurs visent explicitement l'exploration dynamique d'environnements terrestres et planétaires, ce qui concerne les agences spatiales et les laboratoires de robots à pattes. Les suites logiques seraient l'intégration de l'estimateur dans une boucle de contrôle adaptative en ligne, des essais sur robot embarqué en milieu naturel, et une comparaison avec les approches par apprentissage, qui infèrent le terrain de façon implicite sans modèle physique explicite. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

RecherchePaper

1 source