GEMOR-GS : cartographie globale avec calibration extrinsèque affinée et relocalisation en ligne pour le SLAM par Gaussian Splatting 3D

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv GEMOR-GS, un système de SLAM LiDAR-inertiel-visuel qui construit une carte en 3D Gaussian splatting (3DGS) et la rend à la fois précise géométriquement, raffinée globalement et "ré-entrable", c'est-à-dire exploitable pour se relocaliser après une perte de suivi. Le pipeline comporte quatre étapes. L'extrinsèque LiDAR-caméra est d'abord estimée hors ligne par alignement direct sur des segments de calibration dédiés, puis réutilisée dans tous les traitements ultérieurs. Les poses des keyframes et les paramètres des gaussiennes sont ensuite raffinés en alternance, sous un objectif combinant rendu différentiable (avec un mécanisme de "gating") et projection LiDAR. La reconstruction globale finale est reconstruite à partir de ces keyframes, sans les contraintes imposées en ligne. Enfin, la relocalisation passe par une carte annexe XFeat, une localisation grossière par RANSAC-PnP, puis un affinage par warp RGB-D des gaussiennes. Sur une séquence auto-collectée et cinq séquences publiques, la reconstruction hors ligne l'emporte sur la carte en ligne pour toutes les paires de keyframes, avec un gain de 14,3 à 19,9 dB. Elle améliore le PSNR d'environ 9 dB par rapport à Gaussian-LIC2, et la relocalisation sur données retenues réussit dans 86 à 100 % des cas, selon la qualité de l'extrinsèque.

L'intérêt pour la robotique tient au lien explicite entre calibration et performance aval. Les résultats suggèrent que la qualité de l'extrinsèque LiDAR-caméra conditionne directement la fidélité de rendu et la réussite de la relocalisation, un point souvent négligé quand les cartes 3DGS sont présentées comme de simples représentations "photoréalistes". Pour un intégrateur de robots mobiles ou d'AMR opérant en continu, la possibilité de reprendre le suivi après une perte, à partir de la carte elle-même et sans reconstruire un second modèle dédié, répond à un besoin concret de robustesse. Il faut toutefois relativiser : l'écart de 14,3 à 19,9 dB compare une reconstruction hors ligne à une carte en ligne, ce qui ne dit rien du temps de calcul ni de la faisabilité en temps réel. Le gain de 9 dB sur Gaussian-LIC2 est mesuré sur un jeu limité de six séquences, dont une seule collectée par les auteurs, et aucun test sur robot déployé n'est rapporté. On est donc face à un résultat de recherche, pas à un produit livré ni à un déploiement.

Ce travail s'inscrit dans la montée des cartes à gaussiennes explicites dans le SLAM multicapteur, où Gaussian-LIC2 sert ici de référence directe. L'approche prolonge l'idée de traiter la carte 3DGS comme un "modèle du monde" interrogeable, utile à la perception et à la décision en aval, plutôt que comme un simple rendu. Le recours à XFeat, extracteur de caractéristiques léger, et à RANSAC-PnP montre aussi une démarche pragmatique, qui combine briques classiques et représentation neuronale explicite. Les suites probables concernent la validation sur de plus longues trajectoires et en environnements dynamiques, la réduction du coût de la phase hors ligne et la mesure des performances sur matériel embarqué. L'article est un préprint (arXiv, version 1) et n'annonce ni code, ni calendrier, ni partenaire industriel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

GaussLite : cartographie robotique en temps réel par 3D Gaussian Splatting conditionnée par tâche

Illustration générée par IA

1arXiv cs.RO

GaussLite : cartographie robotique en temps réel par 3D Gaussian Splatting conditionnée par tâche

Des chercheurs présentent GaussLite, un système de cartographie 3D par Gaussian Splatting (3DGS) conditionné par la tâche, décrit dans un article publié sur arXiv (arXiv:2606.30809v1). Contrairement aux systèmes 3DGS classiques qui répartissent uniformément leur capacité de représentation sur toute une scène, GaussLite concentre le calcul embarqué sur les zones pertinentes pour une tâche donnée, exprimée en langage naturel comme "se préparer à saisir l'objet sur le bureau". Le système combine un parseur LLM en une passe pour extraire les objets cibles et de référence, un détecteur en vocabulaire ouvert pour les localiser image par image, et une segmentation produisant des masques de pertinence par pixel en temps réel. La densité de semis des gaussiennes, le flux de gradient et la mise à l'échelle sont ensuite alloués selon cette pertinence. À budget de gaussiennes équivalent et en cartographie temps réel à 4 Hz sur du matériel aux ressources limitées, GaussLite surpasse les méthodes de référence de 2,72 dB en moyenne sur le PSNR de la région d'intérêt (ROI) sur le jeu de données Replica, et de 2,23 dB lors de démonstrations sur matériel réel en intérieur et extérieur. Cette approche répond à un goulot d'étranglement concret pour la robotique embarquée : les plateformes mobiles ou manipulateurs disposent d'une puissance de calcul limitée, et gaspiller des cycles à reconstruire finement des murs ou du mobilier hors sujet pénalise directement la précision là où elle compte, sur l'objet à saisir ou l'obstacle à éviter. En priorisant explicitement la scène par la tâche plutôt que par la géométrie brute, GaussLite s'attaque à un problème récurrent des pipelines de perception pour la manipulation et la navigation autonome : l'écart entre fidélité de reconstruction globale et utilité réelle pour la décision robotique. L'équipe démontre aussi qu'il est possible de fusionner en temps réel les cartes de deux agents spécialisés sur des tâches différentes, via un vote par voxel sur le nombre d'optimisations actives, avec un gain de 3,42 dB par rapport à une simple concaténation, tout en ne partageant que 7,08% de la carte en moyenne, un résultat qui intéresse directement les scénarios multi-robots ou essaims. GaussLite s'inscrit dans la lignée des travaux récents combinant 3D Gaussian Splatting et robotique, un domaine en forte expansion depuis l'adoption de cette technique de rendu comme alternative aux NeRF pour la cartographie en temps réel. La contribution se distingue des systèmes 3DGS génériques en intégrant directement un module de compréhension du langage et de détection ouverte pour piloter l'allocation de ressources, plutôt que de traiter la sémantique comme une étape séparée en aval. Les auteurs ne précisent pas de plan de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'un travail de recherche évalué sur Replica et sur un banc de test matériel propre à l'équipe, sans comparaison publiée face à des architectures commerciales de cartographie temps réel.

RecherchePaper

1 source

AOV-GS : cartographie sémantique active à vocabulaire ouvert avec le Gaussian Splatting 3D

Illustration générée par IA

2arXiv cs.RO

AOV-GS : cartographie sémantique active à vocabulaire ouvert avec le Gaussian Splatting 3D

AOV-GS est un système de cartographie active qui construit une carte 3D en Gaussian Splatting et guide l'exploration d'un robot à l'aide de modèles de fondation gelés, sans masques de segmentation annotés à la main. Pendant une phase d'exploration grossière, il reclasse les points de vue candidats, déjà jugés prometteurs sur le plan géométrique, selon la nouveauté des embeddings CLIP calculés sur les masques d'instance de SAM. SAM et CLIP restent figés pendant toute la cartographie. Un champ de langage léger, propre à chaque scène, est ensuite ajusté hors ligne directement sur les embeddings CLIP collectés. Il permet de segmenter des vues inédites à partir de requêtes textuelles libres. Dans une comparaison contrôlée avec la même pile de perception SAM-CLIP, AOV-GS gagne 1,3 point de mIoU moyen sur le champ de langage par rapport à une planification purement géométrique sur Replica (34,6 % sur huit scènes) et 1,8 point sur Matterport3D (23,1 % sur cinq scènes). Avec CorrCLIP, il atteint 35,6 % sur Replica, soit 2,0 points de plus que la référence géométrique équivalente. Le PSNR en vue inédite reste comparable à la référence, et l'erreur L1 de profondeur s'améliore sur Replica. Le code est publié sur GitHub. Ces résultats montrent qu'on peut orienter l'exploration vers les zones sémantiquement informatives sans passer par une segmentation supervisée à catégories fermées, ce qui retire un verrou pour les robots en environnement humain, où les requêtes dépassent tout jeu d'étiquettes fixé. Il faut toutefois relativiser l'ampleur des gains : 1 à 2 points de mIoU restent modestes, et un score de 23,1 % sur Matterport3D, plus proche de scènes réelles, rappelle que la compréhension sémantique ouverte est loin d'être résolue. Le maintien du rendu géométrique, sans dégradation du PSNR, indique que l'on ne sacrifie pas la qualité de la carte pour gagner en sémantique. Pour un intégrateur, c'est une brique de recherche prometteuse mais pas un produit : l'évaluation reste en simulation et sur des jeux de données de scènes intérieures, sans test annoncé sur robot physique, ni mesure de coût de calcul ou de temps d'exploration en conditions réelles. Le travail s'inscrit entre deux courants. D'un côté, la cartographie active guidée par la géométrie maximise la couverture mais traite la sémantique comme un sous-produit de la trajectoire. De l'autre, la cartographie sémantique active dépend en général d'une segmentation supervisée. AOV-GS s'appuie sur la vague des champs de langage 3D et du Gaussian Splatting, associés à CLIP et SAM. Les prochaines étapes logiques sont une validation sur plateforme mobile réelle, des environnements dynamiques et des comparaisons face à d'autres méthodes de cartographie sémantique ouverte. La publication du code facilitera la reproduction par la communauté.

RecherchePaper

1 source

SG²SLAM : SLAM par Gaussian Splatting 3D guidé par la géométrie spatiale pour la navigation extérieure monoculaire

Illustration générée par IA

3arXiv cs.RO

SG²SLAM : SLAM par Gaussian Splatting 3D guidé par la géométrie spatiale pour la navigation extérieure monoculaire

SG^2SLAM est une méthode de SLAM (localisation et cartographie simultanées) monoculaire pour la navigation en extérieur, décrite dans un préprint arXiv (v1). Elle repose sur le 3D Gaussian Splatting (3DGS), une représentation de scène par primitives gaussiennes, explicites et différentiables, projetées en forme fermée pour produire une carte dense. Les auteurs remplacent l'association classique pixels 2D vers points 3D, calculée image par image, par une géométrie spatiale diffusée en continu. Celle-ci fournit un a priori métrique par « chunk », c'est-à-dire par lot d'images, qui supervise à la fois le suivi de trajectoire et la cartographie à partir d'une source unique. Chaque primitive gaussienne reçoit en plus un sous-espace de direction de vue, ce qui permet au noyau « conditionné par les rayons » de tenir compte du point de vue de la caméra monoculaire. Poses et géométrie sont optimisées conjointement. Les tests portent sur KITTI et Waymo Open, deux jeux de données de conduite urbaine, où la méthode dépasse les références fondées sur l'association par image. Le résumé ne donne aucun chiffre (erreur de trajectoire, qualité de rendu, temps de calcul), et le code n'est promis qu'après acceptation de l'article. L'enjeu est la robustesse des pipelines modulaires. Quand le suivi de caméra et la cartographie sont découplés, l'erreur de pose est absorbée par la carte, qui se dégrade, ce qui fausse à son tour les poses suivantes. En supervisant les deux modules par un même a priori métrique, SG^2SLAM s'attaque à cette dérive en cascade. Pour les robots mobiles, véhicules autonomes ou plateformes d'inspection, la perspective est celle de cartes denses et cohérentes à partir d'une seule caméra bon marché, sans lidar. Reste à vérifier plusieurs points : la mise à l'échelle métrique d'une caméra monoculaire est notoirement fragile, et rien n'indique que le système tourne en temps réel sur du matériel embarqué. Des résultats sur KITTI et Waymo, des jeux de données de conduite relativement bien structurés, ne garantissent pas non plus la tenue en environnement dégradé (pluie, nuit, zones peu texturées). Ce travail s'inscrit dans la vague de SLAM fondés sur le 3DGS, apparue après les NeRF, qui cherche à combiner rendu photoréaliste et cartographie en ligne. Les approches existantes restent généralement limitées par leur dépendance à des correspondances image par image, ce que les auteurs critiquent. Les concurrents sont les SLAM monoculaires classiques, comme ORB-SLAM, et les variantes 3DGS ou neuronales qui s'appuient sur des a priori de profondeur ou de géométrie apprise. Il s'agit d'une contribution académique, sans produit ni déploiement industriel annoncé. La suite dépendra de la publication du code et d'une évaluation indépendante, avec des métriques chiffrées, de la vitesse d'exécution et de la comparaison avec des méthodes récentes.

RecherchePaper

1 source

PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

Illustration générée par IA

4arXiv cs.RO

PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

PanoGraphGS est un cadre de travail de recherche, publié sur arXiv, qui fusionne la segmentation panoptique 3D et la construction de graphes de scène 3D hiérarchiques à partir d'une représentation en Gaussian Splatting (3DGS). Le système apprend des caractéristiques sémantiques et d'instances sur une géométrie gaussienne partagée. L'apprentissage sémantique repose sur des prototypes, l'apprentissage d'instances sur de l'association, ce qui donne des prédictions panoptiques cohérentes d'un point de vue à l'autre. Un module de graphe de scène sensible à la sémantique reconstruit ensuite une hiérarchie étage, pièce, éléments de structure (« stuff »), objet, avec relations de contenance et relations spatiales. Les auteurs publient aussi NaviGS, un jeu de données réel de compréhension de scènes panoramiques fournissant 3DGS, maillages, RGB, sémantique et profondeur. Sur l'identification de graphes de scène 3D, la méthode dépasse en moyenne de plus de 50 points de pourcentage la meilleure base de comparaison évaluée, en précision des nœuds d'objets, sur Replica et NaviGS. Elle affiche aussi les meilleurs résultats parmi les méthodes testées en segmentation panoptique 2D. Le code est disponible sur GitHub. L'intérêt pour la robotique tient à la navigation guidée par le langage, qui suppose une carte structurée où « la tasse sur la table de la cuisine du premier étage » désigne une entité unique et retrouvable. Jusqu'ici, les pipelines enchaînent souvent un module de segmentation, une reconstruction 3D, puis une construction de graphe, et les incohérences entre vues se propagent d'une étape à l'autre. Unifier ces étapes sur une même géométrie gaussienne vise à réduire ces erreurs, ce qui compte pour les robots mobiles, humanoïdes ou AMR censés exécuter des instructions en langage naturel. Prudence toutefois : il s'agit d'un résultat académique, sans déploiement sur robot ni mesure de temps de calcul ou de latence rapportée dans le résumé. Le gain de plus de 50 points dépend du choix des références, qui ne sont pas détaillées, et de deux jeux de données seulement, dont l'un est introduit par les auteurs eux-mêmes. La robustesse hors de ces scènes reste à démontrer. Ce travail s'inscrit dans la convergence entre représentations neuronales de scènes (NeRF puis 3DGS) et graphes de scène 3D, popularisés par des approches comme 3D Scene Graph ou Hydra pour la navigation et la planification de tâches. Les modèles vision-langage-action (VLA) qui équipent aujourd'hui les humanoïdes se passent souvent de carte explicite, tandis que les graphes de scène offrent une mémoire spatiale interprétable, utile pour des tâches longues en environnement intérieur. La diffusion de NaviGS pourrait faciliter la comparaison avec d'autres méthodes. Les prochaines étapes à surveiller sont une évaluation en temps réel sur plateforme mobile, la mise à jour incrémentale des cartes en environnement dynamique, et l'intégration à des planificateurs pilotés par des modèles de langage. Aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper

1 source