GaussLite : cartographie robotique en temps réel par 3D Gaussian Splatting conditionnée par tâche

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent GaussLite, un système de cartographie 3D par Gaussian Splatting (3DGS) conditionné par la tâche, décrit dans un article publié sur arXiv (arXiv:2606.30809v1). Contrairement aux systèmes 3DGS classiques qui répartissent uniformément leur capacité de représentation sur toute une scène, GaussLite concentre le calcul embarqué sur les zones pertinentes pour une tâche donnée, exprimée en langage naturel comme "se préparer à saisir l'objet sur le bureau". Le système combine un parseur LLM en une passe pour extraire les objets cibles et de référence, un détecteur en vocabulaire ouvert pour les localiser image par image, et une segmentation produisant des masques de pertinence par pixel en temps réel. La densité de semis des gaussiennes, le flux de gradient et la mise à l'échelle sont ensuite alloués selon cette pertinence. À budget de gaussiennes équivalent et en cartographie temps réel à 4 Hz sur du matériel aux ressources limitées, GaussLite surpasse les méthodes de référence de 2,72 dB en moyenne sur le PSNR de la région d'intérêt (ROI) sur le jeu de données Replica, et de 2,23 dB lors de démonstrations sur matériel réel en intérieur et extérieur.

Cette approche répond à un goulot d'étranglement concret pour la robotique embarquée : les plateformes mobiles ou manipulateurs disposent d'une puissance de calcul limitée, et gaspiller des cycles à reconstruire finement des murs ou du mobilier hors sujet pénalise directement la précision là où elle compte, sur l'objet à saisir ou l'obstacle à éviter. En priorisant explicitement la scène par la tâche plutôt que par la géométrie brute, GaussLite s'attaque à un problème récurrent des pipelines de perception pour la manipulation et la navigation autonome : l'écart entre fidélité de reconstruction globale et utilité réelle pour la décision robotique. L'équipe démontre aussi qu'il est possible de fusionner en temps réel les cartes de deux agents spécialisés sur des tâches différentes, via un vote par voxel sur le nombre d'optimisations actives, avec un gain de 3,42 dB par rapport à une simple concaténation, tout en ne partageant que 7,08% de la carte en moyenne, un résultat qui intéresse directement les scénarios multi-robots ou essaims.

GaussLite s'inscrit dans la lignée des travaux récents combinant 3D Gaussian Splatting et robotique, un domaine en forte expansion depuis l'adoption de cette technique de rendu comme alternative aux NeRF pour la cartographie en temps réel. La contribution se distingue des systèmes 3DGS génériques en intégrant directement un module de compréhension du langage et de détection ouverte pour piloter l'allocation de ressources, plutôt que de traiter la sémantique comme une étape séparée en aval. Les auteurs ne précisent pas de plan de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'un travail de recherche évalué sur Replica et sur un banc de test matériel propre à l'équipe, sans comparaison publiée face à des architectures commerciales de cartographie temps réel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

GEMOR-GS : cartographie globale avec calibration extrinsèque affinée et relocalisation en ligne pour le SLAM par Gaussian Splatting 3D

Illustration générée par IA

1arXiv cs.RO

GEMOR-GS : cartographie globale avec calibration extrinsèque affinée et relocalisation en ligne pour le SLAM par Gaussian Splatting 3D

Des chercheurs publient sur arXiv GEMOR-GS, un système de SLAM LiDAR-inertiel-visuel qui construit une carte en 3D Gaussian splatting (3DGS) et la rend à la fois précise géométriquement, raffinée globalement et "ré-entrable", c'est-à-dire exploitable pour se relocaliser après une perte de suivi. Le pipeline comporte quatre étapes. L'extrinsèque LiDAR-caméra est d'abord estimée hors ligne par alignement direct sur des segments de calibration dédiés, puis réutilisée dans tous les traitements ultérieurs. Les poses des keyframes et les paramètres des gaussiennes sont ensuite raffinés en alternance, sous un objectif combinant rendu différentiable (avec un mécanisme de "gating") et projection LiDAR. La reconstruction globale finale est reconstruite à partir de ces keyframes, sans les contraintes imposées en ligne. Enfin, la relocalisation passe par une carte annexe XFeat, une localisation grossière par RANSAC-PnP, puis un affinage par warp RGB-D des gaussiennes. Sur une séquence auto-collectée et cinq séquences publiques, la reconstruction hors ligne l'emporte sur la carte en ligne pour toutes les paires de keyframes, avec un gain de 14,3 à 19,9 dB. Elle améliore le PSNR d'environ 9 dB par rapport à Gaussian-LIC2, et la relocalisation sur données retenues réussit dans 86 à 100 % des cas, selon la qualité de l'extrinsèque. L'intérêt pour la robotique tient au lien explicite entre calibration et performance aval. Les résultats suggèrent que la qualité de l'extrinsèque LiDAR-caméra conditionne directement la fidélité de rendu et la réussite de la relocalisation, un point souvent négligé quand les cartes 3DGS sont présentées comme de simples représentations "photoréalistes". Pour un intégrateur de robots mobiles ou d'AMR opérant en continu, la possibilité de reprendre le suivi après une perte, à partir de la carte elle-même et sans reconstruire un second modèle dédié, répond à un besoin concret de robustesse. Il faut toutefois relativiser : l'écart de 14,3 à 19,9 dB compare une reconstruction hors ligne à une carte en ligne, ce qui ne dit rien du temps de calcul ni de la faisabilité en temps réel. Le gain de 9 dB sur Gaussian-LIC2 est mesuré sur un jeu limité de six séquences, dont une seule collectée par les auteurs, et aucun test sur robot déployé n'est rapporté. On est donc face à un résultat de recherche, pas à un produit livré ni à un déploiement. Ce travail s'inscrit dans la montée des cartes à gaussiennes explicites dans le SLAM multicapteur, où Gaussian-LIC2 sert ici de référence directe. L'approche prolonge l'idée de traiter la carte 3DGS comme un "modèle du monde" interrogeable, utile à la perception et à la décision en aval, plutôt que comme un simple rendu. Le recours à XFeat, extracteur de caractéristiques léger, et à RANSAC-PnP montre aussi une démarche pragmatique, qui combine briques classiques et représentation neuronale explicite. Les suites probables concernent la validation sur de plus longues trajectoires et en environnements dynamiques, la réduction du coût de la phase hors ligne et la mesure des performances sur matériel embarqué. L'article est un préprint (arXiv, version 1) et n'annonce ni code, ni calendrier, ni partenaire industriel.

RecherchePaper

1 source

VLEM : cartographie 3D vision-langage par embeddings en temps réel

Illustration générée par IA

2arXiv cs.RO

VLEM : cartographie 3D vision-langage par embeddings en temps réel

Une équipe de chercheurs a publié une version révisée (v2) de l'article arXiv 2508.06291 présentant VLEM (Vision-Language Embedding Mapping), un système de cartographie sémantique 3D en temps réel qui fonctionne à partir d'un simple flux RGB-D brut, sans poses de caméra vérité terrain. Le framework fusionne des embeddings vision-langage 2D alignés au pixel, issus de différents modèles vision-langage, dans une représentation 3D globalement cohérente et métriquement précise. Comparé à trois systèmes existants, ConceptFusion, Open-Fusion et RayFronts, VLEM affiche de meilleures performances en segmentation en vocabulaire ouvert et une représentation plus compacte en mémoire. Les auteurs démontrent aussi son usage sur des tâches de manipulation robotique interactive en temps réel et sur des scénarios de cartographie mobile. La compréhension sémantique de scène en robotique exige des représentations à la fois précises au sens métrique et interrogeables en langage naturel en temps réel, combinaison que les modèles vision-langage peinent à tenir une fois intégrés à un pipeline 3D, freinés par le coût de calcul, les contraintes mémoire et la dépendance habituelle à des poses caméra vérité terrain rarement disponibles hors laboratoire. En s'appuyant uniquement sur un flux RGB-D brut, VLEM lève ce verrou et rapproche cette cartographie sémantique d'un déploiement robotique réel, hors environnement instrumenté. Pour les équipes de recherche en manipulation ou en navigation mobile, cela ouvre la voie à des robots interrogeables en langage naturel directement sur une carte 3D construite à la volée. La comparaison à ConceptFusion, Open-Fusion et RayFronts reste un benchmark choisi par les auteurs, à confirmer par des évaluations indépendantes. VLEM s'inscrit dans la lignée des travaux combinant modèles vision-langage type CLIP et pipelines de SLAM pour doter les robots d'une compréhension du monde interrogeable en langage naturel, citant explicitement ConceptFusion, Open-Fusion et RayFronts comme repères directs plutôt qu'une rupture inédite. Il s'agit à ce stade d'une publication de recherche en preprint sur arXiv, sans produit, partenariat industriel ni calendrier de déploiement annoncés ; la mention "replace" signale une révision d'une soumission initiale. La suite attendue pour ce type de travail est la publication du code et une évaluation communautaire sur des jeux de données standardisés, avant une éventuelle reprise par des acteurs commerciaux de la robotique.

RecherchePaper

1 source

LatentAM : cartographie d'attention gaussienne latente en temps réel et à grande échelle par apprentissage de dictionnaire en ligne

Illustration générée par IA

3arXiv cs.RO

LatentAM : cartographie d'attention gaussienne latente en temps réel et à grande échelle par apprentissage de dictionnaire en ligne

Une équipe de recherche a publié une version révisée de l'article LatentAM sur arXiv (référence 2602.12314), qui présente un système de cartographie 3D par Gaussian Splatting en ligne destiné à la perception robotique en vocabulaire ouvert. À partir d'un flux RGB-D continu, chaque primitive gaussienne reçoit un vecteur de requête compact, converti en embedding de modèle vision-langage (VLM) approximatif via un mécanisme d'attention couplé à un dictionnaire appris en ligne, sans pré-entraînement ni décodeur spécifique à un VLM donné. Pour tenir sur de longues trajectoires, la carte est gérée par hachage de voxels : une zone locale active est optimisée sur GPU, tandis que la carte globale reste stockée et indexée sur CPU afin de borner la mémoire GPU consommée. Sur des benchmarks publics et un jeu de données maison à grande échelle, LatentAM dépasse les méthodes de référence en fidélité de reconstruction des caractéristiques, tout en tournant à une vitesse quasi temps réel de 12 à 35 images par seconde, code et page projet étant déjà publics. L'enjeu pour l'industrie tient au découplage proposé entre carte sémantique et modèle VLM : la plupart des pipelines existants figent le modèle dès l'entraînement, obligeant à redistiller toute la carte à chaque changement. En rendant cette étape agnostique au modèle et sans pré-entraînement dédié, l'approche permettrait aux intégrateurs de faire évoluer leurs modules de perception, y compris vers de futurs modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, sans reconstruire toute la pile cartographique. La vitesse annoncée, jusqu'à 35 images par seconde, vise un traitement embarqué plutôt qu'un post-traitement hors ligne, un point clé pour des robots mobiles ou humanoïdes devant comprendre une scène en temps réel. Il s'agit toutefois d'un résultat évalué sur benchmarks et données internes, pas d'un déploiement en production, la robustesse en environnement industriel non contrôlé restant à démontrer. LatentAM s'inscrit dans la continuité des travaux récents mêlant Gaussian Splatting et distillation de features VLM pour la cartographie sémantique de scènes, une famille de méthodes qui couplent généralement chaque élément de carte à un modèle précis, au prix d'un réentraînement à chaque mise à jour. En substituant un dictionnaire appris en ligne à un décodeur spécifique, les auteurs cherchent à lever ce verrou tout en maîtrisant l'empreinte mémoire GPU grâce au hachage de voxels. La mention « replace » sur arXiv signale une version révisée d'une soumission antérieure, preuve d'itérations en cours sur la méthode ; code et page projet étant déjà accessibles, la communauté pourra en tester la reproductibilité, mais aucun calendrier d'intégration sur une plateforme robotique commerciale n'est évoqué à ce stade.

RecherchePaper

1 source

AOV-GS : cartographie sémantique active à vocabulaire ouvert avec le Gaussian Splatting 3D

Illustration générée par IA

4arXiv cs.RO

AOV-GS : cartographie sémantique active à vocabulaire ouvert avec le Gaussian Splatting 3D

AOV-GS est un système de cartographie active qui construit une carte 3D en Gaussian Splatting et guide l'exploration d'un robot à l'aide de modèles de fondation gelés, sans masques de segmentation annotés à la main. Pendant une phase d'exploration grossière, il reclasse les points de vue candidats, déjà jugés prometteurs sur le plan géométrique, selon la nouveauté des embeddings CLIP calculés sur les masques d'instance de SAM. SAM et CLIP restent figés pendant toute la cartographie. Un champ de langage léger, propre à chaque scène, est ensuite ajusté hors ligne directement sur les embeddings CLIP collectés. Il permet de segmenter des vues inédites à partir de requêtes textuelles libres. Dans une comparaison contrôlée avec la même pile de perception SAM-CLIP, AOV-GS gagne 1,3 point de mIoU moyen sur le champ de langage par rapport à une planification purement géométrique sur Replica (34,6 % sur huit scènes) et 1,8 point sur Matterport3D (23,1 % sur cinq scènes). Avec CorrCLIP, il atteint 35,6 % sur Replica, soit 2,0 points de plus que la référence géométrique équivalente. Le PSNR en vue inédite reste comparable à la référence, et l'erreur L1 de profondeur s'améliore sur Replica. Le code est publié sur GitHub. Ces résultats montrent qu'on peut orienter l'exploration vers les zones sémantiquement informatives sans passer par une segmentation supervisée à catégories fermées, ce qui retire un verrou pour les robots en environnement humain, où les requêtes dépassent tout jeu d'étiquettes fixé. Il faut toutefois relativiser l'ampleur des gains : 1 à 2 points de mIoU restent modestes, et un score de 23,1 % sur Matterport3D, plus proche de scènes réelles, rappelle que la compréhension sémantique ouverte est loin d'être résolue. Le maintien du rendu géométrique, sans dégradation du PSNR, indique que l'on ne sacrifie pas la qualité de la carte pour gagner en sémantique. Pour un intégrateur, c'est une brique de recherche prometteuse mais pas un produit : l'évaluation reste en simulation et sur des jeux de données de scènes intérieures, sans test annoncé sur robot physique, ni mesure de coût de calcul ou de temps d'exploration en conditions réelles. Le travail s'inscrit entre deux courants. D'un côté, la cartographie active guidée par la géométrie maximise la couverture mais traite la sémantique comme un sous-produit de la trajectoire. De l'autre, la cartographie sémantique active dépend en général d'une segmentation supervisée. AOV-GS s'appuie sur la vague des champs de langage 3D et du Gaussian Splatting, associés à CLIP et SAM. Les prochaines étapes logiques sont une validation sur plateforme mobile réelle, des environnements dynamiques et des comparaisons face à d'autres méthodes de cartographie sémantique ouverte. La publication du code facilitera la reproduction par la communauté.

RecherchePaper

1 source