RecherchearXiv cs.RO 19 juin 2026

Gaussian Splatting latent pour le suivi d'occupation panoptique 4D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'Université de Fribourg-en-Brisgau (Allemagne) ont publié LaGS (Latent Gaussian Splatting), une méthode de suivi panoptique d'occupation en 4D référencée arXiv:2602.23172. L'objectif : capturer simultanément la géométrie volumétrique 3D d'une scène dynamique et les associations temporelles entre instances sur des séquences multi-caméras. La méthode modélise les caractéristiques 3D sous forme d'un ensemble épars de Gaussiennes porteuses de features, soit des points-clés volumétriques dynamiques qui agrègent les informations multi-vues via une pondération spatiale continue, avant d'être projetées dans une grille de voxels pour décodage. Une représentation hiérarchique combine des super-points grossiers pour le contexte global et des flux haute résolution pour les détails fins. Sur les benchmarks Occ3D nuScenes et Waymo Open Dataset, références standards pour la perception 3D en conduite autonome, LaGS atteint des performances état de l'art sur la tâche 4D-POT. Code et modèles sont publiés en open source.

L'enjeu est précis : les systèmes existants tranchaient entre deux compromis peu satisfaisants. Les méthodes de suivi par boîtes englobantes offrent une association temporelle d'instances mais perdent la géométrie fine. Les approches d'occupation 3D dense restituent la forme des objets sans raisonnement explicite au niveau instance ni association temporelle fiable. LaGS comble ce gap en introduisant des champs récepteurs adaptatifs dépendants des données et des interactions spatiales longue portée, deux limitations connues des opérateurs voxels locaux denses. Pour un intégrateur développant un pipeline de planification de trajectoire ou de prédiction de mouvement pour véhicule autonome ou robot mobile, disposer d'une représentation unifiée panoptique-temporelle réduit le nombre de modules et les sources de désynchronisation.

La méthode s'inscrit dans la vague des approches Gaussian Splatting initiée par les travaux 3DGS de Kerbl et al. en 2023, aujourd'hui détournés de la reconstruction de scènes statiques vers la perception dynamique. L'Université de Fribourg-en-Brisgau, acteur européen reconnu en robotique et vision par ordinateur, positionne LaGS face aux méthodes concurrentes basées sur les réseaux BEV, les grilles voxels récurrentes ou les approches NeRF temporelles. La publication en version 2 (révision post-soumission initiale de février 2026) avec code ouvert facilite la reproduction. Les prochaines étapes naturelles incluent l'intégration dans des pipelines embarqués et l'évaluation sur des jeux de données intérieurs pour la robotique mobile en entrepôt.

Impact France/UE

L'Université de Fribourg-en-Brisgau (UE) publie LaGS en open source avec code et modèles, offrant aux équipes européennes de robotique mobile et de véhicule autonome une base reproductible pour unifier suivi d'instances et occupation 3D dense dans leurs pipelines de perception.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

PanoGraphGS est un cadre de travail de recherche, publié sur arXiv, qui fusionne la segmentation panoptique 3D et la construction de graphes de scène 3D hiérarchiques à partir d'une représentation en Gaussian Splatting (3DGS). Le système apprend des caractéristiques sémantiques et d'instances sur une géométrie gaussienne partagée. L'apprentissage sémantique repose sur des prototypes, l'apprentissage d'instances sur de l'association, ce qui donne des prédictions panoptiques cohérentes d'un point de vue à l'autre. Un module de graphe de scène sensible à la sémantique reconstruit ensuite une hiérarchie étage, pièce, éléments de structure (« stuff »), objet, avec relations de contenance et relations spatiales. Les auteurs publient aussi NaviGS, un jeu de données réel de compréhension de scènes panoramiques fournissant 3DGS, maillages, RGB, sémantique et profondeur. Sur l'identification de graphes de scène 3D, la méthode dépasse en moyenne de plus de 50 points de pourcentage la meilleure base de comparaison évaluée, en précision des nœuds d'objets, sur Replica et NaviGS. Elle affiche aussi les meilleurs résultats parmi les méthodes testées en segmentation panoptique 2D. Le code est disponible sur GitHub. L'intérêt pour la robotique tient à la navigation guidée par le langage, qui suppose une carte structurée où « la tasse sur la table de la cuisine du premier étage » désigne une entité unique et retrouvable. Jusqu'ici, les pipelines enchaînent souvent un module de segmentation, une reconstruction 3D, puis une construction de graphe, et les incohérences entre vues se propagent d'une étape à l'autre. Unifier ces étapes sur une même géométrie gaussienne vise à réduire ces erreurs, ce qui compte pour les robots mobiles, humanoïdes ou AMR censés exécuter des instructions en langage naturel. Prudence toutefois : il s'agit d'un résultat académique, sans déploiement sur robot ni mesure de temps de calcul ou de latence rapportée dans le résumé. Le gain de plus de 50 points dépend du choix des références, qui ne sont pas détaillées, et de deux jeux de données seulement, dont l'un est introduit par les auteurs eux-mêmes. La robustesse hors de ces scènes reste à démontrer. Ce travail s'inscrit dans la convergence entre représentations neuronales de scènes (NeRF puis 3DGS) et graphes de scène 3D, popularisés par des approches comme 3D Scene Graph ou Hydra pour la navigation et la planification de tâches. Les modèles vision-langage-action (VLA) qui équipent aujourd'hui les humanoïdes se passent souvent de carte explicite, tandis que les graphes de scène offrent une mémoire spatiale interprétable, utile pour des tâches longues en environnement intérieur. La diffusion de NaviGS pourrait faciliter la comparaison avec d'autres méthodes. Les prochaines étapes à surveiller sont une évaluation en temps réel sur plateforme mobile, la mise à jour incrémentale des cartes en environnement dynamique, et l'intégration à des planificateurs pilotés par des modèles de langage. Aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper

1 source

2arXiv cs.RO

GeoGS-SLAM : Gaussian Splatting géométrique pur pour le SLAM monoculaire dense

Une équipe de chercheurs vient de publier sur arXiv (2607.07452v1) GeoGS-SLAM, un système de SLAM visuel dense monoculaire fondé sur une nouvelle représentation baptisée Geometry-only Gaussian Splatting (GeoGS). Contrairement aux méthodes 3D Gaussian Splatting classiques utilisées en SLAM, qui modélisent à la fois l'apparence et la géométrie de la scène, GeoGS ne conserve que les paramètres spatiaux de chaque primitive gaussienne, ce qui réduit de plus de 80% le nombre de paramètres par primitive. Le système s'appuie sur un entraînement combinant supervision géométrique et photométrique en vue unique et multi-vues, une initialisation guidée par plans locaux pour accélérer la convergence, et une stratégie de mise à jour de la carte lors des fermetures de boucle qui transforme globalement le nuage de gaussiennes pour éviter les déchirures de carte causées par des corrections de pose incohérentes. Les auteurs affirment que leur méthode dépasse l'état de l'art sur des bancs d'essai synthétiques et réels, tant en efficacité de cartographie en ligne qu'en qualité de reconstruction géométrique. L'intérêt de cette approche tient à un constat simple: pour des tâches robotiques comme la navigation ou l'évitement d'obstacles, c'est la précision géométrique qui compte, pas le rendu photoréaliste. En abandonnant la modélisation d'apparence, GeoGS allège drastiquement le nombre de primitives gaussiennes nécessaires, accélère la convergence géométrique et gagne en robustesse face aux variations d'éclairage, un point faible connu des pipelines 3DGS classiques en conditions réelles. Pour les intégrateurs travaillant sur la localisation et cartographie embarquées, cela ouvre la voie à des systèmes SLAM plus légers en calcul, potentiellement plus adaptés à un déploiement temps réel sur robot mobile. Le papier s'inscrit dans la vague de travaux exploitant le 3D Gaussian Splatting pour le SLAM dense depuis l'essor de cette représentation en 2023, une alternative aux cartes NeRF ou aux nuages de points classiques. Comme il s'agit d'un preprint tout juste déposé, sans revue par les pairs ni code public annoncé à ce stade, les gains revendiqués face à l'état de l'art restent à confirmer par la communauté, notamment sur des séquences réelles complexes en dehors des benchmarks utilisés par les auteurs.

RecherchePaper

1 source

3arXiv cs.RO

SG²SLAM : SLAM par Gaussian Splatting 3D guidé par la géométrie spatiale pour la navigation extérieure monoculaire

SG^2SLAM est une méthode de SLAM (localisation et cartographie simultanées) monoculaire pour la navigation en extérieur, décrite dans un préprint arXiv (v1). Elle repose sur le 3D Gaussian Splatting (3DGS), une représentation de scène par primitives gaussiennes, explicites et différentiables, projetées en forme fermée pour produire une carte dense. Les auteurs remplacent l'association classique pixels 2D vers points 3D, calculée image par image, par une géométrie spatiale diffusée en continu. Celle-ci fournit un a priori métrique par « chunk », c'est-à-dire par lot d'images, qui supervise à la fois le suivi de trajectoire et la cartographie à partir d'une source unique. Chaque primitive gaussienne reçoit en plus un sous-espace de direction de vue, ce qui permet au noyau « conditionné par les rayons » de tenir compte du point de vue de la caméra monoculaire. Poses et géométrie sont optimisées conjointement. Les tests portent sur KITTI et Waymo Open, deux jeux de données de conduite urbaine, où la méthode dépasse les références fondées sur l'association par image. Le résumé ne donne aucun chiffre (erreur de trajectoire, qualité de rendu, temps de calcul), et le code n'est promis qu'après acceptation de l'article. L'enjeu est la robustesse des pipelines modulaires. Quand le suivi de caméra et la cartographie sont découplés, l'erreur de pose est absorbée par la carte, qui se dégrade, ce qui fausse à son tour les poses suivantes. En supervisant les deux modules par un même a priori métrique, SG^2SLAM s'attaque à cette dérive en cascade. Pour les robots mobiles, véhicules autonomes ou plateformes d'inspection, la perspective est celle de cartes denses et cohérentes à partir d'une seule caméra bon marché, sans lidar. Reste à vérifier plusieurs points : la mise à l'échelle métrique d'une caméra monoculaire est notoirement fragile, et rien n'indique que le système tourne en temps réel sur du matériel embarqué. Des résultats sur KITTI et Waymo, des jeux de données de conduite relativement bien structurés, ne garantissent pas non plus la tenue en environnement dégradé (pluie, nuit, zones peu texturées). Ce travail s'inscrit dans la vague de SLAM fondés sur le 3DGS, apparue après les NeRF, qui cherche à combiner rendu photoréaliste et cartographie en ligne. Les approches existantes restent généralement limitées par leur dépendance à des correspondances image par image, ce que les auteurs critiquent. Les concurrents sont les SLAM monoculaires classiques, comme ORB-SLAM, et les variantes 3DGS ou neuronales qui s'appuient sur des a priori de profondeur ou de géométrie apprise. Il s'agit d'une contribution académique, sans produit ni déploiement industriel annoncé. La suite dépendra de la publication du code et d'une évaluation indépendante, avec des métriques chiffrées, de la vitesse d'exécution et de la comparaison avec des méthodes récentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Gaussian Splatting anticipatif pour la représentation 3D prédictive en prise-et-dépose guidée par le langage

Une équipe de chercheurs a proposé sur arXiv (arXiv:2605.11144, mai 2026) un framework baptisé Forecast-GS (Forecast-aware Gaussian Splatting), destiné à la manipulation robotique guidée par le langage naturel. La contribution centrale consiste à modéliser explicitement l'état final attendu d'une tâche via une reconstruction 3D prédictive par Gaussian Splatting, plutôt que de raisonner uniquement sur la configuration courante de la scène. Validé sur trois tâches réelles de pick-and-place (cutter-vers-boîte, pomme-vers-bol, éponge-vers-plateau), le système atteint des taux de succès de 84 % (21/25), 92 % (23/25) et 64 % (16/25) en sélection automatique, contre 60 %, 76 % et 40 % pour la baseline ReKep (Relational Keypoint Constraints). En mode assisté par un opérateur humain pour le classement des candidats, les taux montent à 92 %, 96 % et 76 %, chaque condition étant testée sur 25 essais réels avec configurations initiales variées sur la même plateforme robotique. L'enjeu pratique est le suivant : la plupart des systèmes de manipulation actuels évaluent si une action est faisable depuis l'état présent, sans vérifier si l'état résultant satisfait l'objectif sémantique. Forecast-GS génère une prévision 3D de la scène post-action, que le robot compare à l'instruction en langage naturel avant d'exécuter, ce qui réduit les erreurs en présence d'observations partielles ou d'occlusions. Pour un intégrateur industriel, l'interprétabilité de ce mécanisme, contrairement aux politiques VLA end-to-end comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), facilite le débogage et la traçabilité. L'écart persistant entre mode automatique et assisté (jusqu'à 12 points de taux de succès) indique cependant que le ranking final des candidats n'est pas encore un problème résolu. Le Gaussian Splatting, introduit en 2023 par Kerbl et al. à SIGGRAPH, a été rapidement adopté en robotique pour ses représentations 3D différentiables et compactes. Forecast-GS s'inscrit dans un courant qui hybride représentations neuronales 3D et planification guidée par le langage, en compétition directe avec ReKep (Stanford/Berkeley), SpatialVLA, et les approches VLA génératives. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication. Les prochaines étapes logiques portent sur l'amélioration du classement automatique, principal goulot d'étranglement vers l'autonomie complète, et sur l'extension à des scènes dynamiques plus complexes que les configurations statiques de laboratoire utilisées ici.

RecherchePaper

1 source