PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

PanoGraphGS est un cadre de travail de recherche, publié sur arXiv, qui fusionne la segmentation panoptique 3D et la construction de graphes de scène 3D hiérarchiques à partir d'une représentation en Gaussian Splatting (3DGS). Le système apprend des caractéristiques sémantiques et d'instances sur une géométrie gaussienne partagée. L'apprentissage sémantique repose sur des prototypes, l'apprentissage d'instances sur de l'association, ce qui donne des prédictions panoptiques cohérentes d'un point de vue à l'autre. Un module de graphe de scène sensible à la sémantique reconstruit ensuite une hiérarchie étage, pièce, éléments de structure (« stuff »), objet, avec relations de contenance et relations spatiales. Les auteurs publient aussi NaviGS, un jeu de données réel de compréhension de scènes panoramiques fournissant 3DGS, maillages, RGB, sémantique et profondeur. Sur l'identification de graphes de scène 3D, la méthode dépasse en moyenne de plus de 50 points de pourcentage la meilleure base de comparaison évaluée, en précision des nœuds d'objets, sur Replica et NaviGS. Elle affiche aussi les meilleurs résultats parmi les méthodes testées en segmentation panoptique 2D. Le code est disponible sur GitHub.

L'intérêt pour la robotique tient à la navigation guidée par le langage, qui suppose une carte structurée où « la tasse sur la table de la cuisine du premier étage » désigne une entité unique et retrouvable. Jusqu'ici, les pipelines enchaînent souvent un module de segmentation, une reconstruction 3D, puis une construction de graphe, et les incohérences entre vues se propagent d'une étape à l'autre. Unifier ces étapes sur une même géométrie gaussienne vise à réduire ces erreurs, ce qui compte pour les robots mobiles, humanoïdes ou AMR censés exécuter des instructions en langage naturel. Prudence toutefois : il s'agit d'un résultat académique, sans déploiement sur robot ni mesure de temps de calcul ou de latence rapportée dans le résumé. Le gain de plus de 50 points dépend du choix des références, qui ne sont pas détaillées, et de deux jeux de données seulement, dont l'un est introduit par les auteurs eux-mêmes. La robustesse hors de ces scènes reste à démontrer.

Ce travail s'inscrit dans la convergence entre représentations neuronales de scènes (NeRF puis 3DGS) et graphes de scène 3D, popularisés par des approches comme 3D Scene Graph ou Hydra pour la navigation et la planification de tâches. Les modèles vision-langage-action (VLA) qui équipent aujourd'hui les humanoïdes se passent souvent de carte explicite, tandis que les graphes de scène offrent une mémoire spatiale interprétable, utile pour des tâches longues en environnement intérieur. La diffusion de NaviGS pourrait faciliter la comparaison avec d'autres méthodes. Les prochaines étapes à surveiller sont une évaluation en temps réel sur plateforme mobile, la mise à jour incrémentale des cartes en environnement dynamique, et l'intégration à des planificateurs pilotés par des modèles de langage. Aucun calendrier de déploiement industriel n'est annoncé.