RecherchearXiv cs.RO 22 septembre 2026

Graphes de scène probabilistes : représentation hiérarchique et système en temps réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent dans un nouvel article publié sur arXiv (référence 2609.23144v1) un système de représentation de scènes 3D pour la perception robotique baptisé Probabilistic Scene Graph (PSG). Contrairement aux scene graphs classiques, qui figent une structure d'entités, de relations et d'attributs sémantiques, PSG modélise une distribution de probabilité sur l'ensemble des graphes possibles : une structure discrète (objets, relations, sémantique) couplée à des états continus qui les situent dans l'espace, avec une incertitude explicite sur les deux composantes. La géométrie est portée directement par les nœuds plutôt que puisée dans une carte métrique construite à part ; la carte, quand elle est utile, découle du graphe et non l'inverse. Les auteurs instancient cette idée via des Hierarchical Graphs of Gaussians (HGG) : chaque objet est représenté par une gaussienne à covariance complète sous une croyance Normal-Inverse-Wishart, le même schéma étant réappliqué récursivement pour affiner la résolution de surface. Le pipeline combine un alignement grossier-vers-fin fondé uniquement sur le graphe et une optimisation imbriquée Expectation-Maximization / factor-graph qui raffine conjointement poses, paramètres d'objets et géométrie interne. Testé sur six jeux de données (intérieur RGB-D, extérieur LiDAR, scénarios multimodaux), le système tourne à la cadence des capteurs avec une mémoire quasi constante.

Ce travail cible une limite structurelle des scene graphs 3D en robotique : l'incertitude y est aujourd'hui traitée en aval, jamais propagée pendant la construction du graphe lui-même. Pour les équipes développant des piles de perception pour navigation autonome, manipulation ou SLAM sémantique, cette lacune fragilise les graphes face au bruit capteur ou aux fusions d'observations erronées. En couplant nativement structure sémantique et incertitude géométrique, PSG vise des cartes robustes même avec des données partielles ou ambiguës, un enjeu direct pour les intégrateurs fusionnant des capteurs hétérogènes en conditions réelles. Les résultats revendiqués, précision « état de l'art » et alignement de graphe en zero-shot, restent des mesures de benchmark académique et non un déploiement industriel validé.

L'approche prolonge les travaux sur les scene graphs 3D hiérarchiques utilisés en robotique pour structurer la perception au-delà des nuages de points ou cartes d'occupation, mais rompt avec ces systèmes déterministes en adoptant un cadre bayésien complet où chaque étape (association, fusion, raffinement de pose) manipule des croyances plutôt que des estimations ponctuelles. Elle se positionne face aux pipelines de cartographie sémantique classiques et aux méthodes de reconstruction par gaussiennes issues de la vision par ordinateur, dont elle reprend la représentation continue en l'intégrant à une structure de graphe discrète. L'article, classé comme nouvelle soumission arXiv, ne mentionne aucun partenariat industriel ni feuille de route de déploiement : c'est à ce stade une contribution de recherche évaluée sur données publiques, dont l'adoption dépendra de sa reproduction par la communauté.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Segmentation de pièces fondée sur l'occupation pour les graphes de scène 3D hiérarchiques

Une équipe de recherche a publié sur arXiv (réf. 2606.13727, juin 2026) un pipeline baptisé OccuSG, conçu pour construire des graphes de scènes 3D hiérarchiques (3DSG) pour robots d'intérieur en ancrant la couche « pièce » à des régions de libre espace extraites d'une décomposition d'occupancy. Contrairement aux approches existantes qui s'appuient sur des clusters de lieux, des plans de murs ou des sorties de segmentation directe (sans critère géométrique commun permettant de comparer leurs résultats), OccuSG attribue à chaque nœud-pièce un contour polygonal explicite. Le pipeline a été évalué sur 12 scènes du jeu de données Matterport3D, en faisant correspondre les polygones prédits aux instances de pièces annotées, et comparé à Hydra, méthode de référence fondée sur la connectivité par lieux. Les graphes de scènes 3D hiérarchiques constituent une couche d'abstraction critique pour les robots naviguant en environnement résidentiel ou tertiaire : ils relient la perception au niveau objet (détection, segmentation) au raisonnement à l'échelle d'une pièce (navigation sémantique, planification de tâches). OccuSG affiche un rappel nettement supérieur à Hydra (davantage d'instances de pièces correctement retrouvées), mais au prix d'une précision plus faible, se traduisant en pratique par des pièces fantômes ou mal délimitées. Pour un intégrateur robotique ou un développeur AMR, le compromis est net : meilleure couverture sémantique, fidélité géométrique moindre. Les deux méthodes échouent par ailleurs à restituer des frontières de pièces précises au niveau des murs, un problème ouvert que les auteurs reconnaissent explicitement. La recherche sur les 3DSG pour robots d'intérieur est dominée depuis plusieurs années par Kimera et Hydra, développés au MIT dans le groupe de Luca Carlone, références académiques incontournables du domaine. OccuSG adopte une voie différente en privilégiant la géométrie d'occupancy plutôt que la topologie de connectivité pour représenter la pièce. Il s'agit d'un preprint arXiv et non d'un produit déployé : les expériences sont limitées à Matterport3D, un corpus de scans intérieurs statiques qui ne reflète pas les conditions dynamiques d'un robot réel. Le code est publié sur GitHub (crcz25/OccuSG), facilitant la reproduction indépendante. Les prolongements naturels incluent des évaluations sur flux temps réel et l'intégration dans des pipelines robotiques complets comme Hydra ou Kimera.

RecherchePaper

1 source

2arXiv cs.RO

PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

PanoGraphGS est un cadre de travail de recherche, publié sur arXiv, qui fusionne la segmentation panoptique 3D et la construction de graphes de scène 3D hiérarchiques à partir d'une représentation en Gaussian Splatting (3DGS). Le système apprend des caractéristiques sémantiques et d'instances sur une géométrie gaussienne partagée. L'apprentissage sémantique repose sur des prototypes, l'apprentissage d'instances sur de l'association, ce qui donne des prédictions panoptiques cohérentes d'un point de vue à l'autre. Un module de graphe de scène sensible à la sémantique reconstruit ensuite une hiérarchie étage, pièce, éléments de structure (« stuff »), objet, avec relations de contenance et relations spatiales. Les auteurs publient aussi NaviGS, un jeu de données réel de compréhension de scènes panoramiques fournissant 3DGS, maillages, RGB, sémantique et profondeur. Sur l'identification de graphes de scène 3D, la méthode dépasse en moyenne de plus de 50 points de pourcentage la meilleure base de comparaison évaluée, en précision des nœuds d'objets, sur Replica et NaviGS. Elle affiche aussi les meilleurs résultats parmi les méthodes testées en segmentation panoptique 2D. Le code est disponible sur GitHub. L'intérêt pour la robotique tient à la navigation guidée par le langage, qui suppose une carte structurée où « la tasse sur la table de la cuisine du premier étage » désigne une entité unique et retrouvable. Jusqu'ici, les pipelines enchaînent souvent un module de segmentation, une reconstruction 3D, puis une construction de graphe, et les incohérences entre vues se propagent d'une étape à l'autre. Unifier ces étapes sur une même géométrie gaussienne vise à réduire ces erreurs, ce qui compte pour les robots mobiles, humanoïdes ou AMR censés exécuter des instructions en langage naturel. Prudence toutefois : il s'agit d'un résultat académique, sans déploiement sur robot ni mesure de temps de calcul ou de latence rapportée dans le résumé. Le gain de plus de 50 points dépend du choix des références, qui ne sont pas détaillées, et de deux jeux de données seulement, dont l'un est introduit par les auteurs eux-mêmes. La robustesse hors de ces scènes reste à démontrer. Ce travail s'inscrit dans la convergence entre représentations neuronales de scènes (NeRF puis 3DGS) et graphes de scène 3D, popularisés par des approches comme 3D Scene Graph ou Hydra pour la navigation et la planification de tâches. Les modèles vision-langage-action (VLA) qui équipent aujourd'hui les humanoïdes se passent souvent de carte explicite, tandis que les graphes de scène offrent une mémoire spatiale interprétable, utile pour des tâches longues en environnement intérieur. La diffusion de NaviGS pourrait faciliter la comparaison avec d'autres méthodes. Les prochaines étapes à surveiller sont une évaluation en temps réel sur plateforme mobile, la mise à jour incrémentale des cartes en environnement dynamique, et l'intégration à des planificateurs pilotés par des modèles de langage. Aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper

1 source

3arXiv cs.RO

ObsGraph : représentation hiérarchique des observations pour le raisonnement incarné et l'exploration

Des chercheurs ont soumis le 24 juin 2026 sur arXiv (identifiant 2606.24068) un système baptisé ObsGraph, une représentation hiérarchique de scène centrée sur l'observation, destinée aux agents robotiques déployés dans des environnements complexes et inconnus. L'architecture repose sur trois couches emboîtées : les pièces (rooms), qui fournissent des ancres sémantiques grossières à l'échelle d'une zone ; les vues (views), qui préservent la co-visibilité contextuelle des objets dans un même champ ; et les objets (objects), qui stockent les détails fins nécessaires à l'exécution des tâches. Sur cette représentation, ObsGraph exécute une récupération d'information hiérarchique contrainte par un budget computationnel, du plus grossier au plus précis, puis utilise les résultats obtenus pour structurer dynamiquement la stratégie d'exploration : activation de l'exploration au niveau pièce, raffinement de vue, ou exploration de frontière (frontier exploration). La contribution centrale est le couplage serré entre représentation, récupération et exploration adaptative, là où la majorité des approches existantes traitent ces trois composantes de manière découplée. En pratique, ce que l'agent a déjà observé détermine directement où il cherche ensuite, réduisant l'exploration redondante. Les expériences sur des benchmarks d'embodied reasoning et d'exploration montrent des améliorations en taux de réussite et en efficacité, mais les auteurs ne publient pas de chiffres précis dans le résumé de la pré-publication, ce qui limite l'évaluation indépendante à ce stade. Pour un intégrateur ou un COO industriel, ce type de système pointe vers des agents capables de naviguer dans un entrepôt ou un atelier non cartographié avec un budget d'exploration réduit, un point critique pour les déploiements en environnements non structurés. Ce travail s'inscrit dans la dynamique plus large de l'embodied AI, où l'enjeu est de faire raisonner des agents sur des scènes inédites sans carte préexistante. Les approches concurrentes incluent les semantic maps, les topological graphs, et les modèles VLA (Vision-Language-Action) qui intègrent raisonnement et contrôle moteur dans un même réseau de neurones. ObsGraph se positionne comme une couche mémoire et représentation complémentaire à ces modèles d'action, et non comme un système de contrôle moteur à part entière. Il s'agit pour l'instant d'un preprint arXiv sans déploiement réel ni partenariat industriel annoncé ; la prochaine étape logique serait une intégration avec des frameworks robotiques comme ROS 2 ou des systèmes VLA déjà validés en conditions réelles, afin de mesurer le gain effectif au-delà des benchmarks académiques.

RecherchePaper

1 source

4arXiv cs.RO

Robotique physique et navigation sémantique par graphe de scène 3D hiérarchique et planification bayésienne

Une équipe de recherche propose un nouveau système de navigation sémantique en zero-shot pour agents robotiques évoluant dans des environnements inconnus, capable de combiner compréhension du langage naturel et planification à long terme. Le cœur de la méthode est un graphe de scène 3D hiérarchique (Hierarchical 3D Scene Graph, HSG), construit et mis à jour en continu pendant l'exploration, qui organise l'environnement en plusieurs niveaux de granularité : objets, zones et régions. Ce graphe sert de représentation compacte de l'état global, sur laquelle s'appuie un module de planification fondé sur des croyances (belief-based planning) qui combine les a priori sémantiques issus de modèles de fondation avec les preuves accumulées lors de l'exploration. Le système effectue des simulations à horizon fini directement sur le HSG pour estimer le gain attendu de chaque macro-action candidate avant de décider où aller. Testée sur plusieurs tâches et jeux de données en simulation haute fidélité, l'approche améliore en moyenne le taux de réussite (SR) de 9,4% et le score SPL (réussite pondérée par la longueur du chemin) de 5,0% par rapport aux meilleures méthodes existantes, avec des gains plus marqués sur les trajectoires longue distance. L'intérêt de ce travail est de s'attaquer à un défaut connu des agents de navigation actuels : lorsqu'ils reposent uniquement sur des modèles de fondation sans mémoire structurée du monde, ils ont tendance à adopter des stratégies gloutonnes fondées sur l'observation locale, ce qui produit une exploration inefficace et des comportements myopes, en particulier sur de longues distances. En donnant à l'agent une carte sémantique persistante et hiérarchisée plutôt qu'un simple flux d'observations, la méthode réduit les retours en arrière redondants et permet des décisions cohérentes à l'échelle globale. C'est un signal utile pour la robotique mobile autonome (entrepôts, robots de service) où la navigation longue portée dans des lieux jamais vus reste un point faible des architectures purement réactives. Ce travail s'inscrit dans la lignée des recherches récentes qui exploitent les modèles de fondation pour doter les robots de connaissances sémantiques riches, mais cherche à corriger leur principale limite, l'absence de représentation globale structurée. Contrairement aux approches concurrentes qui traitent la scène comme une simple carte topologique plate, le HSG introduite ici multiplie les niveaux d'abstraction. Les résultats, uniquement obtenus en simulation, ouvrent la voie à des tests en conditions réelles, où le passage du simulateur au monde physique reste l'obstacle habituel de ce type de recherche.

RecherchePaper

1 source