Aller au contenu principal
Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieursIllustration générée par IA
RecherchearXiv cs.RO 

Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieurs

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.15753) une méthode pour construire des graphes de scènes 3D fonctionnels et hiérarchiques dans des espaces intérieurs, à vocabulaire ouvert. Ces graphes représentent l'environnement sous forme de noeuds objets, d'éléments interactifs et d'arêtes de relations fonctionnelles, permettant à un robot de comprendre non seulement ce qui est présent dans une pièce, mais comment les objets peuvent interagir entre eux. La contribution principale est l'extension des benchmarks existants en y intégrant des objets denses posés sur des surfaces planes (tabletop), ainsi que des relations fonctionnelles multi-niveaux explicites. Le pipeline proposé repose sur un ancrage visuel 2D (visual grounding) couplé à une optimisation de graphes 3D, combinant accumulation d'évidence, régularisation par entropie et lissage temporel pour résoudre l'association entre instances et déterminer les connexions fonctionnelles de chaque noeud. Une étape finale de structuration hiérarchique globale permet de récupérer la structure en niveaux du graphe complet.

L'intérêt de cette approche pour la manipulation robotique est concret. Les travaux antérieurs sur les graphes de scènes se concentraient sur les meubles de grande taille, laissant de côté la granularité fine nécessaire pour les tâches impliquant des objets de bureau ou de cuisine. Introduire des objets petits, denses et visuellement similaires (tasses, stylos, boîtes) crée trois défis techniques distincts: confusion entre instances lors de la fusion inter-images, incertitude d'attribution sous des points de vue dynamiques, et absence d'ancrage visuel dans le raisonnement relationnel. Le pipeline open-vocabulary présenté aborde ces trois points sans catégories prédéfinies, ce qui représente un avantage pratique pour des déploiements en environnements variés. Les expériences reportées montrent une inférence fiable sur des scènes réelles exigeantes, bien que le résumé soumis ne détaille pas de métriques quantitatives précises, ce qui rend difficile toute comparaison directe avec l'état de l'art.

Les graphes de scènes sémantiques pour la robotique sont étudiés depuis une dizaine d'années, mais leur adoption pratique a été freinée par des benchmarks limités aux grandes structures, peu représentatifs des scénarios de manipulation réelle. Ce travail s'inscrit dans une tendance plus large vers la perception embodied à vocabulaire ouvert, en concurrence directe avec les approches basées sur les champs de radiance neuronaux (NeRF, 3DGS) ou la segmentation 3D ouverte comme OpenMask3D et ConceptFusion. Ce type de représentation est fondamental pour les systèmes de planification de tâches et les robots de service opérant en environnement non structuré. Aucune timeline de déploiement industriel n'est mentionnée: il s'agit d'un preprint de recherche académique, pas d'un produit commercialisé ni d'un partenariat industriel annoncé.

À lire aussi

T-FunS3D : segmentation fonctionnelle 3D hiérarchique à vocabulaire ouvert guidée par les tâches
Illustration générée par IA
1arXiv cs.RO 

T-FunS3D : segmentation fonctionnelle 3D hiérarchique à vocabulaire ouvert guidée par les tâches

Une équipe de recherche présente sur arXiv (identifiant 2606.05975, juin 2026) T-FunS3D, une méthode de segmentation 3D fonctionnelle à vocabulaire ouvert, pilotée par la tâche. Le système prend en entrée un nuage de points 3D et des images RGB-D posées d'une scène intérieure, à partir desquels il construit un graphe de scène à vocabulaire ouvert en extrayant les instances visuelles et leurs embeddings. Lorsqu'une description de tâche en langage naturel est fournie (par exemple "ouvrir le tiroir"), T-FunS3D interroge ce graphe pour identifier les instances pertinentes, puis localise leurs composants fonctionnels précis (poignée, loquet, bouton) via un modèle vision-langage (VLM). Évalué sur le jeu de données de référence SceneFun3D, le système affiche des performances comparables à l'état de l'art en segmentation fonctionnelle 3D, tout en réduisant le temps d'exécution et la consommation mémoire par rapport aux approches exhaustives. L'enjeu est structurant pour la perception robotique en manipulation. Les méthodes existantes de segmentation 3D à vocabulaire ouvert s'arrêtent généralement au niveau objet : elles savent qu'une tasse est présente, pas où se trouve l'anse. Les approches de segmentation scénique exhaustive, elles, traitent l'intégralité de la scène indépendamment de la tâche, ce qui les rend prohibitives en temps de calcul et en mémoire pour un déploiement embarqué. T-FunS3D adopte une logique hiérarchique et sélective, seuls les objets pertinents pour la tâche courante étant analysés au niveau partie, un compromis plus réaliste pour une exécution temps réel sur un robot physique. Ce type de perception "actionnnable" est un prérequis non résolu à l'échelle pour les architectures vision-langage-action (VLA) aujourd'hui au coeur de la robotique de manipulation. La méthode s'inscrit dans un effort plus large autour de la représentation sémantique des scènes pour la robotique, dont SceneFun3D constitue le banc d'essai de référence. La tendance à intégrer des VLMs comme raisonneurs sémantiques dans la boucle de perception, plutôt que comme générateurs d'actions directs, gagne du terrain dans des travaux concurrents tels que RoboPoint ou les approches fondées sur ConceptGraphs. T-FunS3D se différencie par son architecture en graphe de scène et sa focalisation explicite sur les composants fonctionnels plutôt que sur les objets entiers. Il s'agit d'une contribution académique sans annonce de déploiement industriel. Les suites naturelles incluent l'extension à des scènes dynamiques, des objets articulés complexes et l'intégration directe dans des pipelines VLA de bout en bout.

RecherchePaper
1 source
Segmentation de pièces fondée sur l'occupation pour les graphes de scène 3D hiérarchiques
Illustration générée par IA
2arXiv cs.RO 

Segmentation de pièces fondée sur l'occupation pour les graphes de scène 3D hiérarchiques

Une équipe de recherche a publié sur arXiv (réf. 2606.13727, juin 2026) un pipeline baptisé OccuSG, conçu pour construire des graphes de scènes 3D hiérarchiques (3DSG) pour robots d'intérieur en ancrant la couche « pièce » à des régions de libre espace extraites d'une décomposition d'occupancy. Contrairement aux approches existantes qui s'appuient sur des clusters de lieux, des plans de murs ou des sorties de segmentation directe (sans critère géométrique commun permettant de comparer leurs résultats), OccuSG attribue à chaque nœud-pièce un contour polygonal explicite. Le pipeline a été évalué sur 12 scènes du jeu de données Matterport3D, en faisant correspondre les polygones prédits aux instances de pièces annotées, et comparé à Hydra, méthode de référence fondée sur la connectivité par lieux. Les graphes de scènes 3D hiérarchiques constituent une couche d'abstraction critique pour les robots naviguant en environnement résidentiel ou tertiaire : ils relient la perception au niveau objet (détection, segmentation) au raisonnement à l'échelle d'une pièce (navigation sémantique, planification de tâches). OccuSG affiche un rappel nettement supérieur à Hydra (davantage d'instances de pièces correctement retrouvées), mais au prix d'une précision plus faible, se traduisant en pratique par des pièces fantômes ou mal délimitées. Pour un intégrateur robotique ou un développeur AMR, le compromis est net : meilleure couverture sémantique, fidélité géométrique moindre. Les deux méthodes échouent par ailleurs à restituer des frontières de pièces précises au niveau des murs, un problème ouvert que les auteurs reconnaissent explicitement. La recherche sur les 3DSG pour robots d'intérieur est dominée depuis plusieurs années par Kimera et Hydra, développés au MIT dans le groupe de Luca Carlone, références académiques incontournables du domaine. OccuSG adopte une voie différente en privilégiant la géométrie d'occupancy plutôt que la topologie de connectivité pour représenter la pièce. Il s'agit d'un preprint arXiv et non d'un produit déployé : les expériences sont limitées à Matterport3D, un corpus de scans intérieurs statiques qui ne reflète pas les conditions dynamiques d'un robot réel. Le code est publié sur GitHub (crcz25/OccuSG), facilitant la reproduction indépendante. Les prolongements naturels incluent des évaluations sur flux temps réel et l'intégration dans des pipelines robotiques complets comme Hydra ou Kimera.

RecherchePaper
1 source
Mémoire persistante de scène maritime métrique-sémantique à partir de graphes de scène 3D à vocabulaire ouvert
Illustration générée par IA
3arXiv cs.RO 

Mémoire persistante de scène maritime métrique-sémantique à partir de graphes de scène 3D à vocabulaire ouvert

Des chercheurs publient sur arXiv (2611.13903) une étude sur le transfert des graphes de scène 3D (3DSG) à vocabulaire ouvert vers l'environnement maritime. Ces représentations métriques et sémantiques persistantes servent au raisonnement spatial des robots, mais elles ont surtout été développées pour l'intérieur de bâtiments et le terrestre. L'équipe a testé une méthode outdoor représentative, en zero-shot, sur ses propres données maritimes annotées. Les descriptions générées concordent avec la vérité terrain pour une majorité des objets soutenus par la géométrie, mais la carte souffre d'une fragmentation importante des entités physiques : un même objet est découpé en plusieurs nœuds. Les hypothèses de niveau supérieur héritées du terrestre, comme les pièces ou les rues, ne rendent pas compte de l'organisation spatiale d'un port ou d'un plan d'eau. Les auteurs conservent donc la méthode de cartographie sous-jacente et retraitent les preuves accumulées. Ils appliquent une consolidation métrique-sémantique, puis un raisonnement multi-vues par modèle vision-langage (VLM) ancré dans la géométrie, qui fusionne les fragments restants en entités physiques et regroupe celles-ci en lieux locaux. En parallèle, des macro-régions maritimes sont construites à partir d'a priori cartographiques et d'observations embarquées de l'eau et des structures, puis associées à ces lieux. Pour les intégrateurs et les décideurs qui suivent la robotique de surface ou portuaire, le résultat est instructif : une carte sémantique à vocabulaire ouvert ne se transpose pas telle quelle hors du bâtiment, et le goulot d'étranglement n'est pas la reconnaissance d'objets mais l'identité persistante des entités et l'abstraction spatiale. La représentation obtenue réduit la fragmentation au-delà de la méthode de base et de la seule consolidation géométrico-sémantique, permet de faire correspondre des lieux fixes lors de traversées maritimes répétées, et améliore la récupération contextuelle sur les requêtes revues par les auteurs, face aux références testées. Ces gains sont toutefois mesurés sur un jeu de données propre aux auteurs et sur des requêtes qu'ils ont eux-mêmes validées : aucun chiffre de performance n'est donné dans le résumé, et rien n'indique un déploiement opérationnel. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un pilote. Il suggère néanmoins que les VLM, utilisés comme étape de raisonnement a posteriori plutôt que comme cartographe principal, peuvent combler une partie de l'écart entre cartes de laboratoire et mémoire de scène exploitable en extérieur. Ce travail s'inscrit dans la montée des graphes de scène 3D, d'abord conçus pour des intérieurs structurés, puis étendus à l'extérieur avec des méthodes à vocabulaire ouvert s'appuyant sur des modèles vision-langage. Le maritime reste peu couvert : l'eau, les reflets, les structures éparses et l'absence de hiérarchie évidente compliquent la segmentation et le regroupement. Les auteurs ne citent pas de concurrents industriels dans ce résumé, et aucun acteur français ou européen n'y apparaît. Les suites logiques sont une validation sur des jeux de données plus larges, des comparaisons chiffrées plus poussées et l'intégration à des plateformes de navigation autonome, sans calendrier annoncé à ce stade.

RecherchePaper
1 source
OpenSplatGraph : des cartes sémantiques denses aux graphes de scène structurés pour la perception robotique à vocabulaire ouvert
Illustration générée par IA
4arXiv cs.RO 

OpenSplatGraph : des cartes sémantiques denses aux graphes de scène structurés pour la perception robotique à vocabulaire ouvert

Des chercheurs, vraisemblablement du groupe de robotique de CSIRO (Australie) d'après l'adresse de la page projet, publient sur arXiv OpenSplatGraph, un cadre logiciel qui construit en ligne un graphe de scène 3D persistant à partir d'une carte sémantique dense en 3D Gaussian Splatting (3DGS) à vocabulaire ouvert. Le système ajoute à cette carte un champ sémantique « conscient de la fiabilité », qui conserve des statistiques légères sur les observations. Ces statistiques servent à extraire des objets à partir d'une requête en langage naturel, avec un niveau de confiance associé. Les instances extraites sont rattachées à des nœuds persistants du graphe, dont les attributs et les relations sont mis à jour au fil des observations et des requêtes. Les auteurs annoncent des évaluations sur des benchmarks standard de compréhension de scènes 3D et des expériences robotiques réelles, avec des performances « compétitives ». Le résumé ne donne aucun chiffre, aucune plateforme robotique ni aucun temps de calcul, et le travail reste un préprint académique, sans produit ni déploiement. L'enjeu est de combler un fossé entre deux représentations. Les cartes 3DGS offrent une géométrie fidèle et une perception à vocabulaire ouvert, mais leur sémantique reste un champ de caractéristiques non structuré, peu adapté au raisonnement centré sur les objets. Les graphes de scène 3D, eux, modélisent objets et relations, mais reposent souvent sur des géométries éparses qui exploitent mal les cartes denses. Pour un intégrateur ou un ingénieur perception, l'intérêt est de pouvoir demander « où est tel objet ? » ou « que contient cette zone ? » sans maintenir deux cartes séparées. La notion de confiance par observation répond aussi à un problème pratique, celui des détections bruitées d'un modèle vision-langage. Seuls les chiffres des benchmarks, absents du résumé, permettront de juger si l'approche dépasse les méthodes existantes en conditions réelles. Ce travail s'inscrit dans la convergence entre cartographie par splatting gaussien et représentations sémantiques ouvertes, où les graphes de scène servent de couche de raisonnement pour la planification et la manipulation guidées par le langage. Il suit des approches antérieures de graphes de scène 3D construits sur des nuages de points ou des cartes éparses, que les auteurs jugent sous-exploitées sur le plan sémantique. Aucun calendrier de déploiement n'est annoncé. Les prochaines étapes probables sont la publication du code via la page projet, des comparaisons indépendantes et des tests sur des robots mobiles ou manipulateurs dans des environnements plus vastes et dynamiques.

RecherchePaper
1 source