Segmentation de pièces fondée sur l'occupation…

1arXiv cs.RO

PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

PanoGraphGS est un cadre de travail de recherche, publié sur arXiv, qui fusionne la segmentation panoptique 3D et la construction de graphes de scène 3D hiérarchiques à partir d'une représentation en Gaussian Splatting (3DGS). Le système apprend des caractéristiques sémantiques et d'instances sur une géométrie gaussienne partagée. L'apprentissage sémantique repose sur des prototypes, l'apprentissage d'instances sur de l'association, ce qui donne des prédictions panoptiques cohérentes d'un point de vue à l'autre. Un module de graphe de scène sensible à la sémantique reconstruit ensuite une hiérarchie étage, pièce, éléments de structure (« stuff »), objet, avec relations de contenance et relations spatiales. Les auteurs publient aussi NaviGS, un jeu de données réel de compréhension de scènes panoramiques fournissant 3DGS, maillages, RGB, sémantique et profondeur. Sur l'identification de graphes de scène 3D, la méthode dépasse en moyenne de plus de 50 points de pourcentage la meilleure base de comparaison évaluée, en précision des nœuds d'objets, sur Replica et NaviGS. Elle affiche aussi les meilleurs résultats parmi les méthodes testées en segmentation panoptique 2D. Le code est disponible sur GitHub. L'intérêt pour la robotique tient à la navigation guidée par le langage, qui suppose une carte structurée où « la tasse sur la table de la cuisine du premier étage » désigne une entité unique et retrouvable. Jusqu'ici, les pipelines enchaînent souvent un module de segmentation, une reconstruction 3D, puis une construction de graphe, et les incohérences entre vues se propagent d'une étape à l'autre. Unifier ces étapes sur une même géométrie gaussienne vise à réduire ces erreurs, ce qui compte pour les robots mobiles, humanoïdes ou AMR censés exécuter des instructions en langage naturel. Prudence toutefois : il s'agit d'un résultat académique, sans déploiement sur robot ni mesure de temps de calcul ou de latence rapportée dans le résumé. Le gain de plus de 50 points dépend du choix des références, qui ne sont pas détaillées, et de deux jeux de données seulement, dont l'un est introduit par les auteurs eux-mêmes. La robustesse hors de ces scènes reste à démontrer. Ce travail s'inscrit dans la convergence entre représentations neuronales de scènes (NeRF puis 3DGS) et graphes de scène 3D, popularisés par des approches comme 3D Scene Graph ou Hydra pour la navigation et la planification de tâches. Les modèles vision-langage-action (VLA) qui équipent aujourd'hui les humanoïdes se passent souvent de carte explicite, tandis que les graphes de scène offrent une mémoire spatiale interprétable, utile pour des tâches longues en environnement intérieur. La diffusion de NaviGS pourrait faciliter la comparaison avec d'autres méthodes. Les prochaines étapes à surveiller sont une évaluation en temps réel sur plateforme mobile, la mise à jour incrémentale des cartes en environnement dynamique, et l'intégration à des planificateurs pilotés par des modèles de langage. Aucun calendrier de déploiement industriel n'est annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieurs

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.15753) une méthode pour construire des graphes de scènes 3D fonctionnels et hiérarchiques dans des espaces intérieurs, à vocabulaire ouvert. Ces graphes représentent l'environnement sous forme de noeuds objets, d'éléments interactifs et d'arêtes de relations fonctionnelles, permettant à un robot de comprendre non seulement ce qui est présent dans une pièce, mais comment les objets peuvent interagir entre eux. La contribution principale est l'extension des benchmarks existants en y intégrant des objets denses posés sur des surfaces planes (tabletop), ainsi que des relations fonctionnelles multi-niveaux explicites. Le pipeline proposé repose sur un ancrage visuel 2D (visual grounding) couplé à une optimisation de graphes 3D, combinant accumulation d'évidence, régularisation par entropie et lissage temporel pour résoudre l'association entre instances et déterminer les connexions fonctionnelles de chaque noeud. Une étape finale de structuration hiérarchique globale permet de récupérer la structure en niveaux du graphe complet. L'intérêt de cette approche pour la manipulation robotique est concret. Les travaux antérieurs sur les graphes de scènes se concentraient sur les meubles de grande taille, laissant de côté la granularité fine nécessaire pour les tâches impliquant des objets de bureau ou de cuisine. Introduire des objets petits, denses et visuellement similaires (tasses, stylos, boîtes) crée trois défis techniques distincts: confusion entre instances lors de la fusion inter-images, incertitude d'attribution sous des points de vue dynamiques, et absence d'ancrage visuel dans le raisonnement relationnel. Le pipeline open-vocabulary présenté aborde ces trois points sans catégories prédéfinies, ce qui représente un avantage pratique pour des déploiements en environnements variés. Les expériences reportées montrent une inférence fiable sur des scènes réelles exigeantes, bien que le résumé soumis ne détaille pas de métriques quantitatives précises, ce qui rend difficile toute comparaison directe avec l'état de l'art. Les graphes de scènes sémantiques pour la robotique sont étudiés depuis une dizaine d'années, mais leur adoption pratique a été freinée par des benchmarks limités aux grandes structures, peu représentatifs des scénarios de manipulation réelle. Ce travail s'inscrit dans une tendance plus large vers la perception embodied à vocabulaire ouvert, en concurrence directe avec les approches basées sur les champs de radiance neuronaux (NeRF, 3DGS) ou la segmentation 3D ouverte comme OpenMask3D et ConceptFusion. Ce type de représentation est fondamental pour les systèmes de planification de tâches et les robots de service opérant en environnement non structuré. Aucune timeline de déploiement industriel n'est mentionnée: il s'agit d'un preprint de recherche académique, pas d'un produit commercialisé ni d'un partenariat industriel annoncé.

RecherchePaper

1 source

3arXiv cs.RO

T-FunS3D : segmentation fonctionnelle 3D hiérarchique à vocabulaire ouvert guidée par les tâches

Une équipe de recherche présente sur arXiv (identifiant 2606.05975, juin 2026) T-FunS3D, une méthode de segmentation 3D fonctionnelle à vocabulaire ouvert, pilotée par la tâche. Le système prend en entrée un nuage de points 3D et des images RGB-D posées d'une scène intérieure, à partir desquels il construit un graphe de scène à vocabulaire ouvert en extrayant les instances visuelles et leurs embeddings. Lorsqu'une description de tâche en langage naturel est fournie (par exemple "ouvrir le tiroir"), T-FunS3D interroge ce graphe pour identifier les instances pertinentes, puis localise leurs composants fonctionnels précis (poignée, loquet, bouton) via un modèle vision-langage (VLM). Évalué sur le jeu de données de référence SceneFun3D, le système affiche des performances comparables à l'état de l'art en segmentation fonctionnelle 3D, tout en réduisant le temps d'exécution et la consommation mémoire par rapport aux approches exhaustives. L'enjeu est structurant pour la perception robotique en manipulation. Les méthodes existantes de segmentation 3D à vocabulaire ouvert s'arrêtent généralement au niveau objet : elles savent qu'une tasse est présente, pas où se trouve l'anse. Les approches de segmentation scénique exhaustive, elles, traitent l'intégralité de la scène indépendamment de la tâche, ce qui les rend prohibitives en temps de calcul et en mémoire pour un déploiement embarqué. T-FunS3D adopte une logique hiérarchique et sélective, seuls les objets pertinents pour la tâche courante étant analysés au niveau partie, un compromis plus réaliste pour une exécution temps réel sur un robot physique. Ce type de perception "actionnnable" est un prérequis non résolu à l'échelle pour les architectures vision-langage-action (VLA) aujourd'hui au coeur de la robotique de manipulation. La méthode s'inscrit dans un effort plus large autour de la représentation sémantique des scènes pour la robotique, dont SceneFun3D constitue le banc d'essai de référence. La tendance à intégrer des VLMs comme raisonneurs sémantiques dans la boucle de perception, plutôt que comme générateurs d'actions directs, gagne du terrain dans des travaux concurrents tels que RoboPoint ou les approches fondées sur ConceptGraphs. T-FunS3D se différencie par son architecture en graphe de scène et sa focalisation explicite sur les composants fonctionnels plutôt que sur les objets entiers. Il s'agit d'une contribution académique sans annonce de déploiement industriel. Les suites naturelles incluent l'extension à des scènes dynamiques, des objets articulés complexes et l'intégration directe dans des pipelines VLA de bout en bout.

RecherchePaper

1 source

4arXiv cs.RO

Graphes de scène 3D pilotés par des modèles fondation pour la manipulation mobile

Des chercheurs du laboratoire SPARK du MIT publient sur arXiv (2610.23622) une intégration complète de FOUND-IT, un système de cartographie qui construit en temps réel des graphes de scène 3D à partir d'une seule caméra monoculaire non calibrée. Le graphe est « task-driven » (guidé par la tâche) et en vocabulaire ouvert : les objets ne sont pas limités à une liste de classes prédéfinie. L'équipe a embarqué ce système sur un manipulateur mobile, puis l'a testé en conditions réelles. Il remplit quatre fonctions : détection de changements d'objets, fusion de plusieurs sessions de cartographie, calcul de chemins navigables et guidage de la saisie pour une tâche de réarrangement de scène. Le code est publié en open source sur GitHub. Le résumé ne donne aucun chiffre de performance (taux de réussite, précision de localisation, temps de cycle) ni de description de la plateforme matérielle. L'intérêt tient au passage de la démonstration de composant à la chaîne d'autonomie complète. Les modèles de fondation géométriques et sémantiques servent de plus en plus à produire des cartes spatiales, mais peu de travaux les ont intégrés dans un pipeline utilisable de bout en bout, à la différence des méthodes classiques de cartographie, éprouvées par de nombreuses démonstrations système. Pour un intégrateur, une seule caméra RGB sans calibrage fine abaisse le coût et la complexité du capteur, en échange d'une géométrie moins fiable qu'avec un lidar ou une caméra de profondeur calibrée. Les auteurs annoncent aussi une évaluation des limites de cette mémoire spatiale, ce qui est plus utile qu'une vidéo de démonstration. Ces limites ne sont toutefois pas détaillées dans le résumé : il faudra lire l'article complet pour savoir si la saisie et la navigation tiennent hors du laboratoire. Ce travail prolonge la lignée des graphes de scène 3D du MIT SPARK, laboratoire connu pour Hydra et Kimera, qui bâtissaient ces représentations avec des capteurs plus classiques. Il s'inscrit dans une course plus large à la « mémoire spatiale » des robots, où les modèles de fondation géométriques remplacent peu à peu les chaînes de SLAM traditionnelles, et alimente aussi les politiques VLA (vision-langage-action) qui manquent encore de mémoire persistante. Le caractère académique, sans annonce de pilote industriel ni de calendrier, place cette publication au stade de la preuve de concept. Les suites probables sont des tests sur des scènes plus grandes et plus dynamiques, et une intégration avec des politiques de manipulation apprises.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Segmentation de pièces fondée sur l'occupation pour les graphes de scène 3D hiérarchiques

À lire aussi

PanoGraphGS : unifier la segmentation panoptique et les graphes de scène 3D hiérarchiques avec le Gaussian Splatting

Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieurs

T-FunS3D : segmentation fonctionnelle 3D hiérarchique à vocabulaire ouvert guidée par les tâches

Graphes de scène 3D pilotés par des modèles fondation pour la manipulation mobile