RecherchearXiv cs.RO2j

Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieurs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.15753) une méthode pour construire des graphes de scènes 3D fonctionnels et hiérarchiques dans des espaces intérieurs, à vocabulaire ouvert. Ces graphes représentent l'environnement sous forme de noeuds objets, d'éléments interactifs et d'arêtes de relations fonctionnelles, permettant à un robot de comprendre non seulement ce qui est présent dans une pièce, mais comment les objets peuvent interagir entre eux. La contribution principale est l'extension des benchmarks existants en y intégrant des objets denses posés sur des surfaces planes (tabletop), ainsi que des relations fonctionnelles multi-niveaux explicites. Le pipeline proposé repose sur un ancrage visuel 2D (visual grounding) couplé à une optimisation de graphes 3D, combinant accumulation d'évidence, régularisation par entropie et lissage temporel pour résoudre l'association entre instances et déterminer les connexions fonctionnelles de chaque noeud. Une étape finale de structuration hiérarchique globale permet de récupérer la structure en niveaux du graphe complet.

L'intérêt de cette approche pour la manipulation robotique est concret. Les travaux antérieurs sur les graphes de scènes se concentraient sur les meubles de grande taille, laissant de côté la granularité fine nécessaire pour les tâches impliquant des objets de bureau ou de cuisine. Introduire des objets petits, denses et visuellement similaires (tasses, stylos, boîtes) crée trois défis techniques distincts: confusion entre instances lors de la fusion inter-images, incertitude d'attribution sous des points de vue dynamiques, et absence d'ancrage visuel dans le raisonnement relationnel. Le pipeline open-vocabulary présenté aborde ces trois points sans catégories prédéfinies, ce qui représente un avantage pratique pour des déploiements en environnements variés. Les expériences reportées montrent une inférence fiable sur des scènes réelles exigeantes, bien que le résumé soumis ne détaille pas de métriques quantitatives précises, ce qui rend difficile toute comparaison directe avec l'état de l'art.

Les graphes de scènes sémantiques pour la robotique sont étudiés depuis une dizaine d'années, mais leur adoption pratique a été freinée par des benchmarks limités aux grandes structures, peu représentatifs des scénarios de manipulation réelle. Ce travail s'inscrit dans une tendance plus large vers la perception embodied à vocabulaire ouvert, en concurrence directe avec les approches basées sur les champs de radiance neuronaux (NeRF, 3DGS) ou la segmentation 3D ouverte comme OpenMask3D et ConceptFusion. Ce type de représentation est fondamental pour les systèmes de planification de tâches et les robots de service opérant en environnement non structuré. Aucune timeline de déploiement industriel n'est mentionnée: il s'agit d'un preprint de recherche académique, pas d'un produit commercialisé ni d'un partenariat industriel annoncé.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

FUS3DMaps : cartographie sémantique à vocabulaire ouvert par fusion 3D de couches voxel et instance

Une équipe de recherche a publié le 6 mai 2026 sur arXiv (référence 2605.03669) FUS3DMaps, une méthode de cartographie sémantique 3D à vocabulaire ouvert conçue pour permettre à des robots de localiser spatialement des concepts arbitraires sans ensemble de classes prédéfini. Le système fonctionne en ligne et maintient simultanément deux couches sémantiques dans une même carte de voxels partagée : une couche dense, qui projette directement les embeddings de pixels sur la carte 3D, et une couche instance-level, qui segmente les vues, encode les régions correspondant à des objets distincts, puis les associe en 3D. Les expériences menées sur des benchmarks établis de segmentation sémantique 3D montrent que FUS3DMaps atteint une précision compétitive à l'échelle de bâtiments multi-étages, un niveau de scalabilité rarement démontré pour ce type d'approche sans entraînement supervisé. Le code et les données complémentaires sont annoncés en accès ouvert. Ce qui distingue FUS3DMaps des méthodes existantes est la fusion sémantique inter-couches (cross-layer fusion), qui combine les forces complémentaires des deux représentations : la couche dense couvre l'intégralité du champ visuel sans nécessiter de segmentation préalable, mais souffre d'un manque de précision à l'échelle ; la couche instance-level est précise sur les objets individuels mais dépend de l'association 2D-3D. En fusionnant les embeddings des deux couches au niveau voxel, la méthode améliore la qualité de chacune. Pour garantir la scalabilité, la fusion dense et inter-couches est restreinte à une fenêtre spatiale glissante, évitant l'explosion mémoire dans les grands environnements. Pour les intégrateurs de robotique mobile ou les développeurs de systèmes de navigation en environnement ouvert, c'est une piste concrète vers des robots capables de répondre à des requêtes en langage naturel sur des espaces non balisés. La cartographie sémantique à vocabulaire ouvert est un champ en plein essor depuis l'émergence des vision-language models (VLM) comme CLIP. Les approches actuelles se divisent en deux familles : les méthodes instance-level (LSeg, OpenScene, EmbodiedScan) et les méthodes dense (ConceptFusion, OpenFusion), chacune avec ses compromis entre précision et scalabilité. FUS3DMaps tente de réconcilier les deux dans un pipeline unifié, sans fine-tuning. À noter que l'article est une prépublication arXiv, sans validation par les pairs à ce stade, et que les démonstrations vidéo et le code sont encore annoncés comme "à venir". Aucune entreprise industrielle ou partenaire de déploiement n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

RechercheActu

1 source

2arXiv cs.RO

Génération de graphes de scène 3D actifs à partir de caméras RGB pour robots mobiles d'intérieur

Des chercheurs ont publié le 26 mai 2026 sur arXiv (ref. 2605.18197) un framework permettant de construire des graphes de scène 3D en temps réel à partir de caméras RGB standard uniquement, sans capteur de profondeur dédié (LiDAR ou caméra RGB-D). Le système fonctionne de manière active et incrémentale : le robot sélectionne ses prochains points de vue en fonction de l'état courant du graphe partiellement construit, plutôt que de parcourir une trajectoire prédéfinie. Les expériences menées sur le dataset Replica montrent que le pipeline RGB-only atteint une parité de F1-score avec les baselines utilisant une profondeur ground-truth. Sur ReplicaCAD, l'exploration sémantique active détecte plus du double d'objets qu'une baseline frontier-based géométrique classique, à budget d'exploration identique. Le framework intègre également des caméras fixes externes, permettant d'amorcer le graphe de scène sans coût d'exploration supplémentaire pour le robot. Ce résultat est techniquement significatif parce qu'il décorrèle la construction de représentations métriques 3D riches de la nécessité d'un hardware spécialisé. Jusqu'ici, les scène graphs 3D étaient réservés aux plateformes équipées de capteurs profondeur (Boston Dynamics Spot avec lidar, plateformes AMR comme celles de Locus ou 6 River Systems). Ouvrir ces représentations à des caméras RGB banales abaisse le coût d'entrée et permet d'exploiter des flux vidéo d'infrastructure fixe (CCTV, caméras d'entrepôt) comme source de données complémentaires. La sélection active de viewpoints basée sur la sémantique du graphe, et non sur la géométrie seule, suggère que les VLA (Vision-Language-Action models) embarqués pourraient bénéficier directement de représentations environnementales plus denses et mieux informées. La génération de scene graphs 3D pour la robotique mobile s'appuie sur des travaux antérieurs comme 3D-SGG (CVPR 2020) et les pipelines SLAM-sémantique (SemanticFusion, Hydra de MIT SPARK Lab). La contrainte RGB-only rapproche ce travail des approches monoculaires comme MonoDepth ou DPT, désormais suffisamment robustes pour estimer la géométrie à l'échelle métrique. Les concurrents directs incluent les pipelines basés Open3D-SLAMgraph et les frameworks de mapping neuronaux (NeRF-based mapping). Ce papier est pour l'instant un preprint non peer-reviewed ; aucun déploiement industriel ni partenariat n'est annoncé, et les benchmarks restent sur des environnements simulés, ce qui laisse ouverte la question du sim-to-real gap sur des scènes encombrées réelles.

RecherchePaper

1 source

3arXiv cs.RO

Mono-Hydra++ : construction en temps réel de graphes de scènes monoculaires par apprentissage multi-tâches pour la cartographie 3D intérieure

Des chercheurs ont publié en mai 2026 (arXiv:2605.17661) Mono-Hydra++, un pipeline temps réel capable de construire des graphes de scène 3D hiérarchiques d'intérieurs en n'utilisant qu'une caméra RGB monoculaire et une IMU, sans capteur de profondeur actif. Le coeur du système repose sur M2H-MX, un modèle multi-tâches fondé sur DINOv3 qui estime simultanément la profondeur et la sémantique des images. Ces estimations alimentent un front-end d'odométrie visuelle-inertielle (VIO) enrichi de contraintes de profondeur prédites creuses, d'un masquage sémantique des zones dynamiques et d'un alignement temporel tenant compte de la pose, avant fusion volumétrique dans le backend Mono-Hydra. Sur le sous-ensemble d'évaluation Go-SLAM/ScanNet, le système affiche 1,6 % d'erreur de trajectoire en moins que le meilleur baseline RGB-D testé ; sur le benchmark calibré 7-Scenes, il réduit l'ATE moyen de 29,8 % par rapport au meilleur concurrent calibré. Le modèle de perception M2H-MX-L, exporté en ONNX/TensorRT FP16, tourne à 25,53 FPS sur un Jetson Orin NX 16 Go, et le pipeline a été validé dans un déploiement réel dans un bâtiment ITC avec une caméra RealSense RGB + IMU. L'impact industriel est direct pour les plateformes à contraintes sévères : drones d'inspection, robots humanoïdes légers et AMR embarquant peu de puissance. Jusqu'ici, la construction de graphes de scène 3D, qui organisent l'espace en objets, pièces et relations spatiales, nécessitait des capteurs actifs (RGB-D ou LiDAR) impraticables dès que le payload ou la consommation électrique sont limités. Mono-Hydra++ démontre qu'il est possible d'atteindre, voire de dépasser, la précision de ces baselines lourds avec une seule caméra et une IMU bas coût. Pour un intégrateur ou un COO industriel, cela signifie une réduction substantielle du coût matériel embarqué et l'ouverture de cas d'usage où le RGB-D n'est pas envisageable. Il convient toutefois de noter que les résultats sont issus de benchmarks académiques standardisés : la robustesse sur des scènes industrielles non contrôlées, avec éclairages difficiles ou textures répétitives, reste à confirmer dans des conditions opérationnelles réelles. Mono-Hydra++ s'inscrit dans la lignée du système Hydra du MIT, qui a posé les bases de la représentation hiérarchique en graphe de scène pour la robotique. L'utilisation de DINOv3 comme backbone de vision fondationnelle est cohérente avec la tendance forte à extraire simultanément géométrie et sémantique depuis des modèles pré-entraînés à grande échelle. Sur ce terrain, les concurrents directs incluent les systèmes basés sur RGB-D comme Go-SLAM, iMAP ou NICE-SLAM, ainsi que des approches VIO-sémantiques récentes, mais peu proposent la combinaison complète cartographie métrique, sémantique et graphe de scène en temps réel sur matériel embarqué contraint. En tant que preprint arXiv non encore évalué par les pairs, les prochaines étapes attendues sont la publication en conférence (IROS, ICRA), des tests sur plateformes aériennes effectives et une éventuelle intégration dans des stacks robotiques open-source comme ROS 2.

UELes constructeurs européens d'AMR légers et de drones d'inspection pourraient à terme réduire leurs coûts matériels embarqués en remplaçant les capteurs RGB-D par une caméra monoculaire, sous réserve de validation dans des conditions industrielles non contrôlées.

RecherchePaper

1 source

4arXiv cs.RO

Graphes de scènes spatio-temporels prédictifs pour scènes semi-statiques

Une équipe de chercheurs publie dans un preprint arXiv (réf. 2605.00121, mai 2025) une méthode de représentation spatio-temporelle-sémantique permettant à un robot de prédire l'état futur d'un environnement qui change de manière structurée entre les observations. La méthode repose sur deux composants : un filtre bayésien nommé Perpetua\, chargé d'inférer les états successifs de l'environnement, et une structure de graphe de scène 3D baptisée PredictiveGraphs, dans laquelle les nœuds représentent des objets et les arêtes encodent des relations spatio-sémantiques via des instances de Perpetua\. L'exemple illustratif donné est celui d'une tasse se déplaçant cycliquement entre placard, plan de travail et évier selon une routine quotidienne. La validation expérimentale couvre simulations et tests en environnement réel, où un espace domestique a subi des changements semi-statiques à raison d'une perturbation toutes les deux heures sur une période de trois semaines. L'enjeu opérationnel est significatif pour les robots déployés dans des environnements non contrôlés comme les entrepôts, les hôpitaux ou les domiciles. La grande majorité des représentations spatiales actuelles, des NeRF sémantiques aux graphes de scène 3D comme Hydra ou SceneGraphFusion, sont statiques ou réactives : elles gèrent les changements détectés en direct mais ne prévoient pas les états futurs. PredictiveGraphs s'attaque au "semi-static gap" : l'objet n'est pas présent au moment de l'observation, mais le robot doit pouvoir le localiser pour une tâche ultérieure. Dans les conditions de test, la méthode surpasse les approches de référence y compris face à des shifts de distribution, autrement dit lorsque les habitudes d'utilisation des objets dévient du schéma appris. Cette robustesse est une propriété critique pour des déploiements industriels où les routines humaines évoluent dans le temps. Les graphes de scène 3D pour la robotique ont connu un essor marqué depuis les travaux fondateurs de Rosinol et al. au MIT SPARK Lab en 2020 et le système open-source Hydra. Le raisonnement temporel sur ces structures reste néanmoins peu exploré : quelques travaux récents ont esquissé la piste via du SLAM probabiliste ou des représentations dynamiques partielles, sans modélisation explicite des cycles comportementaux récurrents. PredictiveGraphs occupe ce créneau. Ce preprint ne mentionne ni partenariat industriel ni calendrier de déploiement, et les expériences restent à l'échelle d'un appartement. La suite logique impliquerait une validation en environnement plus large, entrepôt ou établissement de soin, territoire où des acteurs européens comme Enchanted Tools avec son robot Mirokaï, ou des intégrateurs AMR opérant en espace contraint, commencent à chercher exactement ce type de raisonnement prédictif sur la disposition des objets.

UEImpact indirect : des robots opérant en espaces semi-contrôlés, comme le Mirokaï d'Enchanted Tools (France) ou les AMR européens en entrepôt, sont précisément les cibles applicatives identifiées, mais aucun partenariat ni transfert technologique n'est engagé à ce stade.

RecherchePaper

1 source