Prior-SG : segmentation de régions par tâche et a priori pour graphes de scène dans des environnements arbitraires

Une équipe de recherche présente Prior-SG, un nouveau framework pour construire des graphes de scène 3D hiérarchiques destinés au raisonnement spatial des robots mobiles autonomes. Publié sur arXiv cette semaine (2608.06170), le système traite la génération du graphe comme un problème d'alignement probabiliste. Pendant qu'il explore, le robot agrège en continu son flux RGB-D dans un Instance Graph ancré physiquement, via une fusion de features multi-échelle à vocabulaire ouvert. Il infère ensuite la sémantique fonctionnelle des lieux par une estimation Maximum A Posteriori, guidée par un Prior Graph généré dynamiquement par un grand modèle de langage. Un champ aléatoire de Markov fusionne experts visuels, géométriques et objets discrets avec ces priors pour lever les ambiguïtés locales. Testé sur des environnements simulés et réels à plan ouvert, Prior-SG dépasse les références récentes en précision de segmentation sémantique.

L'enjeu dépasse la performance brute. Les méthodes existantes de graphes de scène reposent sur du clustering visuel local ou sur des heuristiques géométriques strictes, comme la séparation des pièces par des murs, qui échouent dès que l'environnement sort du schéma classique : entrepôt logistique, loft, plateau de bureaux en open space. Pour les intégrateurs de robotique de service, ce verrou limitait le déploiement hors des démonstrations en appartements standards. Prior-SG montre qu'un robot peut délimiter des frontières fonctionnelles distantes sans murs physiques, un pas concret contre l'écart classique entre démo et déploiement réel. Plus notable, le système offre une flexibilité ontologique en zero-shot : le robot restructure entièrement son découpage spatial selon la tâche demandée, sans réentraînement, une capacité clé pour la planification de tâches en environnements non structurés.

Ce travail s'inscrit dans la lignée des recherches sur les graphes de scène 3D hiérarchiques, un axe porté par la généralisation des capteurs RGB-D et des modèles de vision à vocabulaire ouvert. Les approches précédentes restaient dépendantes de règles géométriques figées, adaptées aux logements standards mais peu robustes face aux environnements réels hétérogènes. L'apport principal de Prior-SG est de déléguer à un LLM la génération dynamique des priors structurels, plutôt que de les coder à la main, une tendance de fond en robotique qui place les grands modèles de langage en couche de raisonnement au-dessus de la perception brute. Les auteurs ne mentionnent ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution académique, dont l'adoption dépendra de son intégration dans des frameworks de navigation plus larges.