RecherchearXiv cs.RO 30 juillet 2026

SG-CoT : un cadre de planification robotique conscient de l'ambiguïté via des graphes de scène

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié la troisième version d'un article arXiv (2603.18271v3) décrivant SG-CoT, pour Scene Graph-Chain-of-Thought, un framework en deux étapes destiné à réduire les erreurs de planification robotique causées par l'ambiguïté des instructions. Le système construit d'abord une représentation en graphe de scène de l'environnement à partir des observations du robot, capturant les objets présents, leurs attributs et leurs relations entre eux. Dans un second temps, le modèle de langage utilisé comme planificateur interroge ce graphe via des fonctions de récupération pour ne mobiliser que les portions pertinentes par rapport à l'instruction reçue. Lorsqu'une ambiguïté persiste, SG-CoT permet au LLM d'en identifier la source précise et de formuler une question de clarification, adressée à l'utilisateur ou à un autre robot. Les auteurs rapportent des gains d'au moins 10 % en précision des questions posées, et des hausses de taux de réussite de 4 % en environnement mono-agent et 15 % en environnement multi-agent, par rapport aux méthodes antérieures testées.

L'enjeu dépasse le seul exercice académique. L'utilisation de LLM comme planificateurs pour robots physiques bute régulièrement sur un problème simple mais critique en usage réel : les instructions humaines sont souvent sous-spécifiées ("prends la tasse" quand plusieurs tasses sont visibles), et un modèle qui devine plutôt que de demander précision multiplie les erreurs d'exécution coûteuses en environnement industriel ou domestique. En ancrant le raisonnement du LLM dans une représentation structurée et interrogeable de la scène plutôt que dans une simple description textuelle ou une image brute, SG-CoT s'attaque directement à l'écart entre démonstrations en laboratoire et fiabilité déployable, un point sensible pour tout intégrateur évaluant des architectures VLA ou LLM-planner pour l'AMR ou la manipulation.

Ce travail s'inscrit dans une littérature de recherche déjà dense sur le couplage entre graphes de scène et modèles de langage pour la planification robotique, où plusieurs équipes académiques explorent des approches de grounding similaires pour limiter les hallucinations de plans d'action. Le fait qu'il s'agisse d'une version "replace" (v3) suggère des révisions après retours de relecture. Aucun déploiement industriel ni partenariat commercial n'est mentionné : les résultats reposent sur des expérimentations contrôlées en simulation ou banc de test, une nuance à garder en tête avant toute extrapolation vers une adoption en production.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

VeriGraph : graphes de scène pour la vérification de plans de robots

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées. Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements. VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

RechercheOpinion

1 source

2arXiv cs.RO

GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues

Des chercheurs présentent GraphThink, un nouveau framework de planification pour agents robotiques pilotés par des grands modèles de langage (LLM), détaillé dans un article publié le 7 août 2026 sur arXiv (2608.07905v1). Le système combine deux structures de données : un graphe de tâches (task graph), qui guide le raisonnement du LLM via un prompting contextuel et un raffinement itératif pour limiter les hallucinations de planification, et un graphe de scène (scene graph), qui sert de mémoire environnementale pour déclencher une replanification en boucle fermée dès qu'un événement imprévu survient. L'entraînement du planificateur s'appuie sur GRPO (Group Relative Policy Optimization), avec une conception de récompense calquée sur le graphe de tâches. Sur le benchmark ALFRED, référence standard pour l'exécution de tâches ménagères instruites en langage naturel par un agent virtuel, GraphThink atteint l'état de l'art : son module de haut niveau dépasse les LLM propriétaires accessibles par API, aussi bien sur l'ensemble de validation que sur des tâches longues inédites (held-out long-horizon tasks), avec une bonne généralisation zero-shot et few-shot à des environnements et tâches jamais vus. Ce résultat cible un problème central pour l'industrie de la robotique humanoïde et des agents incarnés : les planificateurs fondés sur des LLM génériques hallucinent souvent des actions physiquement impossibles et perdent en cohérence sur des séquences de tâches longues, un écart classique entre démonstration et usage réel. En ancrant le raisonnement dans une représentation structurée de l'environnement plutôt que dans le seul texte, GraphThink illustre une piste concrète pour fiabiliser les architectures de type VLA (vision-language-action) utilisées par des systèmes comme GR00T N2 ou Helix, sans dépendre uniquement de modèles propriétaires massifs. Il s'agit toutefois d'un résultat de recherche évalué en simulation sur ALFRED, non d'un déploiement sur robot physique. Le champ des planificateurs LLM pour la robotique s'est développé depuis des approches comme SayCan ou Code as Policies, et la comparaison de GraphThink aux LLM API démontre surtout un gain méthodologique en environnement contrôlé ; sa validation sur du matériel réel reste l'étape suivante attendue.

RecherchePaper

1 source

3arXiv cs.RO

Robotique physique et navigation sémantique par graphe de scène 3D hiérarchique et planification bayésienne

Une équipe de recherche propose un nouveau système de navigation sémantique en zero-shot pour agents robotiques évoluant dans des environnements inconnus, capable de combiner compréhension du langage naturel et planification à long terme. Le cœur de la méthode est un graphe de scène 3D hiérarchique (Hierarchical 3D Scene Graph, HSG), construit et mis à jour en continu pendant l'exploration, qui organise l'environnement en plusieurs niveaux de granularité : objets, zones et régions. Ce graphe sert de représentation compacte de l'état global, sur laquelle s'appuie un module de planification fondé sur des croyances (belief-based planning) qui combine les a priori sémantiques issus de modèles de fondation avec les preuves accumulées lors de l'exploration. Le système effectue des simulations à horizon fini directement sur le HSG pour estimer le gain attendu de chaque macro-action candidate avant de décider où aller. Testée sur plusieurs tâches et jeux de données en simulation haute fidélité, l'approche améliore en moyenne le taux de réussite (SR) de 9,4% et le score SPL (réussite pondérée par la longueur du chemin) de 5,0% par rapport aux meilleures méthodes existantes, avec des gains plus marqués sur les trajectoires longue distance. L'intérêt de ce travail est de s'attaquer à un défaut connu des agents de navigation actuels : lorsqu'ils reposent uniquement sur des modèles de fondation sans mémoire structurée du monde, ils ont tendance à adopter des stratégies gloutonnes fondées sur l'observation locale, ce qui produit une exploration inefficace et des comportements myopes, en particulier sur de longues distances. En donnant à l'agent une carte sémantique persistante et hiérarchisée plutôt qu'un simple flux d'observations, la méthode réduit les retours en arrière redondants et permet des décisions cohérentes à l'échelle globale. C'est un signal utile pour la robotique mobile autonome (entrepôts, robots de service) où la navigation longue portée dans des lieux jamais vus reste un point faible des architectures purement réactives. Ce travail s'inscrit dans la lignée des recherches récentes qui exploitent les modèles de fondation pour doter les robots de connaissances sémantiques riches, mais cherche à corriger leur principale limite, l'absence de représentation globale structurée. Contrairement aux approches concurrentes qui traitent la scène comme une simple carte topologique plate, le HSG introduite ici multiplie les niveaux d'abstraction. Les résultats, uniquement obtenus en simulation, ouvrent la voie à des tests en conditions réelles, où le passage du simulateur au monde physique reste l'obstacle habituel de ce type de recherche.

RecherchePaper

1 source

4arXiv cs.RO

FLARE : un cadre conscient des échecs pour la correction et la récupération autonomes en manipulation robotique vision-langage

Des chercheurs proposent FLARE (Failure-Aware framework for Autonomous Correction and Recovery), publié sur arXiv sous la référence 2608.26645v1, une méthode destinée aux modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le système repose sur deux mécanismes complémentaires baptisés « Retry » et « Reset ». Le mécanisme Retry injecte des perturbations et des segments de transition dans les démonstrations d'entraînement, en dissociant la pose du robot de l'état de l'environnement, afin que la politique apprenne à gérer seule les écarts d'exécution mineurs comme une prise ratée ou un objet qui glisse. Le pipeline Reset s'attaque aux échecs plus graves, dits hors distribution (OOD), qui rompent l'état de la tâche : un grand modèle multimodal (MLLM) analyse hors ligne des vidéos d'exécution pour repérer automatiquement ces états OOD, ce qui permet de constituer une petite bibliothèque ciblée de compétences de récupération centrées sur les objets. En inférence, un moniteur MLLM en ligne arbitre en temps réel entre poursuite de la tâche et déclenchement d'une compétence Reset. Les auteurs annoncent des gains de taux de réussite et de robustesse sur des tâches de manipulation complexes et riches en contacts, sans toutefois détailler dans le résumé les chiffres précis ni la plateforme robotique testée. L'enjeu touche un point faible connu des VLA : entraînés sur des démonstrations « parfaites », sans échec, ils peinent souvent à se rattraper en conditions réelles, un écart classique entre démonstration et déploiement. Pour les intégrateurs et les équipes robotique industrielles, la capacité à détecter et corriger automatiquement une erreur d'exécution, sans intervention humaine ni réinitialisation manuelle du poste de travail, conditionne directement la viabilité de cellules de manipulation autonomes en production. FLARE s'inscrit dans une tendance de recherche qui cherche à combler l'écart entre les démonstrations vidéo souvent présentées par les laboratoires et la réalité d'une ligne de production où objets glissent, collisions surviennent et préhenseurs ratent leur prise. Le travail s'inscrit dans la lignée des modèles VLA génériques récemment mis en avant dans le secteur, comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser la manipulation à partir d'un apprentissage à grande échelle mais partagent la même limite de données d'entraînement sans échec. FLARE reste à ce stade une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel ni de partenariat commercial associé ; sa validation repose sur des expériences en laboratoire, et son adoption dépendra de tests indépendants et d'une éventuelle intégration dans des piles logicielles de manipulation existantes.

RechercheActu

1 source