Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robots relationnels : des graphes de scène pour comprendre les commandes en langage naturel
RecherchearXiv cs.RO 

Robots relationnels : des graphes de scène pour comprendre les commandes en langage naturel

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode pour améliorer la capacité des robots à comprendre des commandes en langage naturel en enrichissant les graphes de scène 3D (3D scene graphs, 3DSG) de relations spatiales explicites entre objets. L'étude, publiée sur arXiv (2602.04635v2), combine deux pipelines construits à partir de modèles existants : un pipeline basé sur un grand modèle de langage (LLM) pour identifier l'objet cible à partir d'une commande en vocabulaire ouvert, et un pipeline basé sur un modèle vision-langage (VLM) qui ajoute des relations spatiales en vocabulaire ouvert au graphe de scène à partir d'images capturées pendant la cartographie du lieu. Les auteurs ont testé deux LLM sur 14 scènes différentes, avec 905 énoncés en langage naturel (786 générés de façon procédurale, 119 rédigés par des humains), pour évaluer la tâche d'ancrage de l'objet cible (target object grounding).

Le résultat principal est que l'ajout de relations spatiales explicites améliore mesurablement la capacité des LLM à identifier le bon objet dans l'environnement, comblant un manque fréquent des 3DSG existants qui omettent ces relations alors que les humains s'appuient dessus pour décrire leur environnement. Pour les concepteurs de robots domestiques, d'entrepôt ou d'assistance, cela touche directement au goulot d'étranglement entre compréhension du langage et action physique concrète, un enjeu central pour les modèles vision-langage-action (VLA) et l'interaction homme-robot en conditions réelles plutôt qu'en démonstration contrôlée. L'étude montre aussi que générer ces relations spatiales en vocabulaire ouvert via un VLM est faisable directement depuis les images capturées par le robot, sans supervision manuelle.

Ce travail s'inscrit dans la lignée des recherches sur les graphes de scène sémantiques pour la robotique cognitive, où la représentation de l'environnement sert de pont entre perception et planification d'actions. Les auteurs notent toutefois que leur analyse ne permet pas de trancher entre relations en vocabulaire ouvert ou fermé, une question qui reste ouverte pour les travaux futurs. Il s'agit d'une contribution académique à un stade de recherche, sans déploiement produit ni partenaire industriel annoncé.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

VeriGraph : graphes de scène pour la vérification de plans de robots
1arXiv cs.RO 

VeriGraph : graphes de scène pour la vérification de plans de robots

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées. Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements. VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

RechercheOpinion
1 source
Prompting d'équipes de robots en langage naturel
2arXiv cs.RO 

Prompting d'équipes de robots en langage naturel

Des chercheurs présentent un framework permettant de piloter des équipes de robots multiples via des instructions en langage naturel de haut niveau, sans avoir besoin d'appeler un grand modèle de langage au moment du déploiement. La méthode exploite les capacités de raisonnement d'un LLM pour décomposer une tâche collective en sous-tâches, mais uniquement en amont : cette logique est ensuite distillée dans un réseau de neurones récurrent (RNN) minuscule, capable d'encoder un automate fini déterministe (DFA) représentant la séquence et les conditions de la tâche. Pour l'exécution décentralisée, chaque robot s'appuie sur un réseau de neurones sur graphe (GNN) conditionné par les états cachés du RNN et par les embeddings du langage, ce qui permet une prise de décision locale en temps réel sans communication centralisée. Le travail, publié sur arXiv (2509.24575v2, version révisée), a été évalué en simulation et sur des tâches multi-robots réelles nécessitant un comportement séquentiel et collaboratif, avec une démonstration disponible sur le site du projet (sites.google.com/view/prompting-teams). L'intérêt principal est de contourner un problème concret pour l'industrie robotique : les grands modèles de langage interprètent bien des consignes ambiguës, mais leur latence, leur coût de calcul et leur dépendance réseau les rendent inadaptés à l'embarqué temps réel sur des flottes de robots opérant en entrepôt, sur chantier ou en zone sans connectivité fiable. En distillant le raisonnement du LLM dans un modèle RNN léger exécutable à bord, les auteurs proposent de combiner compréhension du langage naturel et contrôle décentralisé robuste, sans le point de défaillance unique d'une architecture centralisée ni la fragilité d'un pipeline interrogeant un LLM à chaque étape. Pour les intégrateurs de flottes multi-robots, cela teste une hypothèse encore peu validée dans le secteur : transférer la sémantique d'un LLM vers un contrôle embarqué temps réel sans perte de robustesse, moyennant un travail d'ingénierie de distillation propre à chaque tâche. Ce travail s'inscrit dans une recherche en robotique multi-agents visant à exploiter les LLM pour la planification de haut niveau tout en conservant un contrôle bas niveau classique et vérifiable, une tension déjà abordée par des approches combinant LLM et machines à états ou logique temporelle. Contrairement aux architectures interrogeant un modèle de fondation à chaque décision, cette proposition mise sur une distillation en amont, proche des méthodes de compression de politiques utilisées pour déployer des agents de renforcement complexes sur du matériel contraint. Publié en tant que "replace" sur arXiv, l'article laisse ouvertes les questions de généralisation à des vocabulaires de tâches plus larges et de passage à l'échelle au-delà des équipes testées en laboratoire, étapes nécessaires avant toute adoption industrielle.

RecherchePaper
1 source
Raisonnement sémantique relationnel sur des graphes de scènes 3D pour la recherche interactive d'objets en monde ouvert
3arXiv cs.RO 

Raisonnement sémantique relationnel sur des graphes de scènes 3D pour la recherche interactive d'objets en monde ouvert

Des chercheurs présentent SCOUT (Scene Graph-Based Exploration with Learned Utility), un système permettant à un robot domestique de retrouver un objet inconnu dans un environnement ouvert, sans carte préalable ni liste d'objets fixe. Publié sur arXiv (2603.05642v2), le travail propose de représenter l'environnement sous forme de graphes de scène 3D, où chaque pièce, chaque frontière inexplor ée et chaque objet reçoit un score d'utilité calculé à partir d'heuristiques relationnelles : la probabilité qu'un objet cible se trouve dans telle pièce (containment), ou qu'il soit co-localisé avec d'autres objets connus (co-occurrence). Le robot explore ainsi en priorité les zones les plus prometteuses, sans interroger un LLM à chaque étape. Pour conserver la généralisation en vocabulaire ouvert, les auteurs introduisent un cadre de distillation procédurale hors ligne : les connaissances relationnelles sont extraites d'un grand modèle de langage une fois, puis compressées dans des modèles légers exécutables directement sur le robot. Un benchmark symbolique baptisé SymSearch est également proposé pour évaluer le raisonnement sémantique dans ce type de tâches. L'enjeu central est l'équilibre entre pertinence sémantique et faisabilité temps réel, un point de friction majeur pour les intégrateurs en robotique de service. Les méthodes fondées sur la similarité d'embeddings vision-langage (type CLIP) sont rapides mais échouent sur les relations contextuelles : un robot cherchant un médicament ne déduit pas spontanément "salle de bain" depuis un embedding. Les LLMs résolvent cela mais sont trop lents et trop coûteux pour un déploiement embarqué. SCOUT, selon les évaluations menées en simulation et dans des environnements physiques réels, égale les performances des LLMs tout en restant computationnellement léger, ce qui ouvre la voie à une navigation sémantique réactive sur du matériel standard. La démonstration en environnement réel, avec des contraintes de capteurs et de navigation authentiques, atténue en partie le reproche habituel de sim-to-real gap, même si aucune métrique quantitative de transfert n'est détaillée dans le résumé. Ce travail s'inscrit dans un champ actif depuis les approches de navigation sémantique par graphes de scène (ScanQA, SceneGraph-Fusion, 3DSG), face auxquelles SCOUT se distingue par la distillation offline plutôt que par l'appel LLM en ligne. Les concurrents directs incluent les méthodes basées sur ESC, CoNaV ou L3MVN, qui exploitent des embeddings ou des LLMs pour guider l'exploration. Aucune intégration industrielle ni partenariat commercial n'est annoncé à ce stade : il s'agit d'une contribution académique avec benchmark et expériences réelles, dont la prochaine étape naturelle serait une évaluation sur des plateformes robotiques standards comme Spot ou Hello Robot Stretch.

RecherchePaper
1 source
R³ : entraîner des robots à raisonner en langage naturel par apprentissage par renforcement
4arXiv cs.RO 

R³ : entraîner des robots à raisonner en langage naturel par apprentissage par renforcement

Des chercheurs présentent R³ (R-cubed), une méthode de post-entraînement qui transforme des modèles vision-langage (VLM) génériques en « raisonneurs robotiques » capables de guider des politiques de manipulation bas niveau. La recette se déroule en deux temps : un VLM est d'abord entraîné (mid-training) sur des traces de raisonnement générées par des experts pour installer un style de raisonnement adapté, puis affiné par apprentissage par renforcement à un pas, fondé sur des grilles d'évaluation (rubric-based RL), à partir de données d'action hors ligne. L'équipe a testé R³ sur deux bancs d'essai contrôlés : Language Table et une tâche simulée d'emballage de courses à deux bras (bimanual grocery packing). Sur ces deux benchmarks, R³ améliore l'exploration et la généralisation vers des tâches non vues à l'entraînement, et surpasse nettement des références d'apprentissage par imitation guidées uniquement par instruction. Le travail est publié en préprint sur arXiv (2608.26053, août 2026) et une page de projet est disponible à robotic-reasoner.github.io. La particularité de R³ tient à la nature du raisonnement produit : contrairement aux méthodes robotiques antérieures, qui utilisent des traces structurées comme simple supervision auxiliaire à l'entraînement, R³ entraîne le modèle à produire un raisonnement en langage libre qui sert directement de guidage au moment de l'exécution, pour piloter des politiques bas niveau souvent bruyantes. L'enjeu dépasse l'exercice académique : les tâches robotiques à long horizon exigent de suivre une progression partielle, de raisonner sur les relations entre objets et de détecter puis corriger des erreurs, des compétences que l'apprentissage par imitation pure peine à capturer. Ces résultats apportent un signal utile au débat en cours dans le secteur des modèles vision-langage-action (VLA), où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à doter bras manipulateurs et robots humanoïdes d'un raisonnement transférable de la simulation au monde réel. R³ suggère que le raisonnement en langage libre, popularisé par les modèles de type o1 sur des problèmes textuels complexes, peut aussi fonctionner comme mécanisme de calcul au moment du test pour la manipulation robotique. Ce travail s'inscrit dans une tendance plus large visant à transférer aux robots les gains obtenus par les modèles de fondation lorsqu'ils « réfléchissent » avant d'agir, capacité qui a déjà transformé les performances des grands modèles de langage sur les problèmes nécessitant décomposition et anticipation des conséquences. Jusqu'ici, les approches de raisonnement robotique se contentaient le plus souvent d'un signal auxiliaire sans que ce raisonnement pilote réellement l'action finale, ce que R³ cherche précisément à corriger. Les résultats publiés restent toutefois circonscrits à des environnements contrôlés et largement simulés, sans démonstration sur un déploiement réel à grande échelle ni comparaison directe avec des systèmes commerciaux déjà en service. Les auteurs ne précisent pas de calendrier de portage vers des robots physiques ou de tests sur des tâches industrielles plus complexes, ce qui situe R³ comme une contribution de recherche amont plutôt qu'un produit prêt à l'intégration.

RecherchePaper
1 source