Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
KGLAMP : un modèle de langage guidé par graphe de connaissances pour la planification multi-robot adaptative
RecherchearXiv cs.RO 

KGLAMP : un modèle de langage guidé par graphe de connaissances pour la planification multi-robot adaptative

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié KGLAMP (Knowledge Graph-guided Language Model for Adaptive Multi-robot Planning and Replanning), un framework de planification combinant graphes de connaissances et grands modèles de langage pour coordonner des équipes de robots hétérogènes sur des missions longues. La contribution centrale est une architecture en deux couches : un graphe de connaissances structuré encode en temps réel les relations entre objets, la portée spatiale de chaque robot et leurs capacités spécifiques, tandis qu'un LLM s'appuie sur ce graphe pour générer automatiquement des spécifications PDDL (Planning Domain Definition Language) correctes. Quand l'environnement évolue, un obstacle déplacé, un robot en panne, le graphe détecte l'incohérence et déclenche un replanification automatique. Sur le benchmark MAT-THOR (un environnement simulé de type habitat domestique conçu pour tester la coordination multi-agents), KGLAMP surpasse de 25,3 % au minimum les deux approches de référence : planificateurs PDDL classiques seuls et LLM seuls.

Ce résultat est significatif parce qu'il attaque un problème structurel bien documenté dans la littérature : les planificateurs symboliques PDDL exigent des modèles du monde construits manuellement, coûteux à maintenir dans des environnements dynamiques, tandis que les LLM utilisés seuls tendent à ignorer l'hétérogénéité des agents et à produire des plans invalides face à l'incertitude. KGLAMP propose une mémoire persistante et mise à jour dynamiquement qui sert d'interface entre perception et raisonnement symbolique. Pour un intégrateur déployant des flottes mixtes (AMR, bras manipulateurs, drones), la promesse d'un replanning automatique sans re-modélisation manuelle représente un gain opérationnel concret, notamment dans les entrepôts à géométrie variable ou la logistique hospitalière.

L'article s'inscrit dans la tendance des approches dites "neuro-symboliques" qui tentent de corriger les faiblesses des LLM par des représentations explicites du monde. Les travaux concurrents incluent SayPlan (Rana et al., 2023) et les variantes LLM+PDDL de Meta AI, Google DeepMind ou CMU. Il reste à noter que les expériences sont conduites exclusivement en simulation sur MAT-THOR : aucune validation physique n'est rapportée, ce qui laisse ouverte la question du sim-to-real gap pour des flottes réelles. La prochaine étape naturelle serait un déploiement sur des plateformes matérielles hétérogènes pour mesurer la robustesse du graphe de connaissances face au bruit sensoriel du monde réel.

À lire aussi

GaLa : des modèles vision-langage guidés par hypergraphe pour la planification procédurale
1arXiv cs.RO 

GaLa : des modèles vision-langage guidés par hypergraphe pour la planification procédurale

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.17241) un nouveau framework vision-langage baptisé GaLa, conçu pour améliorer la planification procédurale dans les systèmes d'IA incarnée. Le système repose sur une représentation par hypergraphe : chaque objet détecté dans une scène devient un nœud, tandis que des hyper-arêtes agrègent ces objets selon leurs attributs fonctionnels et leur sémantique pour former des régions cohérentes. GaLa intègre également un encodeur baptisé TriView HyperGraph Encoder, qui impose une cohérence sémantique entre trois niveaux de représentation (vue nœud, vue zone, vue association nœud-zone) via apprentissage contrastif. Les expériences menées sur les benchmarks ActPlan1K et ALFRED montrent des gains significatifs sur le taux de succès d'exécution, le score LCS (Longest Common Subsequence) et la correction des plans générés, sans que les auteurs ne publient de chiffres absolus précis dans le résumé disponible. Ce travail cible un problème bien documenté dans la robotique d'interaction : les VLMs (Vision-Language Models) actuels raisonnent correctement sur du langage et de l'image de façon isolée, mais peinent à saisir les relations spatiales implicites et la hiérarchie fonctionnelle d'une scène réelle. Pour un robot devant exécuter une séquence de tâches domestiques (préparer un repas, ranger des objets), comprendre que le plan de travail et le réfrigérateur appartiennent à la même région fonctionnelle change radicalement la qualité du plan généré. GaLa propose une couche de structuration explicite en amont du raisonnement VLM, ce qui réduit la dépendance aux capacités d'inférence implicite des modèles de fondation et ouvre la voie à une meilleure généralisation sur des scènes non vues. Le benchmark ALFRED, développé par Allen AI, est devenu la référence standard pour évaluer la planification procédurale en environnement simulé domestique, et ActPlan1K cible des scénarios procéduraux plus complexes. La tendance actuelle dans ce sous-domaine consiste à enrichir les VLMs généralistes (GPT-4o, LLaVA, InternVL) avec des modules de représentation structurée, une approche que GaLa pousse plus loin que les travaux précédents via l'hypergraphe. Les concurrents directs incluent des travaux comme SQA3D, EmbodiedScan ou les pipelines VLA (Vision-Language-Action) de Physical Intelligence (pi0) et de Google DeepMind, qui cherchent eux aussi à réduire le gap simulation-réel. GaLa reste pour l'instant un résultat de recherche académique sans déploiement physique annoncé.

RechercheActu
1 source
Combiner des modèles de langage et le raisonnement symbolique pour la planification temporelle multi-robots via des bases de connaissances explicables
2arXiv cs.RO 

Combiner des modèles de langage et le raisonnement symbolique pour la planification temporelle multi-robots via des bases de connaissances explicables

Un groupe de chercheurs propose PLANTOR, un framework qui transforme une description en langage naturel d'une tâche multi-robots en un plan d'exécution complet, en s'appuyant sur un grand modèle de langage pour construire une base de connaissances structurée au format Prolog. Le pipeline enchaîne plusieurs étapes : le LLM génère la base de connaissances, des vérifications de cohérence détectent et corrigent les erreurs de modélisation, un planificateur symbolique produit un plan de haut niveau, celui-ci est raffiné en actions robotiques de bas niveau, puis un ordonnancement temporel optimisé est calculé et converti en arbre de comportement (behavior tree) exécutable. Les auteurs ont testé l'approche sur des scénarios inspirés des benchmarks classiques Blocks World et Grippers, avec plusieurs modèles de langage différents, en mesurant la qualité des bases de connaissances générées et le temps d'exécution du pipeline. Ils démontrent aussi une exécution de bout en bout sur un scénario réel d'assemblage impliquant plusieurs bras robotiques. L'intérêt de PLANTOR tient à sa position hybride : plutôt que de confier au LLM la totalité du raisonnement de planification, ce qui pose des problèmes de fiabilité et de traçabilité bien documentés, le framework cantonne le modèle de langage à la synthèse d'artefacts structurés, tandis que le calcul du plan et de l'ordonnancement reste entièrement symbolique et inspectable. Pour des intégrateurs ou des équipes de recherche en robotique multi-agents, cela répond à une critique récurrente des approches purement génératives : l'impossibilité de vérifier pourquoi un plan a été choisi ou de garantir sa correction avant exécution. Les résultats montrent que la génération automatique de bases de connaissances réduit sensiblement l'effort de modélisation manuelle, un goulot d'étranglement classique en planification symbolique, mais les auteurs reconnaissent que les sorties du LLM nécessitent encore, dans certains cas, une correction humaine. Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à combiner l'interprétation du langage naturel des LLM avec la rigueur de la planification symbolique classique, plutôt que de miser sur des architectures VLA de bout en bout ou sur des LLM utilisés seuls comme planificateurs. Contrairement aux démonstrations qui misent sur des vidéos sélectionnées, PLANTOR est évalué sur des benchmarks reproductibles et sur un cas d'usage d'assemblage réel avec plusieurs bras robotiques, ce qui donne une mesure plus concrète de sa robustesse. La publication, une version révisée d'un article initialement soumis en février 2025 sur arXiv, ouvre la voie à des travaux futurs sur l'automatisation complète de la correction des bases de connaissances et sur l'extension à des flottes robotiques plus hétérogènes.

RecherchePaper
1 source
LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré
3arXiv cs.RO 

LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré

Une équipe de chercheurs a publié sur arXiv (référence 2606.29358v1) un nouveau cadre de planification intitulé LAMP, pour Long-horizon Adaptive Manipulation Planning, conçu pour coordonner plusieurs robots manipulateurs dans des environnements très encombrés. Le système repose sur deux planificateurs complémentaires : LAMPA*, qui effectue une recherche systématique dans l'espace couplé objets-robots, et LAMP-Lazy, un planificateur dit "paresseux" qui diffère certaines évaluations pour permettre une replanification en temps réel. Les expériences ont été menées dans des environnements simulés à haute densité d'obstacles, où les méthodes existantes échouent à trouver des solutions. Aucun déploiement physique ni timeline de commercialisation n'est annoncé. Le verrou technique que LAMP cherche à lever est fondamental pour l'industrie : coordonner plusieurs bras robotiques sur des tâches longues dans des espaces confinés implique de raisonner simultanément sur les contacts physiques, les dynamiques couplées entre robots, et l'évitement de collision. Les deux approches dominantes aujourd'hui se heurtent à des murs de scalabilité distincts. L'apprentissage par renforcement end-to-end peine à généraliser dès que l'horizon de tâche s'allonge ou que le nombre de robots augmente. Les méthodes hybrides, qui planifient les trajectoires d'objets et apprennent des primitives de contact à courte portée, ne tiennent pas dans des scènes très denses. LAMP propose de rendre ce problème tractable via un modèle génératif appris, combiné à une stratégie de recherche adaptative, ce qui constitue une approche architecturalement différente des VLA (Vision-Language-Action models) qui dominent l'espace humanoïde. La planification multi-robot en environnement encombré est un problème central pour l'automatisation logistique et industrielle, où des acteurs comme Exotec (France) déploient des flottes de robots AMR dans des entrepôts à haute densité. La recherche en robotique académique a longtemps traité la manipulation et la coordination de flotte séparément ; des travaux comme LAMP signalent une convergence vers des systèmes unifiés capables de gérer les deux dimensions. Cependant, l'absence totale de validation sur hardware réel est une limite importante : le sim-to-real gap reste le principal obstacle entre des résultats de simulation convaincants et une industrialisation effective. Les prochaines étapes naturelles seraient des tests sur bancs physiques multi-bras, dans des configurations représentatives de cellules de picking ou d'assemblage.

RecherchePaper
1 source
Apprentissage de représentations guidé par le langage pour la reconnaissance de matériaux robuste multi-capteurs
4arXiv cs.RO 

Apprentissage de représentations guidé par le langage pour la reconnaissance de matériaux robuste multi-capteurs

Un article publié sur arXiv le 14 septembre 2026 (référence 2609.14783) présente une méthode d'apprentissage guidée par le langage pour rendre les représentations tactiles robotiques robustes aux changements de capteur. Le problème visé : les capteurs tactiles à base de vision, qui photographient la déformation d'un élastomère au contact d'un objet, produisent des lectures différentes pour un même matériau selon l'optique, les propriétés de l'élastomère et l'éclairage, ce qui dégrade fortement la généralisation d'un modèle entraîné sur un ou plusieurs capteurs donnés. Les auteurs construisent un jeu de données de 39 000 échantillons associant images tactiles et descriptions de matériaux annotées par des humains (rugueux, doux, glissant, etc.), puis entraînent un encodeur tactile à aligner ces images, quel que soit le capteur d'origine, avec des embeddings de langage dans un espace sémantique partagé. Évaluée en apprentissage few-shot et en transfert cross-capteur sur six jeux de données tactiles existants, la méthode atteint 95% de précision en configuration à 100 exemples, améliore le transfert cross-capteur de 13,3 points de précision en moyenne, et gagne jusqu'à 19 points selon les jeux de données. Code et dataset sont publiés en accès libre. Le toucher reste le sens le plus difficile à industrialiser en manipulation robotique : la vision seule peine à estimer la souplesse d'un objet, sa texture ou la stabilité d'une prise, des informations qui conditionnent des gestes sûrs en logistique, en tri ou en assemblage. Jusqu'ici, un modèle tactile entraîné sur un capteur donné ne transférait pas à un autre matériel, obligeant chaque intégrateur à recollecter des données et réentraîner ses modèles à chaque nouvelle génération de doigt ou de pince tactile, frein direct au déploiement à l'échelle. En montrant qu'un signal sémantique invariant, le langage, découple la perception tactile du matériel sous-jacent, ces résultats transposent au toucher une logique déjà éprouvée côté vision avec les modèles vision-langage-action, où le langage sert de couche d'abstraction indépendante du capteur. Le travail s'inscrit dans la prolifération récente des capteurs tactiles à base de vision, dont les variantes d'optique et d'élastomère se multiplient sans standard commun, fragmentant les données disponibles pour l'apprentissage. Il prolonge aussi la tendance, déjà installée côté vision, d'utiliser le langage naturel comme signal de supervision généraliste plutôt que des labels spécifiques à une tâche. Aucun acteur industriel n'est cité : la publication reste à ce stade un travail de recherche benchmarké sur six jeux de données tactiles publics, sans partenariat annoncé avec un fabricant de mains robotiques. La mise à disposition ouverte du code et du dataset vise une adoption par la communauté plutôt qu'une commercialisation immédiate ; reste à voir si l'approche sera reprise dans des piles de perception déployées en production, au-delà du benchmark académique.

RecherchePaper
1 source