Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets
RecherchearXiv cs.RO 

Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent un nouveau cadre neuro-symbolique pour piloter des tâches de transfert d'objets (handover) entre plusieurs robots en présence d'humains, en combinant modèles de langage (LLM) et logique temporelle formelle. Le système traduit une instruction humaine en langage naturel en spécifications hiérarchiques de type LTLf (Linear Temporal Logic sur traces finies), puis résout un problème conjoint d'allocation de tâches et de planification, appelé STAP (Simultaneous Task Allocation and Planning). Contrairement aux approches statiques classiques, l'architecture intègre une boucle de planification à horizon glissant (receding horizon planning) couplée à une perception en temps réel, ce qui lui permet de réajuster dynamiquement les plans lorsque l'environnement change, par exemple si une personne se déplace ou modifie sa consigne. Les auteurs rapportent des expériences menées à la fois en simulation et sur des robots réels.

Ce travail s'attaque à un problème central pour l'industrie robotique : les LLM permettent aujourd'hui à des non-experts de formuler des tâches complexes en langage naturel, mais les plans générés restent souvent cinématiquement infaisables ou inefficaces sur des horizons longs, faute de garanties formelles. À l'inverse, les méthodes de logique temporelle offrent des garanties de correction et d'optimalité, mais fonctionnent généralement hors-ligne et passent mal à l'échelle. En démontrant un gain mesurable de taux de réussite, de fluidité d'interaction et une réduction du surcoût de replanification par rapport à des méthodes de référence, cette approche illustre une piste concrète pour fiabiliser les systèmes multi-robots collaboratifs en environnement partagé avec des humains, un enjeu direct pour les intégrateurs qui cherchent à dépasser le stade de la démonstration contrôlée.

Le papier s'inscrit dans la lignée des travaux cherchant à combiner l'expressivité des LLM avec la rigueur des méthodes formelles de planification, un axe de recherche actif face aux limites connues des architectures purement neuronales de type VLA (vision-language-action) pour les tâches longues et critiques en sécurité. Il s'agit d'une republication (replace) sur arXiv, signe d'une révision par les auteurs ; le texte ne précise pas d'affiliation industrielle ni de calendrier de déploiement commercial, ce qui en fait une contribution de recherche plutôt qu'une annonce produit.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Planification des tâches et des mouvements robotiques par invite hiérarchique à double module LLM
1arXiv cs.RO 

Planification des tâches et des mouvements robotiques par invite hiérarchique à double module LLM

Des chercheurs ont publié le 12 mai 2026 sur arXiv (référence 2605.08330) un framework de planification tâche-et-mouvement pour robots de service, reposant sur deux modules LLM distincts organisés en hiérarchie. Le premier module, dit "agent de haut niveau", interprète des commandes en langage naturel et génère des séquences d'actions via un prompt de style ReAct, en s'appuyant sur des outils de perception et de manipulation (pick, place, release). Le second module, dédié au raisonnement spatial de bas niveau, prend en charge les instructions de placement précis, par exemple "pose la tasse à côté de l'assiette", en calculant les positions 3D à partir de la géométrie des objets et de la configuration de la scène. La détection d'objets et l'estimation de pose sont assurées par YOLOX-GDRNet. Sur 24 scénarios de test couvrant des commandes spatiales simples, des instructions de haut niveau et des requêtes infaisables, le système affiche un taux de succès global de 86 %. Cette architecture en deux étages répond à un problème bien connu en robotique de service : un LLM généraliste gère mal simultanément la logique séquentielle des tâches et le raisonnement géométrique fin. Séparer ces deux fonctions réduit la surface d'erreur et rend le système plus robuste aux ambiguïtés spatiales, un point de friction majeur dans les scénarios d'assistance à domicile ou hospitaliers. Le taux de 86 % est encourageant, mais il convient de nuancer : 24 scénarios constituent une base d'évaluation très réduite, et les conditions de test en laboratoire restent éloignées de la variabilité d'un environnement réel non structuré. Aucun robot physique n'est mentionné, le module d'exécution motrice étant décrit comme un "stub", ce qui signifie que les résultats restent pour l'instant purement simulés ou partiellement maquettés. Ce travail s'inscrit dans le prolongement des approches LLM-to-robot popularisées par SayCan de Google (2022) et les travaux RT-2 et OpenVLA, qui ont démontré qu'un modèle de langage peut servir de planificateur de haut niveau pour un robot. La spécificité ici est le découplage explicite du raisonnement spatial dans un sous-module dédié, plutôt que de tout faire porter au modèle principal, une direction cohérente avec les limites documentées des VLA (Vision-Language-Action models) sur les tâches de placement précis. Aucun partenaire industriel ni calendrier de déploiement n'est communiqué ; l'étape suivante logique serait une validation sur robot réel dans un contexte de service structuré.

RechercheOpinion
1 source
DAG-STL : un cadre hiérarchique pour la planification de trajectoires zéro-shot sous contraintes de logique temporelle signalée
2arXiv cs.RO 

DAG-STL : un cadre hiérarchique pour la planification de trajectoires zéro-shot sous contraintes de logique temporelle signalée

Des chercheurs ont publié DAG-STL, un cadre hiérarchique de planification de trajectoires pour robots opérant sous contraintes de Signal Temporal Logic (STL), une logique formelle permettant de spécifier des tâches robotiques structurées dans le temps. Le pipeline decompose-allocate-generate fonctionne en trois étapes : il décompose d'abord une formule STL en conditions de progression d'accessibilité et d'invariance, liées par des contraintes de synchronisation partagées ; il alloue ensuite des waypoints temporels via des estimations d'accessibilité apprises ; enfin, il synthétise les trajectoires entre ces waypoints à l'aide d'un générateur basé sur la diffusion. Les expériences ont été conduites sur trois benchmarks standards : Maze2D, OGBench AntMaze, et le domaine Cube, avec un environnement personnalisé incluant une référence par optimisation. DAG-STL surpasse significativement l'approche concurrente de diffusion guidée par robustesse directe sur des tâches STL à long horizon, et récupère la majorité des tâches solubles par optimisation classique tout en conservant un avantage computationnel notable. L'apport principal de ce travail est de résoudre la planification STL en contexte zero-shot, c'est-à-dire sans avoir jamais vu la tâche cible lors de l'entraînement, et sans modèle analytique de la dynamique du système. Pour les intégrateurs et décideurs en robotique, cela signifie qu'un robot équipé de DAG-STL pourrait recevoir une spécification temporelle formelle inédite et en dériver un plan exécutable uniquement depuis des données de trajectoires génériques préenregistrées. La séparation explicite entre raisonnement logique et réalisation physique de la trajectoire est une décision architecturale structurante : elle réduit les problèmes de planification globale long-horizon à une série de sous-problèmes plus courts et mieux couverts par les données. Le cadre introduit également une métrique de cohérence dynamique sans rollout et un mécanisme de replanification hiérarchique en ligne, deux mécanismes qui adressent directement le gap simulation-réel, sujet central des débats sur le sim-to-real dans les VLA (Vision-Language-Action models). DAG-STL s'inscrit dans un courant de recherche actif qui cherche à doter les robots d'une capacité de généralisation formellement vérifiable, à la croisée de la planification sous contraintes logiques temporelles et des modèles génératifs de trajectoires. La STL est un langage étudié depuis les années 2000 en vérification formelle, mais son application à la planification robotique offline reste difficile faute de modèles dynamiques disponibles dans des environnements réels. Les approches concurrentes incluent les méthodes d'imitation learning task-spécifiques et les planificateurs à base de modèle explicite, que DAG-STL vise à dépasser sur le critère de généralisation. Le preprint est disponible sur arXiv (2604.18343) et les prochaines étapes naturelles seraient une validation sur des plateformes physiques, notamment en manipulation et navigation réelle, pour confirmer les gains observés en simulation.

RecherchePaper
1 source
GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues
3arXiv cs.RO 

GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues

Des chercheurs présentent GraphThink, un nouveau framework de planification pour agents robotiques pilotés par des grands modèles de langage (LLM), détaillé dans un article publié le 7 août 2026 sur arXiv (2608.07905v1). Le système combine deux structures de données : un graphe de tâches (task graph), qui guide le raisonnement du LLM via un prompting contextuel et un raffinement itératif pour limiter les hallucinations de planification, et un graphe de scène (scene graph), qui sert de mémoire environnementale pour déclencher une replanification en boucle fermée dès qu'un événement imprévu survient. L'entraînement du planificateur s'appuie sur GRPO (Group Relative Policy Optimization), avec une conception de récompense calquée sur le graphe de tâches. Sur le benchmark ALFRED, référence standard pour l'exécution de tâches ménagères instruites en langage naturel par un agent virtuel, GraphThink atteint l'état de l'art : son module de haut niveau dépasse les LLM propriétaires accessibles par API, aussi bien sur l'ensemble de validation que sur des tâches longues inédites (held-out long-horizon tasks), avec une bonne généralisation zero-shot et few-shot à des environnements et tâches jamais vus. Ce résultat cible un problème central pour l'industrie de la robotique humanoïde et des agents incarnés : les planificateurs fondés sur des LLM génériques hallucinent souvent des actions physiquement impossibles et perdent en cohérence sur des séquences de tâches longues, un écart classique entre démonstration et usage réel. En ancrant le raisonnement dans une représentation structurée de l'environnement plutôt que dans le seul texte, GraphThink illustre une piste concrète pour fiabiliser les architectures de type VLA (vision-language-action) utilisées par des systèmes comme GR00T N2 ou Helix, sans dépendre uniquement de modèles propriétaires massifs. Il s'agit toutefois d'un résultat de recherche évalué en simulation sur ALFRED, non d'un déploiement sur robot physique. Le champ des planificateurs LLM pour la robotique s'est développé depuis des approches comme SayCan ou Code as Policies, et la comparaison de GraphThink aux LLM API démontre surtout un gain méthodologique en environnement contrôlé ; sa validation sur du matériel réel reste l'étape suivante attendue.

RecherchePaper
1 source
Quand les automates rencontrent les flux : compilation de logique temporelle pour la planification tâche-mouvement en robotique
4arXiv cs.RO 

Quand les automates rencontrent les flux : compilation de logique temporelle pour la planification tâche-mouvement en robotique

Une équipe de recherche en robotique présente SAM-TD (Synchronous Action Monitoring with Token Destruction), une méthode de compilation permettant d'imposer des contraintes de logique temporelle linéaire sur traces finies (LTLf) dans la planification tâche-mouvement (TAMP) basée sur les flux, ou "streams". Publiée sur arXiv en aout 2026, l'approche traduit des spécifications LTLf arbitraires en automates, puis intègre des gardes d'automates régressées directement dans les schémas d'action, définis avant le début de la planification. Pendant la recherche de plan, SAM-TD met à jour de façon synchrone l'état de chaque automate et s'appuie sur un jeton de validité partagé entre tous les automates pour élaguer les branches qui violent les contraintes. Les auteurs rapportent ce qu'ils présentent comme la première démonstration de TAMP basée sur des streams sous contraintes LTL_f, testée dans trois environnements robotiques PDDLStream, et affirment que SAM-TD reste compétitif face aux méthodes de référence de compilation de contraintes temporelles sur des benchmarks PDDL discrets classiques. Le TAMP basé sur les streams combine planification symbolique discrète et génération continue de paramètres géométriques (poses, prises, trajectoires) produits à la volée pendant la recherche de solution. Jusqu'ici, ces planificateurs ne vérifiaient que l'atteignabilité d'un objectif, sans garantir de contraintes temporelles comme l'ordre d'exécution critique pour la sécurité, l'invariance ou la liveness, pourtant indispensables sur des tâches à long horizon. Le verrou technique tenait au fait que les streams génèrent un ensemble d'objets géométriques en expansion continue au fil des boucles de raffinement, incompatible avec les techniques existantes de compilation de logique temporelle conçues pour un ensemble d'objets fixe et énumérable. En levant ce verrou sans modifier le planificateur sous-jacent ni exiger d'énumération préalable des objets, SAM-TD ouvre la voie à des architectures capables de respecter des règles de sécurité formelles tout en conservant la flexibilité des générateurs continus, un enjeu direct pour les intégrateurs qui déploient des manipulateurs en environnement partagé avec des humains ou soumis à des contraintes réglementaires strictes. Le cadre PDDLStream, sur lequel s'appuie ce travail, sert de référence académique pour coupler planification classique PDDL et générateurs de paramètres continus en robotique ; les techniques antérieures de compilation de logique temporelle avaient été conçues pour ce contexte discret et supposaient un monde d'objets clos, d'où leur incompatibilité avec les streams. SAM-TD se positionne comme une extension du cadre existant plutôt que comme un nouveau planificateur, ce qui pourrait faciliter son adoption par les équipes déjà équipées d'outils PDDLStream. L'article ne mentionne ni pilote industriel ni calendrier de déploiement sur robot réel : les résultats se limitent à des environnements simulés et à des benchmarks PDDL standards, laissant ouverte la question du passage à l'échelle en conditions réelles.

RecherchePaper
1 source