RecherchearXiv cs.RO19h

Planification des tâches et des mouvements robotiques par invite hiérarchique à double module LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 12 mai 2026 sur arXiv (référence 2605.08330) un framework de planification tâche-et-mouvement pour robots de service, reposant sur deux modules LLM distincts organisés en hiérarchie. Le premier module, dit "agent de haut niveau", interprète des commandes en langage naturel et génère des séquences d'actions via un prompt de style ReAct, en s'appuyant sur des outils de perception et de manipulation (pick, place, release). Le second module, dédié au raisonnement spatial de bas niveau, prend en charge les instructions de placement précis, par exemple "pose la tasse à côté de l'assiette", en calculant les positions 3D à partir de la géométrie des objets et de la configuration de la scène. La détection d'objets et l'estimation de pose sont assurées par YOLOX-GDRNet. Sur 24 scénarios de test couvrant des commandes spatiales simples, des instructions de haut niveau et des requêtes infaisables, le système affiche un taux de succès global de 86 %.

Cette architecture en deux étages répond à un problème bien connu en robotique de service : un LLM généraliste gère mal simultanément la logique séquentielle des tâches et le raisonnement géométrique fin. Séparer ces deux fonctions réduit la surface d'erreur et rend le système plus robuste aux ambiguïtés spatiales, un point de friction majeur dans les scénarios d'assistance à domicile ou hospitaliers. Le taux de 86 % est encourageant, mais il convient de nuancer : 24 scénarios constituent une base d'évaluation très réduite, et les conditions de test en laboratoire restent éloignées de la variabilité d'un environnement réel non structuré. Aucun robot physique n'est mentionné, le module d'exécution motrice étant décrit comme un "stub", ce qui signifie que les résultats restent pour l'instant purement simulés ou partiellement maquettés.

Ce travail s'inscrit dans le prolongement des approches LLM-to-robot popularisées par SayCan de Google (2022) et les travaux RT-2 et OpenVLA, qui ont démontré qu'un modèle de langage peut servir de planificateur de haut niveau pour un robot. La spécificité ici est le découplage explicite du raisonnement spatial dans un sous-module dédié, plutôt que de tout faire porter au modèle principal, une direction cohérente avec les limites documentées des VLA (Vision-Language-Action models) sur les tâches de placement précis. Aucun partenaire industriel ni calendrier de déploiement n'est communiqué ; l'étape suivante logique serait une validation sur robot réel dans un contexte de service structuré.

Dans nos dossiers

OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

LLM-Flax : planification robotique généralisable par approches neuro-symboliques et grands modèles de langage

Des chercheurs ont publié LLM-Flax (arXiv 2604.26569v1), un framework en trois étapes conçu pour automatiser le déploiement de planificateurs de tâches neuro-symboliques sans expertise manuelle ni données d'entraînement. Le système prend en entrée uniquement un LLM hébergé localement et un fichier PDDL décrivant le domaine : l'étape 1 génère les règles de relaxation par prompting structuré avec auto-correction, l'étape 2 pilote la récupération sur échec via une politique de budget de latence, et l'étape 3 remplace entièrement le réseau GNN par un scoring d'objets zero-shot. Évalué sur le benchmark MazeNamo en grilles 10x10, 12x12 et 15x15 (8 benchmarks au total), LLM-Flax atteint un taux de succès moyen de 0,945 contre 0,828 pour la baseline manuelle, soit un gain de +0,117. Sur la configuration 12x12 Expert, où le planificateur manuel échoue complètement (SR 0,000), LLM-Flax atteint SR 0,733 ; sur 15x15 Hard, il obtient SR 1,000 contre 0,900 pour l'approche de référence. Le principal verrou adressé est le coût de transfert de domaine : adapter un planificateur symbolique à une nouvelle cellule robotique mobilise aujourd'hui des centaines de problèmes d'entraînement et l'intervention d'un expert métier, ce qui rend le déploiement à l'échelle industrielle prohibitif. La politique de budget de latence de l'étape 2, qui réserve explicitement une enveloppe d'appels LLM avant chaque séquence de récupération sur échec, adresse un problème pratique rarement traité dans la littérature : les boucles de fallback infinies qui paralysent les systèmes en production. L'étape 3 démontre la faisabilité du zero-shot avec SR 0,720 sur 12x12 Hard sans aucune donnée d'entraînement, mais bute sur la fenêtre de contexte à grande échelle, que les auteurs identifient eux-mêmes comme le principal défi ouvert. LLM-Flax s'inscrit dans la lignée des travaux combinant PDDL et LLMs pour la robotique, après SayCan (Google, 2022), Code as Policies (Google DeepMind) et ProgPrompt. Cette approche neuro-symbolique reste distinctement différente des architectures VLA end-to-end comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) : elle préserve un module de raisonnement explicite et auditable, ce qui peut constituer un avantage dans les environnements industriels certifiables. Le benchmark MazeNamo demeure un environnement de navigation 2D simplifié, éloigné des scénarios de manipulation réels ; aucun déploiement terrain n'est annoncé à ce stade, et les auteurs indiquent l'extension à des environnements multi-objets complexes comme prochaine étape.

RecherchePaper

1 source

2arXiv cs.RO

Planification robotique et gestion de situations par perception active

Des chercheurs présentent dans un preprint arXiv (réf. 2604.26988, mai 2026) un cadre logiciel baptisé VAP-TAMP, pour Vision-language model-based Active Perception for Task And Motion Planning, conçu pour doter les robots d'une capacité de détection et de gestion des situations imprévues en cours d'exécution de tâches. Le système cible des perturbations concrètes : une porte coincée, un objet tombé au sol, une modification de l'environnement due à une activité humaine. VAP-TAMP exploite une base de connaissances sur les actions du robot pour formuler dynamiquement des requêtes vers des modèles vision-langage (VLA/VLM), sélectionner activement des points de vue pertinents, puis évaluer la situation. En parallèle, il construit et interroge des graphes de scène pour assurer la planification intégrée des tâches et des mouvements. Le framework a été évalué sur des tâches de service en simulation et sur une plateforme réelle de manipulation mobile. L'enjeu est structurant pour toute démarche d'autonomie longue durée en robotique de service ou industrielle. L'un des verrous majeurs identifiés par les intégrateurs et les équipes R&D n'est pas la planification initiale, les planificateurs TAMP existants s'en sortent bien, mais la résilience à l'exécution : un robot qui échoue silencieusement ou se bloque face à un impondérable n'est pas déployable en production. VAP-TAMP propose une réponse architecturale à ce point de friction en couplant perception active (choix du meilleur angle de vue pour comprendre la situation) et raisonnement symbolique via graphes de scène, deux approches généralement traitées séparément. Si les résultats se confirment sur des scénarios plus variés, cela allège significativement la charge d'ingénierie pour les équipes qui construisent des pipelines de manipulation autonome. Le travail s'inscrit dans une dynamique de recherche intense autour de l'intégration VLM-TAMP, un champ qui a explosé depuis 2023 avec les travaux de Google DeepMind sur SayCan, de Physical Intelligence (Pi-0) et des équipes de Carnegie Mellon sur la planification par LLM. VAP-TAMP se positionne sur le maillon "récupération d'erreur" plutôt que sur la génération de plan initiale, ce qui le différencie d'approches comme Code-as-Policies ou Inner Monologue. Le preprint ne mentionne pas de partenariat industriel ni de calendrier de transfert technologique : il s'agit à ce stade d'une contribution académique, sans déploiement annoncé. Les prochaines étapes naturelles seraient une validation sur un spectre plus large de perturbations et une comparaison quantitative avec des baselines de récupération existantes.

RecherchePaper

1 source

3arXiv cs.RO

Prise de décision hiérarchique intégrée pour la planification et le contrôle en cinématique inverse

Une équipe de chercheurs présente sur arXiv (2412.01324, v4) un solveur de programmation non linéaire hiérarchique et épars qui intègre simultanément prise de décision discrète et cinématique inverse (IK) corps entier. En un seul problème d'optimisation, le système résout des questions jusqu'ici traitées séparément : sélectionner le nombre minimal d'articulations à activer (contrôle IK épars), choisir parmi un large ensemble de positions candidates où poser un effecteur terminal, ou coordonner deux bras pour saisir un objet orienté aléatoirement. Le solveur s'appuie sur la norme ℓ₀, qui pénalise directement le nombre de variables non nulles, là où la littérature recourt habituellement à la norme ℓ₁, une approximation convexe plus facile à manipuler mais moins fidèle au problème réel. L'enjeu est la réduction du fossé entre planification et exécution dans les robots manipulateurs complexes. Les méthodes actuelles font appel à la programmation entière mixte non linéaire (MINLP), dont le coût de calcul est prohibitif en temps réel, ou à des heuristiques de faisabilité (cartes d'atteignabilité, workspace envelopes) qui simplifient le problème au détriment de la précision. Ce cadre traite le problème non linéaire directement, sans relaxation, en exploitant sa structure hiérarchique éparse. Pour un intégrateur travaillant sur des bras bi-manuels ou des plateformes humanoïdes, cela représente une piste concrète pour réduire la dépendance aux bibliothèques de mouvements pré-calculés et aux pipelines de sélection de prises hors ligne. Ce travail s'inscrit dans la lignée de la programmation quadratique hiérarchique (HQP), paradigme établi en commande de robots redondants depuis les travaux de Sentis et Khatib dans les années 2000. L'usage de la norme ℓ₀ dans des problèmes continus non convexes reste rare en robotique, ce qui constitue la principale originalité revendiquée. L'article ne présente toutefois pas de validation sur plateforme matérielle réelle, ni de benchmarks comparatifs en temps de calcul face à des solveurs de référence comme Drake (Toyota Research Institute) ou les pipelines MoveIt/TRAC-IK, une limite méthodologique à noter avant d'envisager un déploiement. Les suites naturelles seraient une intégration sur humanoïde et une comparaison avec les approches d'apprentissage par renforcement pour la sélection de prises.

RecherchePaper

1 source

4arXiv cs.RO

Planification efficace du mouvement multi-robots avec des faisceaux d'arêtes invariants par translation précalculés

Une équipe de chercheurs présente KiTE-Extend (Kinodynamic Translation-Invariant Edge Bundles), un mécanisme de sélection d'actions conçu pour améliorer la planification de mouvement multi-robot (MRMP). Publié sur arXiv (2605.09801) en mai 2026, le système repose sur une bibliothèque de segments de trajectoire calculés hors ligne, qui guident ensuite la sélection d'actions lors de la planification en ligne. L'approche est dite "planner-agnostic" : elle s'intègre aux planificateurs existants sans modifier leur propagation d'état, leur vérification de collision, ni leur évaluation de coût, et sans altérer leurs garanties théoriques. Les expériences couvrent plusieurs systèmes kinodynamiques et environnements variés, et montrent des réductions significatives du temps de planification ainsi qu'une meilleure scalabilité sur les trois paradigmes MRMP les plus utilisés : centralisé, priorisé, et basé sur la résolution de conflits (conflict-based search). L'enjeu est concret pour les intégrateurs de cellules robotisées et les opérateurs de flottes autonomes : coordonner plusieurs robots dans des espaces contraints reste l'un des principaux goulets d'étranglement des déploiements en entrepôt, en usine ou en logistique hospitalière. Les approches d'échantillonnage cinodynamique souffrent classiquement d'une exploration inefficace dans des espaces de configuration denses, où les interactions robot-robot multiplient les contraintes spatio-temporelles. KiTE-Extend attaque ce problème en amont en précalculant des segments réutilisables invariants par translation, ce qui permet à l'algorithme de trouver plus rapidement des segments de mouvement faisables sans surcharge computationnelle en ligne. Le gain est modeste pour un agent seul, mais significatif en configuration multi-agents, là précisément où les planificateurs standards peinent le plus. La planification cinodynamique multi-robot est un problème réputé PSPACE-difficile, et les méthodes par échantillonnage comme RRT ou SST ont longtemps dominé l'état de l'art sans résoudre complètement le passage à l'échelle au-delà de quelques agents. Des travaux comme CBS (Conflict-Based Search) ou ECBS avaient amélioré la gestion des conflits, mais laissaient entière la question de la qualité des primitives d'action sous-jacentes. KiTE-Extend s'insère en amont du planificateur plutôt qu'en remplacement, ce qui le rend compatible avec l'ensemble de l'écosystème existant. Aucun partenaire industriel ni calendrier de déploiement terrain n'est mentionné : il s'agit à ce stade d'une contribution de recherche, sans validation industrielle annoncée.

RecherchePaper

1 source