RecherchearXiv cs.RO 18 septembre 2026

Imagine-TAMP : planification des tâches et des mouvements guidée par l'imagination en observabilité partielle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un cycle de planification robotique conçu pour décider quand observer et quand agir vient d'être détaillé dans un article arXiv publié le 18 septembre 2026 (arXiv:2609.20396v1), intitulé Imagine-TAMP: Imagination-Guided Task and Motion Planning in Partial Observability. Le système cible un problème concret des robots manipulateurs en environnement encombré : quand la position d'un objet cible est partiellement cachée, faut-il chercher un nouvel angle d'observation ou déplacer d'abord l'objet qui obstrue la vue. Imagine-TAMP combine deux mécanismes d'"imagination" : un modèle vision-langage qui met à jour une croyance probabiliste (particle belief) sur la position de la cible en s'appuyant sur des relations de bon sens avec les objets visibles, et un modèle génératif de scène qui estime la géométrie plausible des zones non observées. À partir de ces hypothèses, le système génère plusieurs squelettes de plan symboliques, leur attribue des coûts non uniformes reflétant à la fois l'effort de manipulation et la probabilité de révéler la cible, puis affine le squelette retenu en plan moteur exécuté, avec replanification si de nouvelles observations contredisent la croyance initiale. Dans des scènes d'étagère à points de vue contraints, l'évaluation géométrique non uniforme fait passer le taux de succès de 46,0% à 84,0% par rapport à une approche de référence, et l'ajout du modèle sémantique réduit encore les manipulations et replanifications inutiles. Sur un robot réel, le système complet réduit le temps de planification de 32% comparé à une version n'utilisant que la géométrie.

L'enjeu dépasse la démonstration académique : la décision observer-versus-manipuler est un goulot d'étranglement classique pour les robots de logistique et de préparation de commandes travaillant dans des bacs ou étagères encombrés, où les approches TAMP classiques s'appuient sur des coûts symboliques grossiers ou une planification géométrique coûteuse, sans jamais estimer la probabilité qu'une observation révèle réellement la cible. En montrant qu'un modèle vision-langage peut injecter du bon sens dans cette décision avant d'engager un calcul moteur coûteux, les auteurs illustrent une tendance plus large où les VLM servent de couche de raisonnement pour la planification plutôt que de générateur direct d'actions, à la différence des approches VLA comme Pi-0 ou GR00T N2.

Le travail s'inscrit dans la lignée du TAMP, qui combine planification symbolique et planification de mouvement continue, en cherchant à corriger sa faiblesse historique face à l'observabilité partielle. Il s'agit d'un preprint, sans validation par les pairs ni partenaire industriel identifié dans le résumé ; les auteurs ne précisent pas de calendrier de suite ni d'extension à d'autres classes de tâches.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper

1 source

2arXiv cs.RO

Planifier en cours de route : planification événementielle par modèle fondation pour l'exécution TAMP en manipulation partiellement observable

Des chercheurs publient sur arXiv (arXiv:2608.28075v1, 28 août 2026) ROBUST TAMP, un framework modulaire de planification tâche-et-mouvement (TAMP) piloté par des modèles de fondation, LLM et VLM, pour la manipulation robotique en environnement partiellement observable. Le système restreint le planificateur à l'état relationnel de la scène actuellement visible, valide chaque action générée contre une interface d'exécution stricte, puis achemine les actions acceptées vers des adaptateurs d'exécution propres à chaque scène. La découverte d'un objet imprévu, cible ou non, déclenche un événement de replanification distinct : après un horizon d'exécution stable, le système reconstruit l'état visible de la scène et replanifie à partir de l'historique des actions déjà complétées et du contexte structuré de l'événement. Les évaluations portent sur six variantes de cuisine et de grill sous simulateur RLBench/CoppeliaSim, incluant objets cachés, découverte d'objets non ciblés, interaction avec des contenants articulés et procédures de manipulation temporelles, en comparant des planificateurs LLM texte-seul et VLM de tailles différentes sous un pipeline identique de validation, exécution, surveillance et replanification. Le travail cible un angle mort des architectures TAMP guidées par foundation models, qui supposent le plus souvent un état de scène entièrement connu à l'avance ou déclenchent une replanification complète du modèle dès qu'un sous-objectif échoue. En environnement réel, un robot découvre en cours d'exécution des objets non anticipés, ce qui invalide un plan pourtant correct au départ ; traiter cette découverte comme un événement à part entière plutôt qu'un échec générique limite les appels coûteux au modèle de fondation, un point sensible pour les intégrateurs qui budgétisent le coût d'inférence à l'échelle d'une flotte. La comparaison entre planificateurs texte-seul et VLM de tailles variées fournit des données concrètes sur l'arbitrage précision/coût, utiles aux décideurs qui cherchent à dimensionner le bon niveau de modèle plutôt que de supposer qu'un VLA volumineux règle par défaut l'observabilité partielle. Ce travail s'inscrit dans la lignée des systèmes de TAMP guidés par LLM/VLM apparus ces dernières années pour générer décompositions de tâches, sous-objectifs et contraintes symboliques, mais que les auteurs jugent encore trop dépendants d'une scène pleinement spécifiée. Les six bancs d'essai restent entièrement simulés, sous RLBench/CoppeliaSim, sans mention de robot physique, d'affiliation industrielle ni de calendrier de transfert vers le réel : il s'agit d'une publication de recherche évaluant une architecture logicielle, non d'un produit commercialisé. La suite logique, non annoncée dans le résumé, serait une validation sur manipulateur réel et une extension au-delà des scènes de cuisine et de grill testées.

RecherchePaper

1 source

3arXiv cs.RO

Planification multirobot des tâches et mouvements, asymptotiquement optimale

Des chercheurs publient sur arXiv (identifiant 2609.18813v1, soumission de type "new", datée de septembre 2026) un nouvel algorithme de planification conjointe tâche-mouvement pour systèmes multi-robots, appelé MR-TAMP dans le papier. Le problème visé : quand plusieurs robots interagissent, chaque transition de tâche peut mobiliser un sous-ensemble différent de robots, ce qui change la dimension des contraintes appliquées à l'espace de configuration global. Les auteurs formalisent cette structure de transitions et posent des conditions suffisantes pour garantir une optimalité asymptotique globale, à savoir une couverture persistante des transitions pertinentes combinée à une amélioration continue de la planification de mouvement dans les régions faisables connectées. Concrètement, leur planificateur combine des cartes de chemins (roadmaps) individuelles par robot, mises à jour de façon incrémentale, avec une recherche implicite en produit tensoriel, ce qui évite de devoir construire explicitement la roadmap composite de l'ensemble des robots, opération normalement coûteuse. Pour rester efficace en temps fini, le système ajoute un échantillonnage conditionnel des transitions, une vérification paresseuse des collisions, et un guidage à la fois au niveau des modes de tâche et des solutions candidates. Pour l'industrie robotique, cette contribution s'adresse directement aux intégrateurs qui déploient des flottes de bras manipulateurs ou de robots coopératifs sur une même cellule de production ou d'entrepôt, où la coordination combinatoire entre tâches discrètes (qui fait quoi, dans quel ordre) et mouvements continus sans collision reste un verrou classique. Les algorithmes à garanties d'optimalité asymptotique existaient déjà pour un seul robot ; l'étendre au multi-robot sans exploser le coût de calcul est ce qui manquait pour des applications réelles à plusieurs bras synchronisés. Il s'agit toutefois d'une contribution théorique et algorithmique publiée en prépublication arXiv, sans validation industrielle ni chiffres de déploiement, de payload ou de temps de cycle : c'est un travail de recherche fondamentale, pas un produit ni une démonstration commerciale. Ce travail s'inscrit dans la lignée des planificateurs tâche-mouvement (TAMP) à garanties asymptotiques développés pour la robotique mono-robot, en cherchant à combler l'écart avec les approches multi-robots existantes, généralement basées sur une planification découplée ou priorisée sans garantie d'optimalité globale. Les suites logiques attendues sont une validation expérimentale plus poussée, une comparaison chiffrée face aux méthodes concurrentes, puis une possible soumission à une conférence de robotique comme ICRA ou IROS, étapes non encore mentionnées dans ce dépôt initial.

RecherchePaper

1 source

4arXiv cs.RO

Planification des tâches et des mouvements robotiques par invite hiérarchique à double module LLM

Des chercheurs ont publié le 12 mai 2026 sur arXiv (référence 2605.08330) un framework de planification tâche-et-mouvement pour robots de service, reposant sur deux modules LLM distincts organisés en hiérarchie. Le premier module, dit "agent de haut niveau", interprète des commandes en langage naturel et génère des séquences d'actions via un prompt de style ReAct, en s'appuyant sur des outils de perception et de manipulation (pick, place, release). Le second module, dédié au raisonnement spatial de bas niveau, prend en charge les instructions de placement précis, par exemple "pose la tasse à côté de l'assiette", en calculant les positions 3D à partir de la géométrie des objets et de la configuration de la scène. La détection d'objets et l'estimation de pose sont assurées par YOLOX-GDRNet. Sur 24 scénarios de test couvrant des commandes spatiales simples, des instructions de haut niveau et des requêtes infaisables, le système affiche un taux de succès global de 86 %. Cette architecture en deux étages répond à un problème bien connu en robotique de service : un LLM généraliste gère mal simultanément la logique séquentielle des tâches et le raisonnement géométrique fin. Séparer ces deux fonctions réduit la surface d'erreur et rend le système plus robuste aux ambiguïtés spatiales, un point de friction majeur dans les scénarios d'assistance à domicile ou hospitaliers. Le taux de 86 % est encourageant, mais il convient de nuancer : 24 scénarios constituent une base d'évaluation très réduite, et les conditions de test en laboratoire restent éloignées de la variabilité d'un environnement réel non structuré. Aucun robot physique n'est mentionné, le module d'exécution motrice étant décrit comme un "stub", ce qui signifie que les résultats restent pour l'instant purement simulés ou partiellement maquettés. Ce travail s'inscrit dans le prolongement des approches LLM-to-robot popularisées par SayCan de Google (2022) et les travaux RT-2 et OpenVLA, qui ont démontré qu'un modèle de langage peut servir de planificateur de haut niveau pour un robot. La spécificité ici est le découplage explicite du raisonnement spatial dans un sous-module dédié, plutôt que de tout faire porter au modèle principal, une direction cohérente avec les limites documentées des VLA (Vision-Language-Action models) sur les tâches de placement précis. Aucun partenaire industriel ni calendrier de déploiement n'est communiqué ; l'étape suivante logique serait une validation sur robot réel dans un contexte de service structuré.

RechercheOpinion

1 source