RecherchearXiv cs.RO 11 août 2026

SHRIMP : affinement itératif des plans de tâches robotiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SHRIMP, un système développé par des chercheurs de l'université du Wisconsin-Madison (Wisc-HCI), permet de générer et corriger des plans de tâches robotiques à partir d'instructions en langage naturel. Décrit dans un article publié sur arXiv le 8 août 2026 (arXiv:2608.08884v1), l'outil traduit une consigne textuelle en un plan hiérarchique de primitives robotiques, que l'utilisateur peut ensuite réviser de façon itérative, soit en reformulant sa demande (ré-prompting), soit en corrigeant directement des éléments du plan. Chaque révision peut être validée en simulation avant exécution sur un robot physique. Les chercheurs ont mené une étude utilisateur avec 35 participants chargés de planifier des tâches culinaires de table (tabletop kitchen tasks), afin de mesurer le sentiment de contrôle et la transparence perçue du système. Les vidéos de démonstration et le code source sont disponibles sur le site du projet, wisc-hci.github.io/SHRIMP.

L'enjeu dépasse la simple démo technique : il touche au goulot d'étranglement de l'adoption des robots collaboratifs en usine, en agriculture ou en santé, où la programmation reste réservée à des experts. Les modèles de langage (LLM) permettent depuis peu de traduire des consignes en plans d'action, mais cette approche souffre d'ambiguïté sémantique et d'un manque de transparence, rendant difficile pour un opérateur de vérifier qu'un plan généré fera bien ce qui est demandé avant de l'exécuter sur du matériel réel. En validant que la révision itérative et la visualisation en simulation améliorent le contrôle perçu par l'utilisateur, l'étude apporte un argument empirique en faveur d'interfaces homme-robot où l'IA générative reste sous supervision humaine explicite, plutôt que dans une logique de plan-et-exécute en boîte noire. C'est un signal utile pour les intégrateurs qui cherchent à déployer des robots collaboratifs sans dépendre d'ingénieurs robotique pour chaque reprogrammation.

Ce travail s'inscrit dans la lignée des recherches combinant LLM et planification robotique (task-and-motion planning), un axe qui a vu émerger des approches comme le prompting de primitives d'action ou les modèles vision-langage-action (VLA) tels que Pi-0 ou GR00T N2, davantage orientés vers l'exécution directe que vers la validation utilisateur intermédiaire. SHRIMP se positionne différemment, en misant sur la boucle de correction humaine plutôt que sur l'autonomie complète du modèle. L'article reste à ce stade une contribution académique publiée en prépublication, sans mention de partenariat industriel ni de déploiement au-delà du cadre expérimental universitaire ; les prochaines étapes attendues concernent l'extension à des tâches et environnements plus complexes que le contexte de cuisine de table testé dans l'étude.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification des tâches et des mouvements robotiques par invite hiérarchique à double module LLM

Des chercheurs ont publié le 12 mai 2026 sur arXiv (référence 2605.08330) un framework de planification tâche-et-mouvement pour robots de service, reposant sur deux modules LLM distincts organisés en hiérarchie. Le premier module, dit "agent de haut niveau", interprète des commandes en langage naturel et génère des séquences d'actions via un prompt de style ReAct, en s'appuyant sur des outils de perception et de manipulation (pick, place, release). Le second module, dédié au raisonnement spatial de bas niveau, prend en charge les instructions de placement précis, par exemple "pose la tasse à côté de l'assiette", en calculant les positions 3D à partir de la géométrie des objets et de la configuration de la scène. La détection d'objets et l'estimation de pose sont assurées par YOLOX-GDRNet. Sur 24 scénarios de test couvrant des commandes spatiales simples, des instructions de haut niveau et des requêtes infaisables, le système affiche un taux de succès global de 86 %. Cette architecture en deux étages répond à un problème bien connu en robotique de service : un LLM généraliste gère mal simultanément la logique séquentielle des tâches et le raisonnement géométrique fin. Séparer ces deux fonctions réduit la surface d'erreur et rend le système plus robuste aux ambiguïtés spatiales, un point de friction majeur dans les scénarios d'assistance à domicile ou hospitaliers. Le taux de 86 % est encourageant, mais il convient de nuancer : 24 scénarios constituent une base d'évaluation très réduite, et les conditions de test en laboratoire restent éloignées de la variabilité d'un environnement réel non structuré. Aucun robot physique n'est mentionné, le module d'exécution motrice étant décrit comme un "stub", ce qui signifie que les résultats restent pour l'instant purement simulés ou partiellement maquettés. Ce travail s'inscrit dans le prolongement des approches LLM-to-robot popularisées par SayCan de Google (2022) et les travaux RT-2 et OpenVLA, qui ont démontré qu'un modèle de langage peut servir de planificateur de haut niveau pour un robot. La spécificité ici est le découplage explicite du raisonnement spatial dans un sous-module dédié, plutôt que de tout faire porter au modèle principal, une direction cohérente avec les limites documentées des VLA (Vision-Language-Action models) sur les tâches de placement précis. Aucun partenaire industriel ni calendrier de déploiement n'est communiqué ; l'étape suivante logique serait une validation sur robot réel dans un contexte de service structuré.

RechercheOpinion

1 source

2arXiv cs.RO

GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues

Des chercheurs présentent GraphThink, un nouveau framework de planification pour agents robotiques pilotés par des grands modèles de langage (LLM), détaillé dans un article publié le 7 août 2026 sur arXiv (2608.07905v1). Le système combine deux structures de données : un graphe de tâches (task graph), qui guide le raisonnement du LLM via un prompting contextuel et un raffinement itératif pour limiter les hallucinations de planification, et un graphe de scène (scene graph), qui sert de mémoire environnementale pour déclencher une replanification en boucle fermée dès qu'un événement imprévu survient. L'entraînement du planificateur s'appuie sur GRPO (Group Relative Policy Optimization), avec une conception de récompense calquée sur le graphe de tâches. Sur le benchmark ALFRED, référence standard pour l'exécution de tâches ménagères instruites en langage naturel par un agent virtuel, GraphThink atteint l'état de l'art : son module de haut niveau dépasse les LLM propriétaires accessibles par API, aussi bien sur l'ensemble de validation que sur des tâches longues inédites (held-out long-horizon tasks), avec une bonne généralisation zero-shot et few-shot à des environnements et tâches jamais vus. Ce résultat cible un problème central pour l'industrie de la robotique humanoïde et des agents incarnés : les planificateurs fondés sur des LLM génériques hallucinent souvent des actions physiquement impossibles et perdent en cohérence sur des séquences de tâches longues, un écart classique entre démonstration et usage réel. En ancrant le raisonnement dans une représentation structurée de l'environnement plutôt que dans le seul texte, GraphThink illustre une piste concrète pour fiabiliser les architectures de type VLA (vision-language-action) utilisées par des systèmes comme GR00T N2 ou Helix, sans dépendre uniquement de modèles propriétaires massifs. Il s'agit toutefois d'un résultat de recherche évalué en simulation sur ALFRED, non d'un déploiement sur robot physique. Le champ des planificateurs LLM pour la robotique s'est développé depuis des approches comme SayCan ou Code as Policies, et la comparaison de GraphThink aux LLM API démontre surtout un gain méthodologique en environnement contrôlé ; sa validation sur du matériel réel reste l'étape suivante attendue.

RecherchePaper

1 source

3arXiv cs.RO

HINT-Plan : planification de tâches robotiques tenant compte de l'intention humaine dans des environnements riches en contexte, via des modèles vision-langage

Des chercheurs ont présenté HINT-Plan, un système de planification de tâches robotiques qui intègre la prédiction des intentions humaines dans la prise de décision, selon un article publié sur arXiv (référence 2609.17771v1, catégorie "new") en septembre 2026. Le système utilise des modèles vision-langage (VLM) pour anticiper les intentions humaines de haut niveau à partir d'observations d'images à la troisième personne, puis convertit ces intentions en états-objectifs exploitables pour résoudre des problèmes de planification conjointe homme-robot. Pour représenter l'environnement, HINT-Plan s'appuie sur des graphes de scène hiérarchiques (Scene Graphs) qui traduisent la topologie des lieux et les connaissances actionnables en un langage de planification formel garantissant des plans exécutables. Évalué dans un environnement de simulation photoréaliste, le système atteint un taux de réussite global de 69,71 % en planification conjointe homme-robot, dépassant les méthodes de référence de jusqu'à 35,29 points, tout en réduisant les conflits fonctionnels entre agents humain et robotique. Ce travail s'attaque à un angle mort documenté du secteur de la robotique mobile: la quasi-totalité des approches dites "conscientes de l'humain" se limitent aujourd'hui à l'évitement de collision au niveau de la planification de mouvement bas niveau, sans anticiper le comportement humain à un niveau décisionnel supérieur. En démontrant qu'un VLM peut inférer des intentions humaines exploitables pour une planification multi-agents formelle, l'étude apporte un argument empirique en faveur des architectures VLA appliquées non plus seulement au contrôle moteur, mais à la coordination stratégique entre humains et robots dans des espaces partagés, un enjeu direct pour les AMR et robots collaboratifs en entrepôt ou en environnement domestique. Il s'agit toutefois d'une validation en simulation uniquement, sans déploiement matériel ni test en conditions réelles, ce qui limite la portée immédiate des résultats. Le papier s'inscrit dans la lignée des travaux combinant graphes de scène et planification symbolique, en réponse aux limites des baselines existantes qui ignorent l'anticipation comportementale. Les auteurs ne précisent pas de calendrier de transfert vers le réel ni de partenariat industriel; la validation sur robot physique reste l'étape logique suivante pour confirmer la robustesse de l'approche hors simulation.

RecherchePaper

1 source

4arXiv cs.RO

Planification multirobot des tâches et mouvements, asymptotiquement optimale

Des chercheurs publient sur arXiv (identifiant 2609.18813v1, soumission de type "new", datée de septembre 2026) un nouvel algorithme de planification conjointe tâche-mouvement pour systèmes multi-robots, appelé MR-TAMP dans le papier. Le problème visé : quand plusieurs robots interagissent, chaque transition de tâche peut mobiliser un sous-ensemble différent de robots, ce qui change la dimension des contraintes appliquées à l'espace de configuration global. Les auteurs formalisent cette structure de transitions et posent des conditions suffisantes pour garantir une optimalité asymptotique globale, à savoir une couverture persistante des transitions pertinentes combinée à une amélioration continue de la planification de mouvement dans les régions faisables connectées. Concrètement, leur planificateur combine des cartes de chemins (roadmaps) individuelles par robot, mises à jour de façon incrémentale, avec une recherche implicite en produit tensoriel, ce qui évite de devoir construire explicitement la roadmap composite de l'ensemble des robots, opération normalement coûteuse. Pour rester efficace en temps fini, le système ajoute un échantillonnage conditionnel des transitions, une vérification paresseuse des collisions, et un guidage à la fois au niveau des modes de tâche et des solutions candidates. Pour l'industrie robotique, cette contribution s'adresse directement aux intégrateurs qui déploient des flottes de bras manipulateurs ou de robots coopératifs sur une même cellule de production ou d'entrepôt, où la coordination combinatoire entre tâches discrètes (qui fait quoi, dans quel ordre) et mouvements continus sans collision reste un verrou classique. Les algorithmes à garanties d'optimalité asymptotique existaient déjà pour un seul robot ; l'étendre au multi-robot sans exploser le coût de calcul est ce qui manquait pour des applications réelles à plusieurs bras synchronisés. Il s'agit toutefois d'une contribution théorique et algorithmique publiée en prépublication arXiv, sans validation industrielle ni chiffres de déploiement, de payload ou de temps de cycle : c'est un travail de recherche fondamentale, pas un produit ni une démonstration commerciale. Ce travail s'inscrit dans la lignée des planificateurs tâche-mouvement (TAMP) à garanties asymptotiques développés pour la robotique mono-robot, en cherchant à combler l'écart avec les approches multi-robots existantes, généralement basées sur une planification découplée ou priorisée sans garantie d'optimalité globale. Les suites logiques attendues sont une validation expérimentale plus poussée, une comparaison chiffrée face aux méthodes concurrentes, puis une possible soumission à une conférence de robotique comme ICRA ou IROS, étapes non encore mentionnées dans ce dépôt initial.

RecherchePaper

1 source