RecherchearXiv cs.RO 28 août 2026

STEP : estimation et planification des tâches sensibles à l'état avec des LLM multimodaux pour la collaboration homme-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent STEP (State-aware Task Estimator and Planner), un système publié le 27 août 2026 sur arXiv (arXiv:2608.27225v1) qui vise à améliorer la planification de tâches par des robots collaboratifs en environnement industriel. Le constat de départ est que les modèles de langage multimodaux (MM-LLM) récemment utilisés pour interpréter les actions humaines et générer des plans d'action en langage naturel, via apprentissage en contexte dans des scénarios pauvres en données, souffrent de deux défauts majeurs : ils ne suivent pas l'état réel du système ni ses transitions, ce qui produit des actions hallucinées s'écartant de l'objectif visé, et leurs plans restent formulés à un niveau trop abstrait, créant de l'ambiguïté au moment de l'exécution. STEP corrige cela en forçant le MM-LLM à estimer explicitement l'état du système et à prédire les transitions d'état résultant de chaque action exécutée, en plus de générer les actions elles-mêmes. Cette prédiction conjointe état/action garantit une planification convergente vers l'objectif et fournit les paramètres d'assistance nécessaires à l'exécution. Testé sur une tâche d'assemblage robotique en environnement simulé, STEP dépasse l'état de l'art de 32,8% en taux d'exécutabilité des actions et de 14,8% en réduction de l'erreur d'état final.

Pour les intégrateurs et concepteurs de systèmes de cobotique industrielle, ce travail s'attaque directement à un point de friction connu des architectures de planification fondées sur les LLM : le décalage entre un plan verbalisé de façon plausible et un plan réellement exécutable par un robot, faute d'ancrage dans l'état physique du système. En rendant le suivi d'état explicite plutôt qu'implicite, STEP réduit le risque d'hallucination d'actions, un problème récurrent quand un LLM générique est plaqué sur une tâche de manipulation sans supervision d'état. Les gains rapportés, mesurés sur l'exécutabilité et l'erreur d'état final plutôt que sur des métriques cosmétiques, ciblent précisément la fiabilité opérationnelle recherchée en assemblage collaboratif homme-robot, un segment où la marge d'erreur tolérée reste faible.

Ces résultats s'inscrivent dans la lignée des travaux récents exploitant les MM-LLM pour la planification de tâches en contexte de données rares, où l'apprentissage en contexte permet de s'affranchir d'un réentraînement lourd. Il faut toutefois noter que la validation se limite à un environnement simulé et à une seule tâche d'assemblage, sans démonstration sur robot physique ni déploiement industriel réel. STEP reste donc à ce stade une contribution de recherche méthodologique, dont la prochaine étape logique serait une validation sur du matériel réel et sur une variété de tâches plus large avant toute application en production.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification de trajectoire STL et analyse des risques pour la collaboration humain-robot avec un drone multi-rotors

Des chercheurs ont publié sur arXiv (référence 2509.10692, troisième révision en avril 2026) un framework de planification de mouvement et d'analyse de risque pour la collaboration humain-robot avec un véhicule aérien multirotor. Le coeur du système repose sur la Signal Temporal Logic (STL), un formalisme mathématique permettant d'encoder des objectifs de mission structurés : contraintes de sécurité, exigences temporelles, et préférences humaines incluant l'ergonomie et le confort de l'opérateur. Un planificateur par optimisation génère des trajectoires dynamiquement faisables en tenant compte des dynamiques non-linéaires du drone et de ses contraintes d'actuation. Pour résoudre le problème d'optimisation non-convexe et non-lisse qui en résulte, le framework adopte des approximations de robustesse différentiables combinées à des méthodes de gradient. Le système inclut également un mécanisme de replanification en ligne déclenché par événements, activé lorsque des perturbations menacent les marges de sécurité. La validation s'appuie exclusivement sur des simulations MATLAB et Gazebo, sur une tâche de remise d'objet inspirée de la maintenance de lignes électriques. Ce travail adresse un verrou réel dans le déploiement de drones en environnement industriel partagé : la cohabitation sûre avec des techniciens humains dont la posture est incertaine et dynamique. L'analyse de risque probabiliste quantifie la vraisemblance de violations de spécifications sous incertitude de pose humaine, ce qui représente une avancée par rapport aux approches conservatrices à marge fixe. La replanification événementielle permet une récupération en ligne sans interrompre la mission, un critère déterminant pour les applications en conditions réelles. Cela dit, l'absence de validation physique sur hardware réel constitue une limite importante : le gap sim-to-real pour les drones en proximité humaine reste un problème ouvert, et les résultats en simulation Gazebo ne peuvent pas être directement extrapolés à un déploiement terrain. Le contexte de ce travail s'inscrit dans un effort plus large de la communauté robotique aérienne pour rendre les drones industriels opérables à proximité immédiate des travailleurs, notamment dans les secteurs de l'énergie et de la maintenance d'infrastructures. Côté concurrence, des acteurs comme Skydio (USA) ou Flyability (Suisse) avancent sur des drones robustes en environnement contraint, mais sans formalisme STL ni modèle explicite d'interaction humain-robot. En Europe, des projets académiques financés par l'ANR et H2020 explorent des pistes similaires. La prochaine étape naturelle pour ce framework serait une validation sur banc physique avec un multirotor réel et des opérateurs humains instrumentés, condition sine qua non avant toute intégration industrielle.

UEDes projets ANR et H2020 explorent des approches similaires ; ce framework STL pourrait alimenter la recherche européenne sur les drones industriels en proximité humaine, notamment pour la maintenance d'infrastructures énergétiques.

RecherchePaper

1 source

2arXiv cs.RO

LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré

Une équipe de chercheurs a publié sur arXiv (référence 2606.29358v1) un nouveau cadre de planification intitulé LAMP, pour Long-horizon Adaptive Manipulation Planning, conçu pour coordonner plusieurs robots manipulateurs dans des environnements très encombrés. Le système repose sur deux planificateurs complémentaires : LAMPA*, qui effectue une recherche systématique dans l'espace couplé objets-robots, et LAMP-Lazy, un planificateur dit "paresseux" qui diffère certaines évaluations pour permettre une replanification en temps réel. Les expériences ont été menées dans des environnements simulés à haute densité d'obstacles, où les méthodes existantes échouent à trouver des solutions. Aucun déploiement physique ni timeline de commercialisation n'est annoncé. Le verrou technique que LAMP cherche à lever est fondamental pour l'industrie : coordonner plusieurs bras robotiques sur des tâches longues dans des espaces confinés implique de raisonner simultanément sur les contacts physiques, les dynamiques couplées entre robots, et l'évitement de collision. Les deux approches dominantes aujourd'hui se heurtent à des murs de scalabilité distincts. L'apprentissage par renforcement end-to-end peine à généraliser dès que l'horizon de tâche s'allonge ou que le nombre de robots augmente. Les méthodes hybrides, qui planifient les trajectoires d'objets et apprennent des primitives de contact à courte portée, ne tiennent pas dans des scènes très denses. LAMP propose de rendre ce problème tractable via un modèle génératif appris, combiné à une stratégie de recherche adaptative, ce qui constitue une approche architecturalement différente des VLA (Vision-Language-Action models) qui dominent l'espace humanoïde. La planification multi-robot en environnement encombré est un problème central pour l'automatisation logistique et industrielle, où des acteurs comme Exotec (France) déploient des flottes de robots AMR dans des entrepôts à haute densité. La recherche en robotique académique a longtemps traité la manipulation et la coordination de flotte séparément ; des travaux comme LAMP signalent une convergence vers des systèmes unifiés capables de gérer les deux dimensions. Cependant, l'absence totale de validation sur hardware réel est une limite importante : le sim-to-real gap reste le principal obstacle entre des résultats de simulation convaincants et une industrialisation effective. Les prochaines étapes naturelles seraient des tests sur bancs physiques multi-bras, dans des configurations représentatives de cellules de picking ou d'assemblage.

RecherchePaper

1 source

3arXiv cs.RO

OSDAG : planification en ligne pour une collaboration multi-robots efficace

Des chercheurs ont publié le 18 juin 2026 sur arXiv (réf. 2606.15255) un framework appelé OSDAG, conçu pour coordonner des flottes de robots hétérogènes sur des tâches longues et complexes en combinant raisonnement par grand modèle de langage (LLM) et ordonnancement en ligne par graphe orienté acyclique (DAG). Le principe central : le LLM n'est invoqué qu'une seule fois, à la réception d'une instruction en langage naturel, pour décomposer la tâche en un graphe annoté de dépendances. Un ordonnanceur léger prend ensuite le relais en temps réel pour affecter à chaque robot disponible les sous-tâches dont les prérequis sont satisfaits. Les expériences portent sur cinq scénarios de référence, incluant des validations en simulation et sur des systèmes réels de manipulation à deux bras. Les résultats annoncés sont un gain de raisonnement de 5 à 15 fois par rapport aux approches conversationnelles, et une réduction du makespan (temps total d'exécution de la flotte) allant jusqu'à 38 % face aux baselines séquentielles, avec des taux de succès restant comparables. L'intérêt architectural est réel pour les intégrateurs de systèmes multi-robots : l'approche résout deux goulots d'étranglement identifiés dans les méthodes LLM existantes. Le premier est la latence cumulée des appels LLM répétés à chaque étape d'exécution, qui empire linéairement avec le nombre d'agents. Le second est l'ordonnancement pré-engagé hors ligne, qui force les robots à attendre leurs prédécesseurs même quand des tâches indépendantes sont disponibles. En encodant à la fois les contraintes de précédence et les contraintes de ressources dans le DAG, OSDAG expose tout le parallélisme exploitable sans sacrifier la correction du plan. Sur des lignes d'assemblage ou des entrepôts logistiques, cette distinction entre "planifier une fois" et "ordonnancer en continu" peut transformer la densité d'utilisation d'une flotte. OSDAG s'inscrit dans une vague de travaux cherchant à rendre les LLM opérationnels pour la robotique collaborative, aux côtés de frameworks comme SayPlan, RoCo ou les approches VLA (Vision-Language-Action). Ces méthodes souffrent généralement du dialogue-loop problem : chaque décision remonte au modèle, ce qui devient prohibitif à l'échelle. OSDAG adopte une architecture de séparation stricte planification/exécution, plus proche des moteurs de workflow industriels (type BPMN) que des agents conversationnels. Les auteurs valident sur des bras manipulateurs duaux, un environnement contrôlé, mais l'extension à des flottes AMR en entrepôt ou à des cellules de production réelles reste à démontrer. Le code et les ressources sont accessibles sur le site du projet (thanhnguyencanh.github.io/LLM_DAG4MultiRobot). Aucun partenariat industriel ni timeline de déploiement n'est mentionné : il s'agit d'une contribution de recherche, pas d'un produit.

UELes intégrateurs européens de flottes multi-robots (logistique, assemblage automatisé) pourraient bénéficier de ce framework open-source, mais aucun acteur ou déploiement européen n'est impliqué à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

UMCP : un réseau collaboratif multitâche unifié pour l'estimation de pose des chariots à bagages

Des chercheurs présentent UMCP (Unified Multi-Task Collaborative Perception network), un réseau de perception conçu pour la collecte robotisée et autonome de chariots à bagages, dans un article publié sur arXiv (2607.17950v1). Le problème visé est concret : dans un aéroport, des robots doivent localiser en continu des chariots dispersés dans des environnements encombrés et changeants, ce qui exige à la fois précision et fonctionnement en temps réel. Jusqu'ici, les systèmes de vision pour cette tâche s'appuyaient sur des chaînes de plusieurs modèles exécutés en cascade (détection, puis points-clés, puis orientation), ce qui allonge la latence d'inférence et alourdit le coût de déploiement. UMCP unifie ces trois tâches, détection du chariot, détection de points-clés et estimation de l'orientation, dans un seul réseau, construit sur l'architecture YOLOv12. Les caractéristiques de points-clés sont fusionnées avec celles d'orientation puis traitées par un module dédié, l'Orientation Feature Enhancement Module (OFEM), et l'orientation est en outre modélisée par une distribution de probabilité circulaire optimisée via une fonction de perte à divergence de Kullback-Leibler. Un site dédié présente les travaux (sites.google.com/view/robot-umcp). Pour l'industrie de la logistique aéroportuaire et robotique, l'intérêt est avant tout d'ordre pratique : remplacer une chaîne de modèles séquentiels par un seul réseau multi-tâches réduit la complexité de calcul et le coût de déploiement embarqué, un facteur décisif pour équiper des robots mobiles à budget de calcul limité. Les auteurs annoncent une précision globale compétitive avec cette approche unifiée, tout en réduisant sensiblement la charge computationnelle par rapport aux méthodes existantes, sans toutefois préciser à ce stade de tests en conditions aéroportuaires réelles à grande échelle. Ce travail s'inscrit dans la tendance plus large de la perception robotique vers des architectures multi-tâches partagées, en s'appuyant sur les avancées récentes de la famille YOLO pour la détection et l'estimation de pose combinées. Il reste, à ce stade, une contribution de recherche académique plutôt qu'un produit déployé : les gains annoncés proviennent de benchmarks internes, et l'étape suivante logique serait une validation sur flotte robotique réelle en environnement aéroportuaire.

RecherchePaper

1 source