RecherchearXiv cs.RO 31 août 2026

MaCoPlanner : planification de tâches assistée par LLM à partir de manuels, avec vérification proactive de la sécurité pour l'opération de panneaux industriels par des robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent MaCoPlanner, un framework de planification de taches pour l'opération robotique de panneaux de contrôle industriels, combinant grands modèles de langage et vérification de sécurité proactive. Le système compile des manuels d'équipement hétérogènes en une représentation intermédiaire typée, récupère les preuves pertinentes pour chaque tache et chaque état du dispositif, puis s'en sert pour générer des plans d'action. Avant toute actuation physique, les plans candidats sont simules symboliquement et confrontes aux contraintes procédurales et de transition d'état; les violations détectées sont localisées et renvoyées pour correction ciblée, tandis que les plans non résolus sont rejetés. Une interface d'exécution distincte traduit ensuite les actions symboliques validées en commandes physiques et met a jour l'état de l'appareil. Sous un oracle d'évaluation indépendant, MaCoPlanner atteint un taux de violation final de 2,7%, et 26,3% des exécutions analysées en correction sont rejetées après épuisement du budget de raffinement. Compare a une base "Raw-Manual" (lecture brute des manuels sans structuration), le taux de réussite des taches passe de 62,8% a 84,4% sur les taches de niveau 2, et de 25,9% a 43,2% sur celles de niveau 3, avec des essais menés sur un simulateur de panneau de contrôle, sans charge industrielle réelle attachée.

Ce résultat parle directement aux intégrateurs et responsables d'usine confrontes a un problème récurrent: les grands modèles de langage produisent des plans d'action plausibles mais souvent non conformes aux procédures de sécurité réelles, surtout quand les instructions sont dispersées dans des manuels hétérogènes et mal structures. En rendant la vérification proactive plutôt que corrective a posteriori, MaCoPlanner propose une piste concrète pour réduire l'écart, largement documente dans le secteur, entre démonstrations de planification par IA générative et fiabilité en conditions industrielles. Le quasi-doublement du taux de réussite sur les taches complexes de niveau 3 montre toutefois que la marge de progression reste large des que la complexité augmente, et le taux de rejet de plus d'un quart des exécutions rappelle que le système est conçu pour refuser plutôt qu'exécuter une action non vérifiée, un choix pertinent en environnement a risque mais qui limite la couverture opérationnelle.

Ce travail s'inscrit dans la recherche plus large sur les agents LLM appliques a la robotique industrielle, ou plusieurs équipes cherchent a exploiter les modèles de langage pour interpréter la documentation technique et générer des séquences d'opération sans reprogrammation manuelle exhaustive. Contrairement aux approches purement génératives, MaCoPlanner introduit une étape de compilation formelle et de vérification symbolique avant exécution, rapprochant la planification LLM des méthodes de vérification utilisées en robotique de sécurité critique. Les auteurs précisent explicitement que leurs expériences, menées sur simulateur sans charge industrielle réelle, démontrent une faisabilité d'exécution intégrée dans des conditions représentatives, sans revendiquer une maturité suffisante pour un déploiement industriel effectif. Les suites logiques évoquées pour ce type de recherche incluent des essais sur panneaux réels sous charge opérationnelle et une extension a d'autres classes d'équipements au-delà des panneaux de contrôle.

À lire aussi

1arXiv cs.RO

PanelShield : planification sécurisée en boucle fermée et vérifiable pour la manipulation de panneaux industriels par un robot

Une équipe de recherche présente PanelShield, un framework de planification robotique vérifiable pour l'opération de panneaux de contrôle industriels, dans un article publié sur arXiv le 28 août 2026 (arXiv:2608.28305v1). Le système génère des séquences d'actions paramétrées à partir de manuels d'opération, puis applique une double vérification formelle, logique temporelle linéaire (LTL) et machine à états finis de sécurité, pour contrôler la cohérence entre étapes et la légalité de chaque transition. En cas de violation, il produit un contre-exemple structuré signalant l'étape fautive la plus précoce et sa cause, permettant une correction ciblée puis une nouvelle vérification. Testé sur un benchmark maison couvrant trois types de panneaux industriels, en simulation et sur robot réel, PanelShield ramène le taux de violation à 2,7 % pour une latence totale de 4,1 secondes, avec de meilleures performances que des planificateurs basés uniquement sur des modèles fondation. L'enjeu dépasse la prouesse technique. Les planificateurs basés sur des modèles fondation, notamment les architectures vision-langage-action, montrent une forte capacité à interpréter des instructions et générer des actions, mais manquent de mécanismes calculables et auditables pour détecter et corriger les violations de règles de sécurité. Sur l'opération de tableaux de contrôle industriels, cette lacune est critique : une erreur de séquence peut avoir des conséquences physiques immédiates. En ajoutant une couche de vérification formelle au-dessus de la génération par IA, PanelShield illustre une piste pour combler l'écart entre démonstrations de robots pilotés par des modèles de langage et déploiement fiable en environnement réglementé, un prérequis pour les intégrateurs devant certifier leurs systèmes dans l'énergie ou la manufacture. Ce travail s'inscrit dans la recherche visant à rendre les planificateurs de robots basés sur des modèles de fondation plus fiables et traçables, alors que ces systèmes restent surtout démontrés en simulation ou en laboratoire plutôt que déployés en usine. Aucun partenaire industriel ni calendrier de pilote n'est mentionné : l'article reste à ce stade une contribution de recherche évaluée sur un benchmark maison et des expériences robotiques limitées à trois familles de panneaux. Les auteurs présentent PanelShield comme une approche équilibrant flexibilité, sécurité et auditabilité, ouvrant la voie à une extension vers d'autres équipements industriels.

RecherchePaper

1 source

2arXiv cs.RO

STEP : estimation et planification des tâches sensibles à l'état avec des LLM multimodaux pour la collaboration homme-robot

Des chercheurs présentent STEP (State-aware Task Estimator and Planner), un système publié le 27 août 2026 sur arXiv (arXiv:2608.27225v1) qui vise à améliorer la planification de tâches par des robots collaboratifs en environnement industriel. Le constat de départ est que les modèles de langage multimodaux (MM-LLM) récemment utilisés pour interpréter les actions humaines et générer des plans d'action en langage naturel, via apprentissage en contexte dans des scénarios pauvres en données, souffrent de deux défauts majeurs : ils ne suivent pas l'état réel du système ni ses transitions, ce qui produit des actions hallucinées s'écartant de l'objectif visé, et leurs plans restent formulés à un niveau trop abstrait, créant de l'ambiguïté au moment de l'exécution. STEP corrige cela en forçant le MM-LLM à estimer explicitement l'état du système et à prédire les transitions d'état résultant de chaque action exécutée, en plus de générer les actions elles-mêmes. Cette prédiction conjointe état/action garantit une planification convergente vers l'objectif et fournit les paramètres d'assistance nécessaires à l'exécution. Testé sur une tâche d'assemblage robotique en environnement simulé, STEP dépasse l'état de l'art de 32,8% en taux d'exécutabilité des actions et de 14,8% en réduction de l'erreur d'état final. Pour les intégrateurs et concepteurs de systèmes de cobotique industrielle, ce travail s'attaque directement à un point de friction connu des architectures de planification fondées sur les LLM : le décalage entre un plan verbalisé de façon plausible et un plan réellement exécutable par un robot, faute d'ancrage dans l'état physique du système. En rendant le suivi d'état explicite plutôt qu'implicite, STEP réduit le risque d'hallucination d'actions, un problème récurrent quand un LLM générique est plaqué sur une tâche de manipulation sans supervision d'état. Les gains rapportés, mesurés sur l'exécutabilité et l'erreur d'état final plutôt que sur des métriques cosmétiques, ciblent précisément la fiabilité opérationnelle recherchée en assemblage collaboratif homme-robot, un segment où la marge d'erreur tolérée reste faible. Ces résultats s'inscrivent dans la lignée des travaux récents exploitant les MM-LLM pour la planification de tâches en contexte de données rares, où l'apprentissage en contexte permet de s'affranchir d'un réentraînement lourd. Il faut toutefois noter que la validation se limite à un environnement simulé et à une seule tâche d'assemblage, sans démonstration sur robot physique ni déploiement industriel réel. STEP reste donc à ce stade une contribution de recherche méthodologique, dont la prochaine étape logique serait une validation sur du matériel réel et sur une variété de tâches plus large avant toute application en production.

RecherchePaper

1 source

3arXiv cs.RO

Planification des tâches pour la manipulation mobile en magasin grâce à des modèles fondation avec replanification itérative

Il s'agit d'un article de recherche arXiv (2607.09962v1), pas d'une annonce produit, je rédige le résumé en conséquence, en marquant clairement qu'il s'agit d'un travail encore au stade simulation. Des chercheurs présentent une méthode de planification de tâches pour la robotique mobile de manipulation appliquée au réassort en magasin, combinant grands modèles de langage (LLM) et modèles vision-langage (VLM). Le système reçoit des instructions formulées par un utilisateur, construit un plan d'action pour une plateforme de manipulation mobile omnidirectionnelle personnalisée, puis corrige ses erreurs grâce à une boucle de re-planification itérative fondée sur un retour visuel. Point important à souligner : l'ensemble du pipeline n'a été validé qu'en environnement de simulation PyBullet, sur des tâches de prise et dépose (pick-and-place), et non sur un robot physique en conditions réelles de magasin. L'abstract ne fournit ni chiffres de charge utile, ni degrés de liberté, ni temps de cycle, ni date de déploiement, ce qui limite la portée immédiatement opérationnelle de l'annonce. L'intérêt de ces travaux tient moins à la performance affichée qu'au périmètre visé : jusqu'ici, l'automatisation en logistique et distribution s'est concentrée sur des opérations d'arrière-boutique (tri, emballage) dans des environnements structurés et prévisibles. Étendre cette automatisation aux rayons de supermarché suppose de gérer un environnement bien plus variable et centré sur l'humain, avec des obstacles mobiles, des produits mal rangés et des interactions client. L'usage de LLM/VLM pour la planification de haut niveau, couplé à une re-planification réactive en cas d'échec, illustre une tendance plus large du secteur : tester si les modèles fondation permettent de généraliser au-delà des scénarios d'entrepôt scriptés. Mais tant que la preuve ne dépasse pas la simulation, l'écart classique entre démonstration et déploiement réel reste entier, et les intégrateurs B2B devront attendre une validation sur plateforme physique avant d'y voir un signal de maturité commerciale. Ce travail s'inscrit dans la vague plus large de recherche sur la manipulation mobile pilotée par foundation models, qui a vu émerger des architectures VLA comme Pi-0 ou GR00T N2 chez des acteurs orientés produit, mais qui reste ici traitée sous un angle académique, avec une plateforme de manipulation "custom" non identifiée commercialement. Le choix du cas d'usage réassort en supermarché reflète l'intérêt croissant du secteur retail pour l'automatisation de tâches jusqu'ici jugées trop non structurées pour la robotique, un terrain où des acteurs comme Simbe Robotics ou Bossa Nova ont déjà exploré l'inventaire par robot mobile, sans toutefois intégrer la manipulation physique des produits. La suite logique de ces travaux serait un transfert sim-to-real sur robot physique, étape non abordée dans cette publication, ce qui invite à considérer ce résultat comme une preuve de concept méthodologique plutôt qu'un jalon de déploiement.

RecherchePaper

1 source

4arXiv cs.RO

Vérification en temps réel de modèles pour la planification réactive en boucle fermée de robots

Une équipe de recherche a publié une version mise à jour (v2) sur arXiv (2508.19186) d'un article intitulé « Real-Time Model Checking for Closed-Loop Robot Reactive Planning », qui propose une méthode de vérification de modèles (model checking) pour la planification réactive multi-étapes d'un robot autonome. Le constat de départ : les méthodes classiques d'évitement d'obstacles ne raisonnent qu'un pas en avant et se retrouvent souvent piégées dans des minima locaux, par exemple face à une impasse (cul-de-sac) ou un obstacle isolé. Les auteurs ont conçu un petit algorithme de model checking, exécuté directement dans le code du robot, qui génère des plans en temps réel sur un appareil à faible puissance de calcul, sans données pré-calculées ni entraînement préalable. La méthode s'appuie sur des systèmes de contrôle temporaires, activés en chaîne pour contrer les perturbations locales qui écartent le robot de son comportement ou état de repos préféré, et limite l'explosion combinatoire de l'espace d'états en ne travaillant que sur des instantanés temporaires de l'environnement immédiat. La planification multi-étapes repose sur des contre-exemples générés par recherche en profondeur d'abord (depth-first search) et une propriété de chemin en logique temporelle linéaire (LTL) négée. L'intérêt pratique tient à la promesse d'un raisonnement multi-étapes low-cost, sans base de données ni apprentissage profond, embarquable sur du matériel modeste : un argument qui tranche avec la tendance dominante des approches de navigation gourmandes en données et en puissance de calcul. Pour les intégrateurs de robots mobiles critiques (véhicules autonomes, robots de mission), cela ouvre une piste de navigation sûre et déterministe, avec des garanties formelles issues du monde de la vérification logicielle plutôt que des heuristiques d'apprentissage. Les auteurs revendiquent des gains de performance mesurables face à un agent purement réactif limité à un seul pas de raisonnement. Le model checking est historiquement une technique de vérification formelle de logiciels et de systèmes critiques, ici détournée vers la planification de trajectoire en temps réel plutôt que vers l'analyse a posteriori. L'article, positionné comme une étude de cas pédagogique, ne revendique pas de déploiement industriel ni de produit commercialisé : il s'agit de résultats empiriques et de preuves informelles sur deux scénarios contrôlés (impasse et obstacle isolé), présentés comme base pour des travaux futurs en navigation embarquée sûre, notamment pour les véhicules autonomes et la robotique mobile mission-critique.

RecherchePaper

1 source