STEP : estimation et planification des tâches sensibles à l'état avec des LLM multimodaux pour la collaboration homme-robot

Des chercheurs présentent STEP (State-aware Task Estimator and Planner), un système publié le 27 août 2026 sur arXiv (arXiv:2608.27225v1) qui vise à améliorer la planification de tâches par des robots collaboratifs en environnement industriel. Le constat de départ est que les modèles de langage multimodaux (MM-LLM) récemment utilisés pour interpréter les actions humaines et générer des plans d'action en langage naturel, via apprentissage en contexte dans des scénarios pauvres en données, souffrent de deux défauts majeurs : ils ne suivent pas l'état réel du système ni ses transitions, ce qui produit des actions hallucinées s'écartant de l'objectif visé, et leurs plans restent formulés à un niveau trop abstrait, créant de l'ambiguïté au moment de l'exécution. STEP corrige cela en forçant le MM-LLM à estimer explicitement l'état du système et à prédire les transitions d'état résultant de chaque action exécutée, en plus de générer les actions elles-mêmes. Cette prédiction conjointe état/action garantit une planification convergente vers l'objectif et fournit les paramètres d'assistance nécessaires à l'exécution. Testé sur une tâche d'assemblage robotique en environnement simulé, STEP dépasse l'état de l'art de 32,8% en taux d'exécutabilité des actions et de 14,8% en réduction de l'erreur d'état final.

Pour les intégrateurs et concepteurs de systèmes de cobotique industrielle, ce travail s'attaque directement à un point de friction connu des architectures de planification fondées sur les LLM : le décalage entre un plan verbalisé de façon plausible et un plan réellement exécutable par un robot, faute d'ancrage dans l'état physique du système. En rendant le suivi d'état explicite plutôt qu'implicite, STEP réduit le risque d'hallucination d'actions, un problème récurrent quand un LLM générique est plaqué sur une tâche de manipulation sans supervision d'état. Les gains rapportés, mesurés sur l'exécutabilité et l'erreur d'état final plutôt que sur des métriques cosmétiques, ciblent précisément la fiabilité opérationnelle recherchée en assemblage collaboratif homme-robot, un segment où la marge d'erreur tolérée reste faible.

Ces résultats s'inscrivent dans la lignée des travaux récents exploitant les MM-LLM pour la planification de tâches en contexte de données rares, où l'apprentissage en contexte permet de s'affranchir d'un réentraînement lourd. Il faut toutefois noter que la validation se limite à un environnement simulé et à une seule tâche d'assemblage, sans démonstration sur robot physique ni déploiement industriel réel. STEP reste donc à ce stade une contribution de recherche méthodologique, dont la prochaine étape logique serait une validation sur du matériel réel et sur une variété de tâches plus large avant toute application en production.