CoViLLM : un cadre collaboratif adaptatif humain-robot pour l'assemblage, basé sur des grands modèles de langage

Des chercheurs présentent CoViLLM, un framework de collaboration homme-robot pour l'assemblage adaptatif, décrit dans une prépublication arXiv (2603.11461v3, version révisée). Le système combine trois briques : une localisation d'objets par caméra de profondeur pour estimer la position des pièces, une classification opérée par l'humain pour identifier les composants nouveaux ou non répertoriés, et un grand modèle de langage chargé de générer les plans de tâches d'assemblage à partir d'instructions en langage naturel. Les auteurs valident leur approche sur le NIST Assembly Task Board, un banc d'essai standardisé de référence pour l'évaluation de systèmes d'assemblage robotique, en testant trois scénarios distincts : produits connus, produits personnalisés, et produits totalement inédits pour le robot.

L'enjeu dépassé ici est celui de la rigidité des robots industriels classiques, programmés selon des règles fixes et donc mal adaptés à la personnalisation de masse, un défi central pour les lignes de production modernes. Les frameworks de collaboration homme-robot existants s'appuient généralement sur des pipelines de perception-manipulation prédéfinis, ce qui les empêche de générer eux-mêmes des plans pour assembler un produit jamais vu. CoViLLM prétend lever cette limite en confiant au LLM la planification de tâches à la volée, ce qui, si les résultats se confirment à plus grande échelle, intéresserait directement les intégrateurs et fabricants cherchant à réduire les coûts de reprogrammation lors de changements de variantes produit, un enjeu récurrent dans l'électronique, l'automobile ou les biens de consommation. Les résultats publiés restent toutefois limités à un banc d'essai de laboratoire, et non à une chaîne de production réelle, ce qui appelle à la prudence sur la généralisation immédiate.

Ce travail s'inscrit dans la vague de recherches associant modèles de langage et robotique manipulatrice, où les LLM sont de plus en plus testés comme couche de raisonnement au-dessus de pipelines de perception classiques plutôt que comme modèles vision-langage-action de bout en bout. Le choix du NIST Assembly Task Board comme référence permet une comparaison future avec d'autres approches de la communauté robotique académique, sans toutefois indiquer à ce stade de partenariat industriel ou de calendrier de déploiement au-delà du cadre expérimental décrit.