Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Revue des grands modèles de langage pour les systèmes multi-robots
RecherchearXiv cs.RO 

Revue des grands modèles de langage pour les systèmes multi-robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (référence 2502.03814, version 5) la première revue systématique dédiée à l'intégration des grands modèles de langage (LLM) dans les systèmes multi-robots (MRS). Le survey catégorise les usages en trois niveaux d'abstraction : allocation de tâches de haut niveau (décomposition d'objectifs, planification globale), planification de trajectoire au niveau intermédiaire, et génération d'actions bas niveau, auxquels s'ajoute une quatrième dimension couvrant l'intervention humaine et la collaboration homme-robot. Les domaines d'application recensés incluent la robotique domestique, la construction, le contrôle de formation, le suivi de cibles mobiles et les jeux multi-agents robotiques. Les auteurs maintiennent un dépôt GitHub open source mis à jour en continu pour suivre l'évolution rapide des publications.

Le principal apport de ce travail est de combler un angle mort : la littérature sur les LLM en robotique se concentrait jusqu'ici sur les systèmes mono-robot, ignorant les défis propres à la coordination distribuée. Passer à plusieurs robots soulève des problèmes structurels distincts : scalabilité des communications, cohérence des plans entre agents, gestion des conflits de ressources. Les auteurs documentent des gains réels en compréhension du langage naturel et en décomposition de tâches complexes, mais identifient trois obstacles majeurs à l'adoption industrielle : les lacunes en raisonnement mathématique (planification géométrique, optimisation multi-agents), les hallucinations pouvant propager des erreurs à l'échelle d'une flotte entière, et la latence d'inférence, incompatible avec les boucles de contrôle temps réel des systèmes industriels.

Ce survey arrive dans un contexte où plusieurs acteurs tentent d'industrialiser la coordination robotique fondée sur les LLM : Google DeepMind avec RT-2 et SayCan, Physical Intelligence avec Pi-0, et Figure AI ont chacun démontré des capacités de planification langage-vers-action sur des robots individuels ou en nombre limité. L'extension à des flottes hétérogènes reste un problème ouvert, en particulier sur le sim-to-real : les benchmarks actuels, souvent conduits en simulation, ne reflètent pas fidèlement les contraintes de déploiement réel. Les auteurs identifient le fine-tuning sur des données multi-robots spécifiques, le développement de modèles de raisonnement dédiés aux tâches, et la création de benchmarks standardisés comme priorités de recherche à venir. Aucun calendrier de déploiement commercial n'est évoqué dans le document.

Dans nos dossiers

FigurePhysical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

Grands modèles vision-langage-action (VLA) pour la manipulation robotique : une revue
1arXiv cs.RO 

Grands modèles vision-langage-action (VLA) pour la manipulation robotique : une revue

Une équipe de chercheurs publie sur arXiv (référence 2508.13073, troisième version) une revue systématique consacrée aux modèles Vision-Language-Action (VLA) construits sur de grands modèles vision-langage (VLM) pour la manipulation robotique. Le travail propose une taxonomie en deux familles d'architectures : les modèles monolithiques, déclinés en conception à système unique ou à double système selon le degré d'intégration entre perception et action, et les modèles hiérarchiques, qui séparent explicitement la planification de l'exécution via des représentations intermédiaires interprétables. La revue couvre l'articulation de ces modèles avec l'apprentissage par renforcement, l'optimisation sans réentraînement, l'apprentissage à partir de vidéos humaines et les modèles du monde, et recense les jeux de données et benchmarks du domaine. Les auteurs publient une page de projet mise à jour en continu sur GitHub, sous le compte JiuTian-VL. Contrairement aux annonces produits qui rythment l'actualité de la robotique humanoïde, ce travail ne présente ni déploiement ni chiffre de performance vérifié : c'est un effort de mise en ordre académique, justifié par la fragmentation et les incohérences de taxonomie qui caractérisent aujourd'hui le champ des VLA. Pour les intégrateurs et décideurs B2B, l'intérêt est méthodologique plutôt qu'opérationnel : la distinction entre architectures monolithiques et hiérarchiques donne une grille pour décrypter des offres commerciales qui se réclament du "VLA" sans détailler leur conception interne. La revue rappelle aussi que plusieurs briques restent des chantiers ouverts, mémoire, perception 4D, adaptation efficace, coopération multi-agents, ce qui tempère l'idée qu'un modèle vision-langage-action généraliste serait déjà un problème résolu à l'échelle industrielle. Les VLA se sont imposés ces dernières années comme alternative aux méthodes robotiques à base de règles, jugées incapables de généraliser à des environnements non structurés, en s'appuyant sur des VLM pré-entraînés sur de vastes corpus image-texte. Cette revue s'inscrit dans une production académique croissante qui tente de cartographier un champ où de nombreux laboratoires publient des architectures concurrentes sans convention de classification commune, d'où l'objectif affiché de résoudre les incohérences des taxonomies existantes. Le document ne cite aucun système commercial ni partenaire industriel précis ; il est pensé comme une ressource vivante, régulièrement actualisée, utile pour situer les futures annonces de VLA propriétaires, qu'elles viennent de laboratoires de recherche ou de fabricants de robots humanoïdes, par rapport à l'état de l'art académique.

RecherchePaper
1 source
Grands modèles multimodaux pour le contrôle direct de robots : GPT-6 comme point de départ
2arXiv cs.RO 

Grands modèles multimodaux pour le contrôle direct de robots : GPT-6 comme point de départ

Des chercheurs publient sur arXiv (octobre 2026) une évaluation systématique de GPT-6 Astra, modèle multimodal généraliste d'OpenAI, utilisé en contrôle direct de bras robotiques en boucle fermée via un cadre d'exécution d'agent léger. Les auteurs testent d'abord trois capacités élémentaires : la perception de profondeur, l'apprentissage en contexte à partir de démonstrations et la compréhension tactile. Le modèle exploite l'information de profondeur, tire des stratégies simples de démonstrations fournies dans le prompt et corrige ses actions grâce à un retour tactile. Il est ensuite évalué sur cinq benchmarks de manipulation selon six dimensions de capacité : 26,92 % de réussite sur RoboDojo et 76,0 % sur RoboTwin 2.0. Les auteurs introduisent aussi LIBERO-GeoMotion, un benchmark de tâches à contraintes géométriques (alignement de pose précis, translation et rotation coordonnées, anticipation des conséquences physiques), où GPT-6 Astra n'atteint que 11,1 % de succès en zéro-shot. En conditions réelles, l'exécution zéro-shot fonctionne sur des tâches simples, mais la faisabilité du mouvement, la précision et la sécurité physique restent déficientes, et la latence d'inférence est jugée substantielle. L'intérêt tient à ce que l'étude mesure, hors démonstration, ce que donne un modèle généraliste sans entraînement robotique dédié. Elle met en évidence un écart net entre raisonnement sémantique et exécution physique : le modèle comprend la scène et la consigne, mais peine à produire des trajectoires réalisables, précises et sûres. Pour les intégrateurs et les décideurs industriels, le message est que le contrôle direct par un modèle fondation généraliste n'est pas prêt pour des postes exigeant précision et sécurité, d'autant que la latence interdit les cadences industrielles. Le score élevé sur RoboTwin 2.0 contraste avec les 11,1 % de LIBERO-GeoMotion, ce qui rappelle que les benchmarks existants peuvent masquer des faiblesses géométriques. Ces résultats nuancent l'idée qu'une montée en puissance des modèles de langage et de vision suffirait à résoudre la manipulation, et renforcent l'intérêt des modèles VLA spécialisés entraînés sur des données d'action. Le travail s'inscrit dans la tendance à utiliser des modèles multimodaux comme « cerveau » de robots, entre planificateurs de haut niveau et politiques entraînées de bout en bout comme Pi-0, GR00T ou Helix, qui produisent directement les actions à haute fréquence. Le titre, « GPT-6 as a Beginning », indique que les auteurs voient ces résultats comme un point de départ et non un verdict. Les pistes naturelles sont la réduction de la latence, l'intégration de contrôleurs bas niveau pour la précision et la sécurité, et des benchmarks plus exigeants sur les contraintes géométriques. Il s'agit d'une prépublication v1, non évaluée par les pairs, et aucun déploiement industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots
3arXiv cs.RO 

VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots

Une équipe de chercheurs a présenté VISOR, un oracle de test automatisé pour la robotique basé sur des modèles vision-langage (VLM). Publiée sur arXiv (2605.10408), la méthode vise à résoudre ce que le domaine nomme le "problème de l'oracle de test" : déterminer automatiquement si un robot a accompli une tâche de manière correcte et avec une qualité suffisante. Jusqu'ici, deux approches coexistaient : les oracles symboliques, limités à des jugements binaires pass/fail et spécifiques à chaque tâche, et l'évaluation humaine manuelle, coûteuse, subjective et sujette aux erreurs. VISOR s'appuie sur GPT (OpenAI) et Gemini (Google) pour évaluer à la fois la correction et la qualité d'exécution, et pour quantifier son propre niveau d'incertitude lors des assessments. Le système a été validé sur plus de 1 000 vidéos couvrant quatre tâches robotiques distinctes. Les résultats montrent des profils contrastés : Gemini obtient un meilleur rappel (recall), identifiant davantage de vraies défaillances, tandis que GPT affiche une meilleure précision avec moins de faux positifs. Ces résultats nuancent l'idée d'un VLM universellement fiable comme juge de comportements robotiques. Plus problématique : les deux modèles présentent une faible corrélation entre leur score d'incertitude auto-déclaré et la correction réelle de leurs jugements. L'incertitude ne peut donc pas servir d'indicateur fiable pour filtrer les erreurs d'évaluation, ce qui est une limite directe pour tout déploiement en pipeline de test continu, où un tel signal de fiabilité serait précieux. Le "problème de l'oracle de test" est une problématique classique du génie logiciel, qui prend une dimension particulière en robotique physique : les comportements y sont continus, bruités et difficiles à formaliser symboliquement. L'approche VLM-as-judge, popularisée dans l'évaluation des LLMs textuels via des benchmarks comme MT-Bench ou AlpacaEval, est ici transposée à des sorties vidéo de robots, ce qui constitue une extension non triviale. Des travaux concurrents explorent des métriques spécifiques aux tâches ou des simulateurs avec vérification formelle, mais VISOR mise sur la généralité au détriment d'une calibration encore insuffisante. La prochaine étape identifiée par les auteurs est précisément d'améliorer cette corrélation incertitude-correction, condition nécessaire avant toute intégration dans un pipeline CI/CD robotique.

RecherchePaper
1 source
Scale-Plan : planification de tâches par le langage pour équipes multi-robots hétérogènes, à grande échelle
4arXiv cs.RO 

Scale-Plan : planification de tâches par le langage pour équipes multi-robots hétérogènes, à grande échelle

Le Honda Research Institute a publié sur arXiv une version révisée (v2, arXiv:2603.08814) de Scale-Plan, un système de planification de tâches à long horizon pour des équipes de robots hétérogènes. Face aux planificateurs symboliques classiques, qui exigent des spécifications construites à la main, et aux approches par grands modèles de langage, sujettes aux hallucinations et à un mauvais ancrage dans des environnements riches en objets, la méthode filtre l'information perceptuelle avant de planifier. À partir d'une spécification de domaine au format PDDL, Scale-Plan construit un graphe d'actions représentant la structure du domaine, puis utilise un raisonnement LLM volontairement superficiel pour guider une recherche structurée qui isole le sous-ensemble minimal d'actions et d'objets pertinents pour l'instruction donnée en langage naturel. Les auteurs introduisent aussi MAT2-THOR, un benchmark nettoyé bâti sur le simulateur AI2-THOR, destiné à évaluer de façon fiable les systèmes de planification multi-robot. L'enjeu est concret pour les intégrateurs de flottes hétérogènes : plus le nombre d'objets et d'agents croît, plus les planificateurs symboliques deviennent lourds à construire manuellement, tandis que les approches purement LLM perdent en fiabilité en inventant des actions ou des objets absents de l'environnement réel. En réduisant le problème à un sous-graphe minimal avant la décomposition des tâches, l'allocation entre robots et la génération de plans longs, Scale-Plan vise à combiner la robustesse du raisonnement symbolique et la flexibilité du langage naturel. Sur des tâches multi-agents complexes, la méthode dépasse les bases purement LLM et les approches hybrides LLM-PDDL sur l'ensemble des métriques rapportées, ce qui suggère que le goulot d'étranglement des architectures associant LLM et robotique tient moins à la puissance du modèle de langage qu'au volume de contexte non pertinent qu'on lui soumet. Il s'agit à ce stade d'une publication de recherche et non d'un produit déployé : aucun robot physique, aucune charge utile, degré de liberté ou temps de cycle n'est mentionné, le travail portant sur la couche de planification de tâches plutôt que sur le contrôle bas niveau, à la différence de politiques de manipulation comme Pi-0 ou GR00T N2. Le code est publié sur le dépôt GitHub honda-research-institute/Scale_Plan, permettant une reproduction indépendante des résultats. L'article ne précise ni partenaire industriel ni calendrier de déploiement ; les auteurs indiquent vouloir étendre le benchmark MAT2-THOR et valider l'approche sur des tâches multi-robots encore plus complexes.

RecherchePaper
1 source