RecherchearXiv cs.RO 24 septembre 2026

Coordination multi-robots sécurisée par raisonnement VLM-LLM et analyse d'atteignabilité

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs décrivent, dans un article publié sur arXiv (référence 2609.27816v1), une architecture centralisée de coordination sécurisée pour des équipes hétérogènes de robots mobiles communiquant en machine-to-machine. Le système testé associe un quadrupède équipé de caméra et un véhicule robotique dépourvu de caméra, qui doivent atteindre conjointement une zone objectif tout en évitant des obstacles statiques et dynamiques et en prévenant les interactions dangereuses entre eux. Le quadrupède transmet sa compréhension sémantique de l'environnement à un serveur centralisé via un broker MQTT, ce qui permet au véhicule sans caméra de naviguer à partir de cette représentation partagée combinée à sa propre odométrie, ses centrales inertielles (IMU) et ses retours d'état. Un modèle vision-langage (VLM) interprète le flux vidéo et convertit les données sémantiques en contraintes géométriques métriques conservatives : ensembles d'obstacles dilatés, corridors sûrs et zones cibles. Un grand modèle de langage (LLM) propose ensuite une répartition des tâches de haut niveau, mais l'autorité d'exécution des commandes reste conditionnée à un filtre de vérification spécifique à chaque robot, fondé sur l'analyse d'atteignabilité par zonotopes, qui propage des tubes atteignables indépendants pour valider l'évitement d'obstacles, le confinement dans les corridors sûrs et la séparation entre robots avant d'approuver tout mouvement. Des expériences en conditions réelles, sur des scénarios à chemin dégagé et à obstacles dynamiques, montrent que le pipeline approuve de façon fiable les mouvements sûrs et déclenche une replanification conservative ou un arrêt temporaire dès qu'une contrainte est violée.

Ce travail illustre une tendance de fond en robotique multi-agents : coupler des modèles VLM et LLM, puissants mais non vérifiables formellement, à une couche de sécurité mathématiquement garantie, seule détentrice de l'autorité d'exécution. Pour les intégrateurs et décideurs qui envisagent des flottes hétérogènes (robots à pattes, AMR, bras manipulateurs) partageant un même espace de travail, l'article répond à une limite récurrente des approches de planification robotique purement fondées sur des modèles de langage : l'absence de garanties de sécurité. En séparant strictement le raisonnement sémantique consultatif de l'exécution motrice vérifiée, l'architecture traite explicitement l'écart entre démonstration et fiabilité opérationnelle, un enjeu central pour tout déploiement de systèmes robotiques pilotés par IA générative dans des environnements partagés avec des humains ou d'autres machines.

Cette publication s'inscrit dans un courant de recherche qui cherche à exploiter VLM et LLM pour la perception et la planification robotique tout en compensant leur manque de garanties par des méthodes de vérification formelle issues du contrôle, comme l'analyse d'atteignabilité par zonotopes, déjà employée pour certifier des systèmes autonomes critiques. Il s'agit d'une preuve de concept académique, testée en expériences réelles sur une paire de plateformes physiques plutôt qu'en simulation seule, ce qui la distingue de nombreuses démonstrations purement simulées du domaine. Aucun acteur européen n'apparaît dans cette publication, et les auteurs ne fixent aucun calendrier de transfert industriel, mais l'approche pourrait intéresser les fournisseurs de flottes multi-robots hétérogènes, notamment en logistique et en industrie, cherchant à certifier la sécurité d'interactions entre plateformes aux capacités de perception très différentes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage par renforcement contraint par la sécurité avec vérification d'atteignabilité post-entraînement pour la navigation robotique

Des chercheurs ont publié sur arXiv (2605.14174) un framework combinant apprentissage par renforcement contraint par le CVaR (Conditional Value-at-Risk) et vérification formelle post-entraînement pour la navigation sûre de robots mobiles en environnement encombré. La politique est entraînée sur un algorithme TD3 off-policy (Twin Delayed Deep Deterministic Policy Gradient) sous contraintes CVaR sur les coûts cumulés, ce qui la rend sensible aux événements rares à haute conséquence plutôt qu'aux seules performances moyennes. Après l'entraînement, des ensembles d'actions atteignables sont calculés sous incertitude d'observation bornée via une analyse par modèles de Taylor, produisant un taux de sécurité formel et quantifiable. Sur dix scénarios de navigation et six baselines concurrents, la méthode atteint 98,3 % de succès et le meilleur taux de vérification formelle parmi toutes les approches évaluées. La validation a été conduite sur un robot physique Clearpath Jackal, confirmant le transfert sim-to-real. Le résultat le plus significatif est une divergence démontrée entre classements par coût moyen et classements par vérification d'atteignabilité : un système jugé performant selon les métriques empiriques classiques peut dissimuler des comportements dangereux dans les queues de distribution. C'est un point critique pour les intégrateurs et les décideurs industriels qui qualifient leurs politiques de navigation sur des benchmarks de coût moyen. Les politiques entraînées avec contraintes CVaR maintiennent des marges de sécurité plus larges face aux obstacles, ce qui les rend structurellement plus compatibles avec la vérification formelle, prérequis pour une certification dans des secteurs réglementés comme la logistique, l'industrie ou la santé. Le CVaR, outil de la finance quantitative pour quantifier le risque de queue, s'impose progressivement dans les systèmes cyber-physiques. Ce travail reste une preprint arXiv, pas encore soumise à peer review. L'espace concurrent rassemble les approches par barrières de contrôle (CBF-QP), le RL lagrangien et les méthodes de Lyapunov. La vérification formelle de réseaux de neurones, portée par des outils comme alpha,beta-CROWN, est un axe en développement rapide. Des plateformes AMR comme celles de Clearpath (utilisée ici en validation) ou, côté français, des acteurs logistiques comme Exotec pourraient directement bénéficier de ce type de pipeline de validation. Les suites naturelles seraient une évaluation en environnements dynamiques avec obstacles mobiles et une soumission à une conférence majeure comme ICRA ou IROS.

UELes acteurs logistiques et industriels européens, dont Exotec en France, pourraient directement intégrer ce type de pipeline de validation formelle pour certifier leurs politiques de navigation AMR dans des secteurs réglementés (logistique, santé, industrie).

RecherchePaper

1 source

2arXiv cs.RO

Raisonnement spatial et sémantique pour la navigation robotique pilotée par LLM via MCP

Une équipe de recherche présente un framework qui connecte les grands modèles de langage (LLM) à la navigation robotique sous ROS (Robot Operating System) via le Model Context Protocol (MCP), protocole standardisé pour exposer des outils aux LLM. L'article, publié sur arXiv (2609.27340), décrit une couche de représentation orientée navigation qui transforme les grilles d'occupation (occupancy grids), des messages géométriques bruts habituellement illisibles pour un LLM, en images métriques annotées de la pose du robot. Un module d'annotation sémantique enregistre en parallèle des observations au niveau des points de passage (waypoints) avec les poses associées. Le système a été évalué sur trois tâches en environnement intérieur simulé : cartographie autonome, navigation par raisonnement spatial et navigation par raisonnement sémantique. Résultat rapporté : plus de 97% de couverture de carte, avec une sélection correcte des cibles de navigation à partir d'instructions en langage naturel, sans modification de la pile de navigation ROS existante ni développement de wrapper spécifique au robot. Cette approche répond à un verrou concret pour les intégrateurs robotiques : jusqu'ici, brancher un LLM sur un système de navigation existant exigeait souvent une interface sur mesure par robot, ce qui limitait fortement la réutilisation entre plateformes. En s'appuyant sur MCP comme couche d'abstraction standardisée, n'importe quel LLM compatible peut interroger la carte et l'historique sémantique sans intégration propriétaire, ce qui va dans le sens d'une industrialisation plus rapide des couches cognitives ajoutées aux stacks ROS déjà déployées en usine ou en entrepôt. Cela nourrit aussi le débat sur la capacité réelle des architectures VLA et des LLM à raisonner spatialement à partir de représentations non natives, plutôt que sur des données d'entraînement dédiées. Il faut toutefois noter que les résultats restent obtenus en simulation, sur un nombre de tâches limité, et non validés sur robot physique ni en environnement industriel réel. Le travail s'inscrit dans la tendance plus large d'associer LLM et piles ROS classiques sans les réécrire, une problématique déjà adressée par des approches de type prompt engineering ou fine-tuning spécifique, mais rarement via un protocole d'outils générique comme MCP, popularisé initialement pour connecter des LLM à des applications logicielles. Les auteurs ne mentionnent pas de partenaire industriel ni de calendrier de déploiement réel ; la prochaine étape logique, non annoncée ici, serait une validation sur robot physique et une comparaison avec d'autres backends LLM ou plateformes de navigation.

RecherchePaper

1 source

3arXiv cs.RO

Activation rapide des filtres de sécurité par expansion d'atteignabilité en une étape

Un preprint publié sur arXiv le 17 septembre 2026 (arXiv:2609.17904v1) corrige un défaut des filtres de sécurité « least-restrictive » fondés sur la reachability de Hamilton-Jacobi, une technique qui garantit mathématiquement qu'un robot évite tout état dangereux en ne reprenant le contrôle, au détriment du contrôleur nominal, qu'à la frontière d'un ensemble interdit appelé Backward Reachable Tube (BRT). Cette garantie suppose un temps continu, alors que les robots commandent en réalité à intervalles d'échantillonnage discrets : entre deux mises à jour, le système peut sauter directement dans le BRT sans jamais toucher sa frontière, provoquant des échecs que la théorie continue jugeait pourtant évitables. La solution proposée calcule un BRT étendu d'un pas de temps, qui anticipe tous les états capables d'atteindre le véritable BRT en une seule période d'échantillonnage, et déclenche l'intervention de sécurité dès cette frontière élargie plutôt que l'originale. Ce nouvel ensemble se formule comme un problème de reachability modifié, résoluble avec les solveurs continus standards déjà utilisés, sans outil de calcul supplémentaire. Les filtres HJ équipent déjà des systèmes critiques en robotique aérienne, conduite autonome et manipulation, où ils servent de dernier rempart contre les collisions et les états irrécupérables ; un déclenchement trop tardif, dû au simple échantillonnage discret d'un contrôleur embarqué, ouvre une brèche invisible en simulation continue mais bien réelle sur le terrain, illustration classique de l'écart entre garantie théorique et comportement en exploitation. Pour les intégrateurs et les équipes de sécurité fonctionnelle qui cadencent leurs boucles de contrôle à fréquence finie, le correctif est directement actionnable puisqu'il ne nécessite ni nouvelle architecture de filtre ni nouveau contrôleur. Le papier ne règle pas l'ensemble du fossé simulation-réel des systèmes robotiques, mais comble une faille précise dans la chaîne de garanties formelles, à un moment où la certification de sécurité devient un critère d'achat pour les robots humanoïdes et les AMR partageant leur espace avec des humains. Ce travail prolonge la reachability de Hamilton-Jacobi, cadre mathématique popularisé notamment par les travaux de Claire Tomlin à Berkeley et devenu un outil standard de contrôle sûr pour drones, véhicules autonomes et bras robotiques, aux côtés d'approches concurrentes comme les control barrier functions. Le décalage entre temps continu et temps discret qu'il traite est connu de la communauté et jusqu'ici atténué par des marges de sécurité conservatrices, jugées ici insuffisamment rigoureuses. L'abstract ne mentionne aucune implémentation sur robot physique ni benchmark chiffré : il s'agit à ce stade d'une contribution méthodologique validée mathématiquement, pas d'un produit déployé, la suite logique étant sa validation sur des plateformes réelles fonctionnant à fréquence de contrôle limitée.

RecherchePaper

1 source

4arXiv cs.RO

Coordination par relais pour la collecte et livraison multi-robots économe en énergie

Une équipe de chercheurs a publié sur arXiv (identifiant 2509.14127, version 2, septembre 2025) un cadre de planification baptisé VCST-RCP (Voronoi-Constrained Steiner Tree Relay Coordination Planning), conçu pour coordonner des flottes homogènes de robots mobiles dans des missions de livraison multi-colis depuis un dépôt unique vers des destinations dispersées. L'algorithme opère en deux phases: la construction d'un réseau de relais sparse combinant des interfaces d'échange dérivées de diagrammes de Voronoï à une optimisation par arbre de Steiner, puis la génération des plannings de collecte, relais et livraison sous contraintes de capacité de charge et de temps de service. Sur des expériences menées à plusieurs échelles, VCST-RCP réduit la distance totale parcourue par la flotte de 31% en moyenne, avec des pics proches de 50%, par rapport à l'algorithme d'affectation Hungarian assignment, et surpasse significativement OR-Tools CVRP, le solveur de référence de Google. La significativité statistique est établie à p inférieur à 10^-3, et le gain d'efficacité de livraison, mesuré en colis par kilomètre parcouru, dépasse 50%. Ces résultats intéressent directement les opérateurs de flottes AMR (robots mobiles autonomes) en intralogistique et en livraison de dernier kilomètre, où la distance parcourue est directement corrélée au coût énergétique et à l'usure matérielle. L'étude d'ablation incluse dans les travaux est particulièrement instructive: elle démontre que l'optimisation du placement des points de relais génère des gains substantiellement supérieurs à ceux obtenus par simple repartitionnement spatial, établissant le design des relais comme levier dominant de la performance système. Cela remet en question l'hypothèse implicite répandue chez les intégrateurs, selon laquelle le transport direct source-destination constitue la référence optimale par défaut. La scalabilité démontrée à différentes tailles de flotte est un argument supplémentaire pour une adoption industrielle. Le problème MRPD (Multi-Robot Pickup and Delivery) est un classique de l'optimisation combinatoire en robotique, mais les architectures relay-based à grande échelle restent peu explorées. Hungarian assignment et OR-Tools CVRP, les deux références battues dans cette étude, sont précisément les solveurs utilisés par les éditeurs de WMS et les intégrateurs de flottes dans des environnements comme ceux d'Exotec (Roubaix), 6 River Systems ou Locus Robotics. Ce travail reste cependant un preprint arXiv, sans validation sur plateforme réelle annoncée: les gains en simulation sont solides, mais la transition sim-to-real, notamment face à la congestion dynamique et aux pannes robot en cours de mission, reste à prouver. Les extensions naturelles incluent des flottes hétérogènes et des dépôts multiples.

UEL'algorithme VCST-RCP, s'il est validé en environnement réel, pourrait réduire de ~30% les coûts énergétiques des flottes AMR d'acteurs européens comme Exotec (Roubaix) qui utilisent actuellement Hungarian assignment ou OR-Tools CVRP comme solveurs de référence.

RecherchePaper

1 source