RecherchearXiv cs.RO 23 octobre 2026

Sélection multi-outils pour les systèmes robotiques : comparaison entre recherche sémantique et LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2610.31013) une comparaison de quatre stratégies de « tool routing » pour robots pilotés en langage naturel. Le tool routing consiste à sélectionner le plus petit sous-ensemble complet de capacités exécutables prédéfinies nécessaires à une requête. Trois méthodes reposent sur la base vectorielle ChromaDB: un seuil de similarité fixe (v1), une distance relative (v2) et une agrégation par clause (CDB-v3). La quatrième est une référence cloud, un modèle de langage de 120 milliards de paramètres. Le banc d'essai compte 164 prompts annotés à la main, répartis en trois niveaux: requêtes directes à un seul outil, puis requêtes composées exigeant au moins trois outils. Les métriques sont l'exact-match, la complétude, la précision, un score composite pondéré par la complétude et la latence de routage. CDB-v3 obtient le meilleur score macro-moyen parmi les approches par récupération seule, à 0,7822, contre 0,8869 pour le grand modèle. Les auteurs ne chiffrent pas la latence dans le résumé, mais la jugent « sensiblement » plus faible pour CDB-v3.

Le résultat est modeste mais utile pour les intégrateurs. Il montre que l'écart de qualité de routage entre un LLM de 120 milliards de paramètres et une récupération sémantique locale reste d'environ 10 points de score composite. Il ne s'agit donc pas d'un choix évident en faveur du plus gros modèle. Pour un robot sans connexion fiable, soumis à des contraintes de confidentialité (site industriel, défense, santé) ou limité en calcul embarqué, une récupération qui tourne en local sans cloud peut suffire. L'enjeu est concret avec les requêtes composées. Une sélection incomplète peut omettre une capacité de perception ou de surveillance nécessaire, et une sélection excessive expose des outils sans rapport avec la demande. La pondération par la complétude du score composite traduit ce choix: mieux vaut un outil en trop qu'un outil manquant. Cela dit, un jeu de 164 prompts annotés par les auteurs reste petit. Aucun test sur robot réel n'est annoncé, et la latence n'est pas détaillée dans le résumé.

Ce travail s'inscrit dans la généralisation des interfaces en langage naturel au-dessus des planificateurs de mission et des middlewares robotiques. Les approches courantes passent par des agents LLM appelant des outils (function calling) ou par des modèles vision-langage-action (VLA). Le routage d'outils par récupération sémantique, déjà répandu dans les agents logiciels qui gèrent de larges catalogues d'outils, est ici adapté aux contraintes de la robotique. L'étape suivante logique serait de tester des modèles de langage plus petits, exécutés en local, face à CDB-v3 et d'élargir le corpus. Il faudrait aussi évaluer le routage sur des catalogues d'outils plus vastes et en conditions réelles de mission. Il s'agit d'une publication académique, sans produit ni déploiement associé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Livraison et collecte dynamiques multi-agents dans les systèmes d'entrepôt robotisé cellulaire

Une équipe de chercheurs publie sur arXiv (réf. 2606.05669, juin 2026) la première formalisation du problème de collecte et livraison multi-agents (MAPD) intégrant l'évolution dynamique des commandes dans les entrepôts robotisés à cellules (RCWS). Le constat de départ est un angle mort opérationnel connu: les algorithmes MAPD classiques supposent des tâches figées, alors que dans la réalité industrielle, de nouvelles références (SKU) s'ajoutent à une commande pendant son exécution. Pour y répondre, les auteurs proposent deux algorithmes de replanification en ligne déclenchés par événements, construits sur le paradigme du token passing. Le premier, Dynamic Token Passing (DTP), effectue une replanification localisée à chaque mise à jour via une décomposition add-order et un ordonnancement prioritaire des accès, tout en garantissant l'absence de collisions entre robots. Le second, Cooperative Token Passing (CTP), mobilise en plus les robots inactifs pour absorber opportunément les nouveaux pickups ajoutés en cours d'exécution. Des simulations en environnement RCWS montrent une réduction significative du flowtime de commandes par rapport aux baselines statiques et non coopératives, sans que les auteurs ne publient de chiffres précis à ce stade. L'enjeu pour les intégrateurs d'entrepôts automatisés est direct: toute modification de commande en cours force aujourd'hui soit une replanification globale coûteuse en temps de calcul, soit une dégradation de la qualité de service. Ce travail comble pour la première fois l'écart entre la littérature académique sur le MAPD et les contraintes opérationnelles réelles des ERP industriels. Le mécanisme coopératif du CTP est particulièrement notable: il exploite la capacité oisive des flottes denses plutôt que de relancer un planning complet, remettant en question l'hypothèse selon laquelle la planification statique par vagues suffit aux RCWS commerciaux actuels. Le token passing est un paradigme bien établi dans la recherche en planification multi-agents (MAPF), notamment autour des travaux de Sven Koenig. Son application aux RCWS cible des architectures déployées par AutoStore (Norvège), Ocado Technology et Hai Robotics, ainsi que par l'acteur français Exotec (Villeneuve-d'Ascq) avec son système Skypod, dont les configurations à grille dense concentrent des centaines de robots sur un volume compact. Ces environnements sont précisément ceux où la coordination dynamique devient critique à mesure que les densités de flotte augmentent. Ce travail reste à ce stade une contribution académique sans déploiement ni partenariat industriel annoncé; la prochaine étape logique serait une validation sur environnement physique et une intégration avec des WMS industriels existants.

UEExotec (Villeneuve-d'Ascq), dont le système Skypod est explicitement cité comme architecture cible, pourrait bénéficier de ces algorithmes si intégrés dans un WMS industriel, renforçant sa compétitivité face à AutoStore et Ocado dans les entrepôts à haute densité de flotte.

RecherchePaper

1 source

2arXiv cs.RO

Raisonnement spatial et sémantique pour la navigation robotique pilotée par LLM via MCP

Une équipe de recherche présente un framework qui connecte les grands modèles de langage (LLM) à la navigation robotique sous ROS (Robot Operating System) via le Model Context Protocol (MCP), protocole standardisé pour exposer des outils aux LLM. L'article, publié sur arXiv (2609.27340), décrit une couche de représentation orientée navigation qui transforme les grilles d'occupation (occupancy grids), des messages géométriques bruts habituellement illisibles pour un LLM, en images métriques annotées de la pose du robot. Un module d'annotation sémantique enregistre en parallèle des observations au niveau des points de passage (waypoints) avec les poses associées. Le système a été évalué sur trois tâches en environnement intérieur simulé : cartographie autonome, navigation par raisonnement spatial et navigation par raisonnement sémantique. Résultat rapporté : plus de 97% de couverture de carte, avec une sélection correcte des cibles de navigation à partir d'instructions en langage naturel, sans modification de la pile de navigation ROS existante ni développement de wrapper spécifique au robot. Cette approche répond à un verrou concret pour les intégrateurs robotiques : jusqu'ici, brancher un LLM sur un système de navigation existant exigeait souvent une interface sur mesure par robot, ce qui limitait fortement la réutilisation entre plateformes. En s'appuyant sur MCP comme couche d'abstraction standardisée, n'importe quel LLM compatible peut interroger la carte et l'historique sémantique sans intégration propriétaire, ce qui va dans le sens d'une industrialisation plus rapide des couches cognitives ajoutées aux stacks ROS déjà déployées en usine ou en entrepôt. Cela nourrit aussi le débat sur la capacité réelle des architectures VLA et des LLM à raisonner spatialement à partir de représentations non natives, plutôt que sur des données d'entraînement dédiées. Il faut toutefois noter que les résultats restent obtenus en simulation, sur un nombre de tâches limité, et non validés sur robot physique ni en environnement industriel réel. Le travail s'inscrit dans la tendance plus large d'associer LLM et piles ROS classiques sans les réécrire, une problématique déjà adressée par des approches de type prompt engineering ou fine-tuning spécifique, mais rarement via un protocole d'outils générique comme MCP, popularisé initialement pour connecter des LLM à des applications logicielles. Les auteurs ne mentionnent pas de partenaire industriel ni de calendrier de déploiement réel ; la prochaine étape logique, non annoncée ici, serait une validation sur robot physique et une comparaison avec d'autres backends LLM ou plateformes de navigation.

RecherchePaper

1 source

3arXiv cs.RO

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable

Des chercheurs présentent un système qui relie raisonnement en langage naturel et exécution physique sûre pour la manipulation robotique, décrit dans un article publié le 29 août 2026 sur arXiv (2608.29379v1). Le pipeline part d'observations RGB-D pour construire un modèle de scène explicite tenant compte des collisions, puis contraint les décisions d'un grand modèle de langage via des appels d'outils validés par schéma selon le Model Context Protocol (MCP), rejetant les commandes mal formées avant qu'elles n'atteignent le robot. Chaque appel validé est ensuite traduit de façon déterministe dans un pipeline MoveIt Task Constructor, où les mouvements candidats sont vérifiés contre la scène reconstruite avant exécution, une étape de type "vérifier puis agir". Testé sur un bras robotique physique UFactory 850, le système atteint jusqu'à 80% de réussite sur dix essais par tâche pour des opérations de versement impliquant liquides, matières granulaires et solides discrets, et 90% de réussite sur une tâche de saisie-et-dépose avec la même architecture. L'intérêt de ces travaux tient à la démonstration chiffrée d'un problème bien identifié dans la robotique pilotée par LLM: un plan verbalement cohérent peut être physiquement infaisable si la cinématique et les collisions ne sont pas vérifiées avant exécution. Les auteurs montrent qu'une politique scriptée classique surpasse légèrement leur méthode sur la tâche la plus simple, mais chute à seulement 10% de réussite sur la tâche la plus difficile, contre 60% pour leur approche contrainte. Pour les intégrateurs industriels et les équipes robotique, ce résultat suggère qu'ajouter une couche de validation formelle entre le langage et l'action améliore surtout la robustesse sur les cas complexes, plutôt que la performance brute sur les cas faciles où des solutions scriptées suffisent déjà. Ce travail s'inscrit dans la lignée des recherches sur le "language-action gap", l'écart entre la capacité des LLM à décomposer des instructions en séquences d'actions et leur incapacité native à garantir la faisabilité physique de ces actions dans un environnement encombré et perçu de façon imparfaite. La solution proposée combine plusieurs briques existantes, le MCP pour la validation structurée des appels d'outils côté langage, et MoveIt Task Constructor pour la planification de mouvement sous contraintes cinématiques et de collision côté robot, plutôt que d'introduire une nouvelle architecture de bout en bout. Les tests restent limités à un seul bras robotique et un nombre réduit d'essais par tâche, ce qui invite à la prudence avant toute extrapolation vers des déploiements industriels à plus grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper

1 source