Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Agentic Harnesses : des couches de vérification pilotées par LLM pour l'autonomie des robots
RecherchearXiv cs.RO 

Agentic Harnesses : des couches de vérification pilotées par LLM pour l'autonomie des robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (identifiant 2608.09857) propose une couche de vérification pilotée par des grands modèles de langage (LLM), insérée entre la planification et l'exécution des actions d'un robot autonome. Ce middleware, dénommé « agentic harness », intercepte les plans avant qu'ils n'atteignent le serveur MCP (Model Context Protocol) et les commandes bas niveau du robot, en s'appuyant sur un ensemble de LLM juges qui combinent raisonnement en chaîne de pensée et synthèse multi-modèles, selon une logique de mélange d'experts et d'auto-cohérence. Chaque plan est classé en trois catégories : approuvé, rejeté pour reformulation, ou escaladé vers une révision humaine. Les auteurs rapportent une précision proche de 85% sur ces trois catégories, un taux de blocage de 97% des attaques adversariales, et des erreurs quasi nulles entre acceptation et rejet, la plupart des erreurs résiduelles se situant à la frontière de l'escalade.

Cette proposition comble un angle mort de la recherche en robotique autonome, jusqu'ici concentrée sur l'exécution des plans plutôt que sur la vérification de leur faisabilité : comme les LLM généralistes, les modèles de planification robotique peuvent produire des actions biaisées vers l'objectif fixé par l'utilisateur, contraires à l'éthique scientifique, dangereuses faute de mémoire des risques déjà identifiés, ou vulnérables aux attaques adversariales. Pour les intégrateurs qui déploient des piles agentiques combinant modèles vision-langage-action et contrôle robotique, ce travail illustre un besoin croissant de gouvernance intermédiaire entre la décision du modèle et l'actionnement physique. Il apporte une mesure rare dans un domaine où les garanties de sécurité restent souvent qualitatives, même si des erreurs subsistent à la frontière de l'escalade, où l'arbitrage humain reste nécessaire.

Cette recherche s'inscrit dans la montée des architectures agentiques en robotique, où les modèles de fondation vision-langage-action, tels que ceux développés par Physical Intelligence, NVIDIA ou Figure AI pour piloter des robots humanoïdes, sont de plus en plus reliés à des chaînes d'outils via des protocoles comme MCP. L'article, publié en août 2026, ne précise ni plateforme robotique testée ni calendrier de déploiement industriel : il s'agit à ce stade d'une contribution méthodologique de recherche, dont l'adoption par des laboratoires ou des intégrateurs reste à démontrer.

Dans nos dossiers

FigureIA physique & VLAPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Autonomie de population par recensement pour la coordination de robots distribués
1arXiv cs.RO 

Autonomie de population par recensement pour la coordination de robots distribués

Des chercheurs proposent, dans un article déposé sur arXiv (2511.02147, version 2), un modèle en couches de l'autonomie multi-robots qui sépare la décision collective de la décision individuelle. La couche collective repose sur le principe de recensement (« census »), c'est-à-dire un comptage pondéré des signaux reçus des voisins, formalisé par un modèle de dynamique d'opinions non linéaire et utilisé pour décider de la constitution des équipes. La couche individuelle choisit les actions de chaque robot par optimisation comportementale multi-objectifs, résolue par programmation par intervalles. Les auteurs en tirent une nouvelle méthode d'allocation de sous-groupes distribuée. Chaque robot descend le gradient des parties du coût qu'il connaît localement, tandis que les états d'opinion de ses voisins compensent les coûts qu'il n'observe pas. Le groupe exploite ainsi collectivement l'information de la matrice hessienne du coût global. Le modèle est testé sur des flottes de véhicules de surface autonomes, dans trois scénarios : échantillonnage adaptatif, protection d'une unité de haute valeur et partie compétitive de capture du drapeau. L'intérêt tient à la tension entre théorie et exécution réelle. Beaucoup d'algorithmes distribués ne fonctionnent qu'en simulation ou sous hypothèses fortes. Ici, les auteurs affirment que leur modèle se réduit à des algorithmes fondamentaux d'optimisation et de contrôle distribués, tout en autorisant des comportements collectifs inédits. Pour un intégrateur de flottes maritimes, la promesse est une coordination sans nœud central, plus robuste à la perte de communication ou de robots. Les trois scénarios, aux objectifs très différents, suggèrent une certaine généralité. Il faut toutefois rester prudent : le résumé ne donne ni taille de flotte, ni taux de succès, ni comparaison chiffrée avec des méthodes existantes, et il s'agit d'une validation académique, pas d'un produit ni d'un déploiement opérationnel. Ce travail s'inscrit dans la lignée des méthodes de consensus, d'allocation par enchères et d'optimisation distribuée, qui dominent la coordination multi-robots, et dans celle des dynamiques d'opinions non linéaires, récemment importées de la théorie des systèmes dynamiques vers la robotique. La programmation par intervalles est, à notre connaissance, associée à l'écosystème d'autonomie marine open source MOOS-IvP, ce qui explique le choix de véhicules de surface comme banc d'essai. Le résumé ne cite aucun acteur industriel ni calendrier de pilote. La suite logique serait une validation sur des flottes plus grandes, en conditions dégradées de communication, avec des métriques comparatives publiées. Cela permettrait de juger si l'approche tient face aux méthodes concurrentes hors du cadre contrôlé du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots
2arXiv cs.RO 

Coordination multi-LLM médiée par un vérificateur pour la planification de trajectoires multi-robots

Des chercheurs proposent une architecture de coordination où plusieurs planificateurs fondés sur des grands modèles de langage (LLM) pilotent une équipe de robots, avec un vérificateur géométrique chargé de contrôler la faisabilité physique des plans. Le travail, publié sur arXiv (2610.12761), compare deux approches pour la navigation multi-robots. Dans la première, centralisée, un seul LLM raisonne conjointement sur toute l'équipe. Dans la seconde, décentralisée, chaque robot dispose de son propre LLM, qui propose indépendamment un plan de tâches. Le vérificateur convertit ensuite ces plans symboliques en trajectoires, prédit les conflits entre robots (collisions, occupation simultanée d'un même espace) et renvoie aux LLM un retour structuré pour un replanification ciblée, sur plusieurs itérations. Les expériences ont lieu dans le simulateur de conduite CARLA et sur des drones Crazyflie, en faisant croître la complexité des tâches. Le résumé publié ne donne aucun chiffre de performance, de taux de réussite ni de taille d'équipe. L'enjeu est un défaut bien connu des planificateurs à base de modèles de fondation : des plans corrects pris isolément peuvent devenir incompatibles une fois ancrés dans la géométrie, à cause des contraintes spatiales et temporelles partagées. Séparer le raisonnement sémantique de la faisabilité d'exécution revient à admettre qu'un LLM ne doit pas être seul garant de la sécurité d'une flotte. Pour les intégrateurs de flottes d'AMR, de drones ou de robots mobiles, c'est un schéma réutilisable : le LLM propose, un module déterministe dispose. L'étude cherche aussi à caractériser les compromis entre raisonnement centralisé, coordination décentralisée et exécutabilité physique. Elle pourrait donc indiquer à quelle complexité l'approche centralisée cesse de tenir. Cela concerne directement les architectures d'orchestration, où le choix entre un planificateur unique et des agents par robot pèse sur la latence, la robustesse aux pannes et le coût d'inférence. Sans résultats quantitatifs dans le résumé, ces bénéfices restent à vérifier dans l'article complet. Ces travaux s'inscrivent dans la vague des planificateurs de tâches fondés sur des LLM pour la robotique, qui a surtout été évaluée en mono-robot ou sur des tâches symboliques sans contraintes géométriques serrées. Le recours à un vérificateur externe rejoint les approches neuro-symboliques de type « LLM plus solveur », déjà répandues en planification. La validation sur Crazyflie, un micro-drone très utilisé en recherche, reste un banc d'essai de laboratoire, loin d'un déploiement industriel. La suite logique serait de tester des équipes plus nombreuses, des environnements dynamiques et des robots hétérogènes. Il faudrait aussi mesurer le nombre d'itérations de replanification nécessaires et leur coût en temps de calcul, deux critères décisifs pour tout usage en entrepôt ou en logistique.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DiSCo : des copilotes de séquence par diffusion pour l'autonomie partagée
3arXiv cs.RO 

DiSCo : des copilotes de séquence par diffusion pour l'autonomie partagée

Une équipe de recherche présente DiSCo (Diffusion Sequence Copilots), une méthode d'autonomie partagée où un copilote IA fondé sur une politique de diffusion assiste un opérateur humain pour piloter des systèmes complexes comme un bras robotique ou un véhicule simulé. Décrit dans un article déposé sur arXiv (identifiant 2603.22787, version 2, republiée en cross-listing), le système « ensemence » et « inpaint » le processus de diffusion à partir des actions récentes de l'utilisateur, produisant des séquences de commandes cohérentes avec ses gestes passés, réglées par trois hyperparamètres équilibrant conformité aux actions expertes, alignement avec l'intention de l'utilisateur et réactivité perçue. Les auteurs rapportent une amélioration « substantielle » des performances en conduite simulée et en manipulation robotique, sans chiffres précis de gain ou de taux de réussite dans le résumé, et mettent en ligne un site de projet avec démonstrations vidéo. Pour les concepteurs de systèmes de téléopération et d'assistance au geste, ce travail cible un compromis concret : un copilote trop intrusif écrase l'intention de l'utilisateur, tandis qu'un copilote trop passif n'aide pas sur les tâches difficiles ou lorsque le signal de commande est dégradé. En s'appuyant sur une politique de diffusion générant des séquences entières d'actions plutôt que des règles fixes ou une politique de renforcement entraînée séparément, DiSCo s'inscrit dans la bascule du secteur robotique vers des modèles génératifs de trajectoires, dans l'esprit des architectures VLA déployées côté humanoïdes. Le travail reste toutefois cantonné à la simulation, sans essai mentionné sur bras robotique physique ou véhicule réel, ce qui distingue nettement cette publication académique d'une annonce produit ou d'un pilote industriel prêt à déployer. L'autonomie partagée est un champ de recherche ancien en robotique et en interaction homme-machine, longtemps dominé par des règles de correction ou des politiques d'inférence d'intention entraînées séparément du contrôle. L'essor des politiques de diffusion en robotique depuis 2023, comme alternative à l'apprentissage par renforcement, a ouvert la voie à des méthodes génératives produisant des séquences d'actions complètes, cadre que DiSCo adapte au contrôle partagé via des techniques d'inpainting empruntées à la génération d'images. Le statut « replace-cross » de l'article sur arXiv indique une nouvelle version d'un travail déjà soumis, et la suite logique, non précisée dans le résumé, consisterait à valider la méthode avec de véritables opérateurs humains sur du matériel physique, seule façon de confirmer que les gains mesurés en simulation se transposent au monde réel.

RecherchePaper
1 source
Des planificateurs VLM aux agents robotiques : des harnais auto-évolutifs pour la manipulation dépendante de l'historique
4arXiv cs.RO 

Des planificateurs VLM aux agents robotiques : des harnais auto-évolutifs pour la manipulation dépendante de l'historique

Des chercheurs proposent SERA (Self-Evolving Robotic Agent), un cadre qui transforme le modèle vision-langage (VLM) chargé de la planification de haut niveau en véritable agent robotique, piloté par un « harnais » éditable. Ce harnais conserve le contexte de la tâche, met à jour cette mémoire à partir des observations et des retours d'exécution, puis s'en sert pour guider les décisions suivantes. L'exécution de bas niveau reste confiée à un modèle vision-langage-action (VLA) fixe, c'est-à-dire un modèle qui convertit directement images et instructions en commandes moteur. Le mécanisme d'auto-évolution s'appuie sur des déroulements en environnement pour proposer et évaluer des révisions du harnais. La configuration retenue est figée avant les tests sur données mises de côté. Sur le benchmark RoboMME, SERA atteint 51,38 % de succès global avec sélection autonome, contre 44,38 % sans auto-évolution, soit un gain de 7 points. Il s'agit d'un travail de recherche (prépublication arXiv), sans déploiement industriel ni produit associé. L'enjeu porte sur une limite connue des VLA : les tâches longues dépendent souvent de l'historique, car il faut se rappeler l'avancement, le résultat des interactions passées, et composer avec l'observabilité partielle et l'accumulation des erreurs d'exécution. Ces dépendances dites non markoviennes mettent en difficulté les politiques qui ne regardent que l'état courant. Les résultats suggèrent qu'améliorer le contexte et la logique du planificateur, sans réentraîner le contrôleur bas niveau, peut apporter un gain mesurable. Pour un intégrateur, c'est une piste intéressante, car ajuster un harnais est moins coûteux que réentraîner un VLA. Il faut toutefois rester prudent : un taux de succès d'environ 51 % reste loin d'une fiabilité exploitable en production, la comparaison porte sur un seul benchmark, et le gain dépend de la qualité de l'exécuteur figé. Les auteurs parlent d'une direction prometteuse, pas d'un problème résolu. Ce travail s'inscrit dans deux lignes de recherche déjà engagées : l'ajout de mémoire aux politiques fondées sur des modèles de fondation, et les architectures hiérarchiques qui séparent planification de haut niveau et exécution de bas niveau, comme celles que l'on trouve dans plusieurs systèmes de VLA récents. La nouveauté revendiquée tient à la manière de traiter le VLM comme un agent, avec un harnais qui évolue à partir de l'expérience d'exécution, sur le modèle des agents logiciels auto-améliorants. Le résumé ne précise ni le VLA utilisé, ni les modes d'échec restants, ni le coût de l'étape d'évolution en nombre de rollouts. Ces points seront à vérifier dans l'article complet, tout comme une éventuelle validation sur robot réel, absente de l'abstract.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source