RecherchearXiv cs.RO 27 juillet 2026

Modèle de fondation à base d'agents : combler la lacune d'orchestration des robots généralistes grâce à l'agentivité physique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (2607.21725v1) présente Pigey, un orchestrateur d'agence physique conçu pour piloter des robots généralistes sans données supplémentaires ni post-entraînement. Plutôt que d'entasser perception, planification, détection de succès, récupération d'erreurs et contrôle bas niveau dans une seule politique apprise par pré-entraînement massif, comme le font les modèles vision-langage-action (VLA) actuels, les auteurs séparent le problème en deux couches : un agent de contrôle langage-conditionné classique, et un gestionnaire de haut niveau qui décompose les objectifs en sous-tâches, envoie des commandes moteur, vérifie les résultats à partir des observations bas niveau et déclenche des routines de récupération en cas d'échec. Pigey peut commander aussi bien des politiques VLA existantes que des compétences paramétrées préexistantes. Sur le benchmark de simulation LIBERO-PRO, le taux de réussite passe de 12,8% à 53,3%, soit plus du quadruple, sans aucun réglage spécifique à la tâche. Sur un robot réel, les tâches nécessitant du raisonnement voient leur taux de succès grimper de quasi zéro à plus de 90% une fois la politique figée intégrée dans la boucle agentique de Pigey.

Ce résultat vient alimenter un débat déjà vif dans la robotique humanoïde et manipulatrice : les modèles VLA de bout en bout, aussi impressionnants soient-ils en démonstration, échouent souvent dès que la tâche exige un raisonnement séquentiel ou une récupération après erreur, un écart que les auteurs baptisent "orchestration gap". En montrant qu'une simple couche d'orchestration explicite, sans ré-entraînement, suffit à multiplier par quatre les performances, l'étude suggère que l'échelle des données de pré-entraînement n'est pas le seul levier disponible pour combler ce fossé entre démonstration et fiabilité réelle, un enjeu direct pour les intégrateurs qui doivent déployer ces systèmes en environnement industriel non contrôlé.

Cette approche s'inscrit dans une tendance plus large de la recherche en robotique généraliste, où des laboratoires développent des modèles comme Pi-0, GR00T N2 ou Helix pour unifier perception et action. Pigey se positionne comme une alternative complémentaire plutôt qu'un concurrent direct : il ne remplace pas ces politiques mais les pilote depuis l'extérieur, ce qui laisse ouverte la question de son adoption par les fournisseurs de VLA propriétaires et de son passage à l'échelle sur des tâches de manipulation encore plus complexes.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

MistyPilot : contrôler un robot social grâce à l'orchestration multi-agents de compétences LLM

Un preprint arXiv publié fin août 2026 (2608.15549v1) présente MistyPilot, un framework multi-agents à base de LLM pour piloter le robot social Misty à partir d'instructions en langage naturel. Un "Task Router" aiguille chaque instruction vers l'un de deux agents spécialisés : un agent d'interaction physique pour le contrôle déclenché par capteurs et l'invocation directe de compétences, et un agent d'interaction sociale pour la gestion d'état conversationnel et la génération de réponses multimodales contextuelles, qui réutilise les résultats déjà générés quand c'est possible plutôt que de relancer systématiquement une génération complète. Le système a été testé sur cinq suites de composants, avec liaisons capteurs-compétences et invocations de skills exécutées sur un robot Misty physique, ainsi que via une étude utilisateur préliminaire auprès de 12 participants, avec une extensibilité vérifiée jusqu'à 100 compétences et une variance inférieure à celle d'un système mono-agent autrement identique. Le code sera publié via la page du projet. Le problème ciblé est concret pour les intégrateurs de robotique sociale : composer manuellement des API en compétences, lier des événements capteurs à ces compétences et gérer l'état des tâches à l'exécution freine le passage de démonstrations scriptées à des interactions robustes et durables. En séparant le contrôle réactif physique de la gestion sociale à état persistant, MistyPilot répond à une limite fréquente des architectures mono-agent, à savoir une variance et une instabilité plus élevées des réponses, et illustre une voie de production fondée sur l'orchestration de compétences existantes plutôt que sur le réentraînement complet d'un modèle vision-langage-action. L'étude reste toutefois un prototype de recherche à petite échelle, sans mesure d'usage prolongé en conditions réelles. Misty, petit robot social de bureau développé par Misty Robotics, dispose d'un écosystème de compétences programmables via API jusqu'ici assemblées manuellement par les développeurs. MistyPilot s'inscrit dans la vague de travaux visant à faire piloter des robots par des LLM ou des modèles vision-langage-action, un champ largement dominé par des approches orientées manipulation physique comme Pi-0, GR00T N2 ou Helix, dont il se distingue en ciblant spécifiquement l'interaction sociale et conversationnelle plutôt que la locomotion ou la préhension. Aucun calendrier de commercialisation ni partenariat industriel n'est annoncé ; seule la publication du code source via la page du projet est confirmée, ce qui permettra une vérification indépendante des résultats revendiqués sur le routage et l'extensibilité à 100 compétences.

RecherchePaper

1 source

2arXiv cs.RO

IA à Base d'Agents Physiques : une Architecture pour Orchestrer une Équipe de Robots avec des LLM

Un article publié sur arXiv le 25 août 2026 (arXiv:2608.22657v1) présente Physical Agentic AI, une architecture pour orchestrer des équipes de robots hétérogènes pilotées par des modèles de fondation. Chaque robot y expose une bibliothèque typée de compétences exécutables ; un planificateur découpe une mission en phases et assigne chacune à un couple robot-compétence ; un orchestrateur déterministe valide et autorise ensuite chaque compétence une par une avant actuation, séparant la planification sémantique, non-actuante, de l'exécution physique. L'architecture a été testée sur une mission de recherche et dispatch impliquant un drone et un robot terrestre non habité, entièrement exécutée en simulation Gazebo, ainsi que sur une tâche de transport combinant un humanoïde et un quadrupède, avec deux essais physiques réels sur un Unitree G1 et un Go2. Chiffres clés : l'ajout d'un mécanisme de récupération d'information fait passer le taux d'ancrage correct des compétences de 51% à 96%, mais même un planificateur bien informé envoie encore 23 à 29% des étapes défectueuses vers l'exécution. La vérification systématique à chaque dispatch ramène ce taux de faux positifs à 0%, sans blocage abusif. Sur huit défauts injectés délibérément, les huit ont franchi la barrière d'orchestration sans cette vérification, et six ont déclenché un mouvement réel du robot ; avec elle activée, les huit ont été refusés avant tout mouvement. Ce travail pointe un angle mort des démonstrations de robots pilotés par LLM : un plan sémantiquement riche n'empêche pas des actions physiquement infaisables ou dangereuses. Pour les intégrateurs de flottes multi-robots, le message est net, un planificateur mieux informé réduit les erreurs de raisonnement mais ne sécurise pas l'exécution ; seule une couche de vérification déterministe, indépendante du plan, empêche le passage à l'acte d'une instruction fautive. L'ablation isolant l'effet de cette porte de validation renforce l'idée que le "meilleur prompting" seul ne suffit pas à sécuriser un déploiement physique, un signal utile face à l'écart persistant entre démo et réalité opérationnelle. Le papier s'inscrit dans la recherche reliant grands modèles de langage et orchestration robotique, terrain souvent dominé par des approches de bout en bout type vision-langage-action (Pi-0, GR00T N2) plutôt que par une couche de contrôle explicite. C'est une contribution académique tout juste postée sur arXiv, sans affiliation industrielle ni plan de déploiement commercial précisés, validée en simulation et sur un nombre limité d'essais matériels, à traiter comme une preuve de concept en attente de revue par les pairs plutôt que comme un produit prêt à industrialiser.

RecherchePaper

1 source

3arXiv cs.RO

Le filtrage physique favorise la généralisation de l'apprentissage robotique

Des chercheurs publient un article intitulé « Physics Filtering Favors the Generalization of Robot Learning » (arXiv:2608.22701v1, fin août 2026). Ils présentent PhyFilter, un module de rétroaction léger et agnostique au modèle qui corrige les sorties d'un système d'apprentissage grâce à des résidus filtrés par la physique. Ses paramètres s'optimisent automatiquement via un algorithme d'auto-apprentissage, sans réglage manuel, ce qui permet une intégration directe avec des politiques robotiques variées. L'équipe valide PhyFilter sur quatre systèmes robotiques : des robots quadrupèdes, qui généralisent à des terrains inconnus, des variations de charge utile et des plages de vitesse inédites ; des drones, capables de voler sous des perturbations de vent jamais rencontrées ; des manipulateurs aériens, atteignant une précision de capture en vol de l'ordre du centimètre malgré des incertitudes de vent et de masse ; et des différentiateurs d'accélération, robustes face aux changements de distribution des données. L'apport principal tient au contraste affiché avec la stratégie dominante du secteur, celle qui améliore la généralisation en multipliant les données d'entraînement, approche jugée coûteuse et lente en robotique où collecter des démonstrations réelles à l'échelle des grands modèles de langage reste prohibitif. Les auteurs montrent qu'un robot peut généraliser efficacement face aux incertitudes dynamiques même avec un jeu de données limité, dès lors qu'une couche de correction physique compense le manque de volume. Pour les intégrateurs et décideurs du secteur, ce résultat interroge l'hypothèse selon laquelle la performance des politiques VLA (vision langage action) dépendrait avant tout du volume de données collectées, à la manière des approches type GR00T N2 ou Pi-0, et suggère une voie moins capitalistique pour déployer des robots robustes sans multiplier les flottes de collecte. L'article s'inscrit dans le débat opposant deux écoles de la robotique d'apprentissage : le scaling massif de données façon modèles de fondation (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) et les approches hybrides combinant modèles physiques et apprentissage, dont PhyFilter est un représentant. En le présentant comme « model-agnostic », l'équipe vise une intégration dans des piles logicielles existantes plutôt qu'un remplacement des politiques déjà déployées. À ce stade, la contribution reste une publication de recherche testée en environnements contrôlés sur quatre plateformes matérielles, sans partenariat industriel, déploiement commercial ni pilote annoncé, ce qui la distingue nettement des annonces produits qui rythment habituellement l'actualité de l'humanoïde.

RecherchePaper

1 source

4arXiv cs.RO

VGGT-DP : contrôle robotique généralisable via des modèles de vision fondation

Les chercheurs à l'origine de VGGT-DP ont publié une version révisée de leur article sur arXiv (arXiv:2509.18778v2) présentant un nouveau cadre d'apprentissage par imitation visuelle pour le contrôle de robots manipulateurs. Le système utilise comme encodeur visuel le Visual Geometry Grounded Transformer (VGGT), un modèle de perception 3D pré-entraîné, combiné à un retour proprioceptif pour aligner la perception visuelle avec l'état interne du robot. Pour limiter la latence d'inférence, les auteurs introduisent un mécanisme de réutilisation de jetons image par image (frame-wise token reuse, FTR), qui met en cache les jetons de l'agrégateur VGGT issus des images qui se chevauchent et ne recalcule les caractéristiques que pour la dernière image reçue. Un élagage aléatoire de jetons est aussi appliqué pour réduire le surapprentissage. Sur les tâches de manipulation du banc d'essai simulé MetaWorld, VGGT-DP dépasse les références Diffusion Policy (DP) et DP3, en particulier sur les scénarios exigeant de la précision et sur les tâches à long horizon temporel. L'apport principal tient au fait que la majorité des travaux en apprentissage par imitation se concentrent sur l'architecture de la politique de contrôle, souvent des modèles de diffusion, en négligeant la qualité de l'encodeur visuel et sa capacité de compréhension spatiale. En ancrant la perception dans des a priori géométriques 3D et en la couplant à la proprioception, VGGT-DP cherche à réduire l'écart entre ce que le robot perçoit et ce qu'il ressent physiquement, un facteur d'échec fréquent des politiques visuomotrices en boucle fermée. La réduction de la latence via la réutilisation de jetons est pertinente pour un déploiement temps réel sur du matériel embarqué à ressources de calcul limitées. Toutefois, les résultats reposent uniquement sur MetaWorld, un environnement simulé, sans validation sur robot réel ni chiffres de transfert sim-to-real. Ce travail s'inscrit dans la course plus large aux modèles fondation pour la robotique, aux côtés d'approches vision-langage-action comme Pi-0, GR00T N2 ou Helix, mais s'en distingue en misant sur la fusion vision 3D-proprioception plutôt que sur le conditionnement par le langage. Le statut "replace" sur arXiv indique une révision d'une soumission antérieure. Aucune information n'est donnée sur une publication du code, un partenaire industriel ou un déploiement sur robot physique: le travail reste à un stade académique, la prochaine étape logique étant une validation en conditions réelles et une éventuelle intégration avec des modèles VLA conditionnés par le langage.

RecherchePaper

1 source