Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Découpler planification et contrôle pour des agents instructibles
RecherchearXiv cs.RO 

Découpler planification et contrôle pour des agents instructibles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2608.26788v1) l'article « Decoupling Planning and Control for Instructable Agents », qui présente le système Instruct-to-Act. L'architecture associe un modèle vision-langage (VLM) pré-entraîné, chargé de traduire instructions et observations en plans de haut niveau peu fréquents, à un contrôleur de type « world model » entraîné pour agir en autonomie à haute fréquence à partir de ces instructions. Pour le rendre instructable, les chercheurs relabellisent des trajectoires du contrôleur avec des instructions synthétiques et optimisent conjointement clonage de comportement, récompense et modélisation du monde. Le système est testé sur sept environnements simulés, dont trois multi-agents où des planificateurs VLM coordonnent par le langage pendant que les contrôleurs entraînés agissent comme actionneurs.

Ce travail répond à une limite bien identifiée dans le secteur : les VLM planifient bien à partir d'instructions et d'observations, mais peinent à transformer ces plans en actions fiables et rapides en environnement inconnu, tandis que les contrôleurs « world model » contrôlent vite mais manquent de guidage sur la tâche à accomplir. À espaces d'observation et d'action équivalents, l'approche découplée surpasse de façon constante les variantes contrôleur seul et génération d'action directe par le VLM, tout en gardant un contrôle rapide et en permettant de changer de planificateur VLM sans réentraîner le contrôleur, un atout pour des intégrateurs voulant faire évoluer le « cerveau » sans retoucher les « réflexes » du robot. Elle reste toutefois seulement compétitive, et non systématiquement supérieure, face à des références vision-langage-action (VLA) et RL multi-agent solides, sur six tâches sur sept.

Il s'agit d'un article de recherche, non d'une annonce produit : le résumé ne cite aucune entreprise ni robot commercial, et les sept environnements testés sont simulés, sans déploiement sur matériel réel évoqué. La démarche rejoint une tendance de l'apprentissage robotique consistant à séparer un raisonnement lent de haut niveau d'un contrôle réactif rapide, déjà explorée par des systèmes industriels comme Helix chez Figure ou GR00T N2 chez Nvidia. Aucun pilote ni calendrier vers des robots physiques n'est mentionné : la contribution porte sur la méthodologie et sa capacité à généraliser entre plusieurs bancs d'essai simulés.

Dans nos dossiers

IA physique & VLANVIDIA GR00TWorld modelsarXiv cs.RO

À lire aussi

Contrôle de hauteur et planification optimale du couple pour le saut de robots bipèdes à roues
1arXiv cs.RO 

Contrôle de hauteur et planification optimale du couple pour le saut de robots bipèdes à roues

Des chercheurs présentent dans un preprint arXiv (2605.03302, mai 2026) deux méthodes combinées pour contrôler avec précision la hauteur de saut des robots bipèdes à roues. Le constat de départ est pratique : face à l'incertitude dynamique, ces plateformes sautent systématiquement plus haut que nécessaire pour garantir la sécurité, ce qui génère des pertes moteur évitables, des forces de contact au sol excessives et une surconsommation énergétique. La première contribution, le modèle W-JBD (Wheeled-Bipedal Jumping Dynamical), permet de cibler précisément une hauteur de saut, mais produit une consigne de couple en échelon incompatible avec les actionneurs réels. La seconde, BOTP (Bayesian Optimization for Torque Planning), optimise la trajectoire de couple sans nécessiter de modèle dynamique précis et converge en 40 itérations en moyenne. Validée sur le simulateur Webots, BOTP réduit l'erreur de hauteur de 82,3 % et la consommation énergétique de 26,9 % par rapport à la baseline, tout en produisant une courbe de couple continue. Ce résultat est pertinent pour les intégrateurs qui déploient des robots bipèdes à roues dans des environnements industriels ou logistiques : l'efficacité énergétique conditionne directement l'autonomie embarquée, et la reproductibilité du saut détermine la fiabilité du franchissement d'obstacles. Le fait que BOTP fonctionne sans modèle dynamique précis est un avantage opérationnel concret, car calibrer un modèle complet sur chaque variante de plateforme est coûteux. L'approche bayésienne converge rapidement, ce qui la rend adaptée à une validation sur robot réel avec un nombre limité d'essais physiques, un point critique pour réduire l'usure mécanique. Cela dit, les auteurs n'ont pas encore franchi le sim-to-real : l'ensemble des résultats reste en simulation, et le gap entre Webots et un vrai terrain reste à quantifier. Les robots bipèdes à roues constituent une classe en expansion : Unitree B2-W, l'ETH Zurich avec Ascento, ou encore les plateformes Handle/mobility de Boston Dynamics combinent la vitesse des roues avec la capacité de franchissement des pattes. Le planning de couple par optimisation bayésienne s'inscrit dans une tendance plus large qui vise à remplacer les contrôleurs MPC classiques, trop dépendants de modèles précis, par des méthodes d'optimisation légères adaptables à la production. Les auteurs annoncent comme prochaine étape la validation expérimentale sur robot physique en s'appuyant sur les trajectoires simulées pour réduire l'espace de recherche, ce qui devrait permettre de confirmer, ou non, la tenue des gains annoncés hors simulation.

UELes travaux pourraient intéresser les équipes de recherche européennes sur les robots bipèdes à roues (notamment ETH Zurich / Ascento), mais l'impact reste indirect, sans contribution ni déploiement européen identifié.

RecherchePaper
1 source
MIGU : ancrage d'instructions multimodales en contexte incertain pour la planification de manipulation
2arXiv cs.RO 

MIGU : ancrage d'instructions multimodales en contexte incertain pour la planification de manipulation

L'équipe de recherche à l'origine de MIGU (Multimodal Instruction Grounding under Uncertainty) a publié sur arXiv, sous la référence 2609.24995, une nouvelle soumission datée du 22 septembre 2026, un framework destiné à interpréter des instructions humaines combinant langage et gestes pour la manipulation robotique. Le système construit une vraisemblance géométrique en 3D en propageant l'incertitude de direction du regard et de profondeur à travers la géométrie œil-doigt, en tenant compte de l'erreur d'estimation de la direction de la main. En parallèle, un modèle vision-langage (VLM) fournit des a priori sémantiques sur les objets et régions candidats. Ces deux sources sont fusionnées par une approche inspirée de l'inférence bayésienne pour produire une croyance unifiée de désignation. Cette croyance alimente un planificateur de comportement qui décide soit de passer directement à la planification d'action, soit de demander une clarification si l'ambiguïté reste trop forte. Les cibles ainsi désignées définissent les objectifs pour la manipulation mobile et pour la planification tâche-et-mouvement sur table. Sur un benchmark réel, MIGU dépasse toutes les méthodes de référence testées, et les études d'ablation confirment l'apport de la modélisation explicite de l'incertitude multimodale. Le projet est documenté sur multimodal-instruction.github.io. L'enjeu dépasse l'exercice académique: dans un entrepôt, un domicile ou un établissement de soin, une instruction vague accompagnée d'un geste imprécis reste une source majeure d'échec pour un bras ou un robot mobile chargé de manipulation. La plupart des systèmes de désignation fondés sur des VLM ou des architectures VLA traitent le langage ou le geste isolément, ou supposent un signal propre et non ambigu. L'apport de MIGU est de quantifier explicitement l'incertitude de chaque canal et de prévoir une option de clarification plutôt que de forcer une décision hasardeuse, ce qui réduit le risque de saisir le mauvais objet, un défaut coûteux en conditions réelles pour les intégrateurs. La validation sur un benchmark physique, et non en simulation seule, distingue ce travail des démonstrations vidéo sélectives fréquentes dans le secteur. Le travail s'inscrit dans une recherche plus large sur la fiabilité des interfaces homme-robot fondées sur des modèles de fondation multimodaux, alors que des architectures VLA comme GR00T N2, Pi-0 ou Helix se généralisent pour piloter manipulateurs et humanoïdes. Contrairement à un produit commercial, MIGU reste à ce stade une contribution de recherche en prépublication, sans acteur industriel ni calendrier de déploiement annoncés dans l'article. Les suites évoquées portent sur l'intégration de cette brique de désignation dans des chaînes complètes de manipulation mobile et de planification tâche-et-mouvement, sans détail chiffré sur un passage à l'échelle.

RecherchePaper
1 source
Système d'exploitation auto-évolutif pour agents incarnés : planification cognitive et exécution physique découplées
3arXiv cs.RO 

Système d'exploitation auto-évolutif pour agents incarnés : planification cognitive et exécution physique découplées

Des chercheurs présentent PhyAgentOS, un système d'exploitation pensé spécifiquement pour les agents robotiques incarnés (embodied agents), décrit dans un preprint arXiv (2607.16636v1) publié fin juillet 2026. Le système introduit un "Session-Centered Runtime" qui traite une session complète, et non une action isolée, comme unité minimale d'ordonnancement, de vérification de compatibilité et de collecte de preuves d'exécution. La couche cognitive (planification) est séparée de la couche physique (exécution) via un protocole appelé State-as-a-File, qui matérialise l'état du système sous forme de fichiers Markdown/YAML lisibles et versionnables, sans dépendance de code entre les deux couches. Un module SessionVerifier distingue la fin d'exécution d'une tâche de sa réussite sémantique réelle, avec trois verdicts possibles : succès, échec ou replanification. Les résultats vérifiés alimentent une mémoire épistémique qui capitalise l'expérience sous forme de leçons réutilisables, sans réentraînement du modèle. PhyAgentOS a été testé sur les bancs d'essai Optimus-67, StarDojo et DST-Dojo, validé sur plus de 19 corps robotiques simulés et physiques, et montre des gains de performance sur les benchmarks LIBERO, Calvin et RoboCasa365 avec plusieurs modèles VLA (vision-language-action) différents. L'enjeu dépasse la prouesse technique isolée : les modèles VLA, les modèles du monde et les planificateurs agentiques progressent chacun de leur côté, mais sans abstraction d'exécution commune ni état partagé, ce qui rend leur composition fragile dès qu'on sort du laboratoire. En distinguant explicitement la terminaison d'une action de sa réussite réelle, PhyAgentOS s'attaque directement à l'écart bien documenté entre démonstration et fiabilité en conditions réelles, un problème central pour les intégrateurs qui déploient des flottes de robots en usine ou en entrepôt. Pour un décideur B2B, la promesse n'est pas un nouveau modèle plus performant mais une couche d'infrastructure capable de faire cohabiter différents modèles VLA, de vérifier objectivement leurs sorties et de capitaliser les échecs sans réentraînement coûteux, un point clé pour la maintenabilité à long terme de déploiements robotiques hétérogènes. Cette proposition s'inscrit dans la vague actuelle de modèles VLA généralistes tels que Figure 03, Optimus Gen 3, Pi-0 ou GR00T N2, qui ont démontré des capacités de manipulation impressionnantes en démo mais restent difficiles à orchestrer, vérifier et faire évoluer une fois déployés sur du matériel réel. PhyAgentOS se positionne comme une couche d'infrastructure sous ces modèles plutôt que comme un concurrent direct, avec une architecture de sécurité en couches (préflight, ponts d'action, SafetyGuard, surveillance par heartbeat) et une validation progressive allant des jeux virtuels à la simulation puis au robot physique, en gardant la couche cognitive constante pour isoler les variables. Publié comme preprint arXiv avec le statut "Announce Type: new", ce travail reste à ce stade une contribution de recherche académique plutôt qu'un produit commercial ; les auteurs ne précisent ni calendrier de mise en production ni partenariat industriel à ce jour.

RecherchePaper
1 source
Planification de la manipulation pour des activités de construction répétitives
4arXiv cs.RO 

Planification de la manipulation pour des activités de construction répétitives

Une équipe de chercheurs a publié mi-mai 2026 sur arXiv un framework de planification de manipulation robotique destiné aux tâches de construction répétitives, comme la pose de briques ou l'installation de dalles de plafond. L'approche repose sur un environnement de démonstration en réalité virtuelle (VR) : un opérateur humain réalise une seule démonstration du geste à apprendre, que le système capture puis décompose en une séquence de mouvements à vis constants (screw motions) via la géométrie des vis. À partir de cette représentation, deux algorithmes, la Screw Linear Interpolation (ScLERP) et le Resolved Motion Rate Control (RMRC), génèrent automatiquement les plans de mouvement articulaire pour chaque instance répétée de la tâche. Les expériences ont été conduites sur un bras à 7 degrés de liberté (7-DoF), d'abord en simulation puis sur robot physique, avec deux scénarios concrets : construction de murs de briques en configurations arbitraires et pose de multiples dalles de plafond, chacun déclenché depuis une unique démonstration. Le résultat le plus significatif est la généralisation one-shot à des séquences de longueur arbitraire, un mur peut contenir autant de briques que nécessaire sans nouvelle démonstration. C'est un point directement pertinent pour les intégrateurs industriels : en construction, la variabilité de l'environnement (dimensions de chantier, positions relatives des éléments) est précisément ce qui freine le déploiement des robots. Ici, la représentation par vis capture la structure géométrique du mouvement de façon compacte, ce qui permet une extrapolation robuste plutôt qu'une simple répétition mémorisée. La validation hardware réduit partiellement le sim-to-real gap souvent invoqué pour relativiser les démonstrations purement simulées, bien que les conditions expérimentales (charge utile, tolérance dimensionnelle, matériaux réels) ne soient pas précisément détaillées dans le préprint. La robotique de construction est un secteur en accélération : Hilti, Hadrian X (Fastbrick Robotics), ou encore Dusty Robotics adressent des tâches spécifiques de chantier, mais la plupart restent sur des pipelines hautement programmés et peu flexibles. L'approche par démonstration VR + géométrie des vis s'inscrit dans un courant plus large de Learning from Demonstration (LfD) qui tente de réduire le coût d'intégration sur des tâches manuelles qualifiées. La prochaine étape naturelle serait de tester la robustesse face aux perturbations réelles du chantier (vibrations, tolérances matériaux, occlusions) et d'étendre à des tâches multi-bras ou à manipulation bimane, deux lacunes que le papier ne couvre pas encore.

RecherchePaper
1 source