Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
MimicAgent : compétences quadrupèdes via génération de trajectoire à partir d'instructions
RecherchearXiv cs.RO 

MimicAgent : compétences quadrupèdes via génération de trajectoire à partir d'instructions

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

MimicAgent est un framework présenté dans un article de recherche publié sur arXiv (2609.24145v1) qui automatise l'apprentissage de compétences dynamiques chez les robots quadrupèdes. Plutôt que de régler manuellement les fonctions de récompense du reinforcement learning, un exercice fastidieux que les auteurs surnomment "graduate student descent", le système s'appuie sur un agent logiciel qui génère, à partir d'un simple prompt textuel, des trajectoires de référence codées. Ces trajectoires, bien que grossières, servent ensuite à entraîner des politiques de RL guidées par l'exemple, validées en simulation et sur robot réel. En utilisant Claude Fable 5.1 comme moteur de leur système agentique, les chercheurs rapportent que 87% des prompts testés génèrent des trajectoires sémantiquement alignées avec la compétence demandée.

Le problème ciblé est structurel : contrairement aux humanoïdes, qui exploitent de vastes bases de capture de mouvement humain pour l'apprentissage guidé par l'exemple, les quadrupèdes ne disposent d'aucune référence équivalente et imposent en général une ingénierie de récompense spécifique à chaque compétence. Si la méthode se confirme au-delà des cas démontrés dans l'article, elle promettrait de réduire le temps d'ingénierie nécessaire pour doter un robot quadrupède de nouvelles compétences dynamiques, un enjeu concret pour les intégrateurs cherchant à accélérer leurs cycles de développement. Elle illustre aussi un glissement d'usage des LLM en robotique : générer des données de démonstration plutôt qu'écrire directement des fonctions de récompense.

MimicAgent se positionne comme une réponse aux limites d'Eureka, le système antérieur qui tentait d'automatiser le reward shaping via des LLM mais peinait, selon les auteurs, à généraliser à des compétences et morphologies variées. L'approche s'inspire des succès obtenus par le RL guidé par l'exemple chez les humanoïdes, appuyés sur des jeux de données de motion capture à grande échelle. Publié comme simple article arXiv, sans affiliation industrielle mise en avant ni partenariat commercial annoncé, il s'agit à ce stade d'une contribution académique, dont les suites attendues porteraient sur l'extension à davantage de compétences et à des morphologies de robots plus diverses.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Génération de trajectoires et commande des quadrirotors
1arXiv cs.RO 

Génération de trajectoires et commande des quadrirotors

Un projet académique publié sur arXiv (2610.34456v1) détaille la conception d'un contrôleur et d'un générateur de trajectoires pour un quadrirotor. L'auteur s'appuie sur la platitude différentielle (differential flatness), une propriété qui permet d'exprimer l'état et les commandes du drone à partir de quelques sorties dites plates, ici la position et le lacet. À partir de points de passage (waypoints), un algorithme produit une trajectoire à snap minimal, c'est-à-dire qui minimise la dérivée quatrième de la position pour obtenir des mouvements lisses. Un simple contrôleur proportionnel-dérivé (PD) assure le suivi. Les résultats sont uniquement en simulation et montrent des profils de position et de vitesse réguliers. Le résumé ne donne ni charge utile, ni erreur de suivi, ni temps de calcul, ni test sur matériel réel. L'intérêt est pédagogique plus que technologique. Le couple snap minimal et platitude différentielle est une base classique de la planification de drones, et ce travail confirme qu'un PD basique suffit à suivre ces trajectoires en simulation. Il ne dit rien de la robustesse face aux perturbations, au vent, aux erreurs de modèle ou au bruit des capteurs. C'est précisément là que se creuse l'écart entre simulation et réalité (sim-to-real), qui reste le point dur pour les intégrateurs. Aucune comparaison avec des méthodes plus avancées n'est annoncée, comme la commande prédictive (MPC) ou l'apprentissage par renforcement. Ce travail prolonge les références historiques de la communauté, notamment les travaux sur la génération de trajectoires polynomiales et le contrôle géométrique des quadrirotors, qui ont structuré la recherche depuis les années 2010. Il se situe loin des systèmes de pointe en vol agile ou des politiques apprises de bout en bout. Aucune suite, aucun code ni aucun test en conditions réelles n'est annoncé. Il s'agit donc d'un exercice de synthèse utile pour des ingénieurs qui débutent, pas d'une avancée pour la robotique industrielle.

RecherchePaper
1 source
AGILE : reconstruction des interactions main-objet à partir de vidéo par génération à base d'agents
2arXiv cs.RO 

AGILE : reconstruction des interactions main-objet à partir de vidéo par génération à base d'agents

Une équipe de chercheurs a présenté AGILE (arXiv:2602.04672v3), un framework de reconstruction d'interactions dynamiques main-objet à partir de vidéos monoculaires, ciblant deux applications majeures : la collecte de données pour la manipulation dextère en robotique et la création de jumeaux numériques pour la simulation et la réalité virtuelle. La méthode s'attaque à deux verrous techniques qui paralysent les approches existantes : d'une part, le rendu neuronal classique produit sous forte occultation des géométries fragmentées, inutilisables directement en simulation physique ; d'autre part, l'initialisation par Structure-from-Motion (SfM) est notoriellement fragile sur des vidéos captées en conditions réelles. AGILE bascule du paradigme de reconstruction vers ce que les auteurs appellent une "génération agentique" : un Vision-Language Model (VLM) pilote un modèle génératif pour synthétiser un mesh objet complet, fermé (watertight) et texturé haute fidélité, sans dépendre du contenu vidéo occulté. Une stratégie dite "anchor-and-track" initialise la pose de l'objet sur une unique frame d'interaction via un modèle fondation, puis propage cette pose temporellement en exploitant la similarité visuelle entre l'asset généré et les frames vidéo. Une optimisation finale dite contact-aware intègre des contraintes sémantiques, géométriques et de stabilité d'interaction pour garantir la plausibilité physique. Sur les benchmarks HO3D, DexYCB et ARCTIC, AGILE surpasse les baselines en précision géométrique globale. L'intérêt industriel de cette approche réside dans la production d'assets directement exploitables en simulation, une propriété validée par les auteurs via du retargeting real-to-sim pour des applications robotiques. C'est précisément le point de friction qui freinait l'adoption des pipelines de reconstruction vidéo dans les boucles d'entraînement de politiques de manipulation : les meshes obtenus par NeRF ou reconstruction multi-vues classique nécessitaient un travail de remaillage manuel avant d'être injectables dans un moteur physique comme MuJoCo ou Isaac Sim. En contournant le SfM, AGILE devient également utilisable sur des données de terrain non contrôlées, ce qui ouvre la voie à la collecte passive de démos humaines à grande échelle, un prérequis pour les approches VLA (Vision-Language-Action) qui peinent encore à obtenir suffisamment de trajectoires dextères annotées. Le problème de la reconstruction main-objet est étudié depuis plusieurs années, avec des datasets de référence comme HO-3D (2020) et DexYCB (2021), et des méthodes basées sur les modèles paramétriques MANO pour la main. L'originalité d'AGILE est de déporter la reconstruction de l'objet vers une génération guidée, plutôt que de l'estimer directement depuis le signal vidéo dégradé. Les concurrents directs sont les méthodes NeRF-based adaptées aux scènes dynamiques (D-NeRF, HO-NeRF) et les pipelines SfM+MVS classiques, tous sensibles aux occultations. Du côté des acteurs industriels, cette direction intéresse directement les équipes travaillant sur la télé-opération et l'imitation learning pour bras robotiques dextères, notamment chez Dexterous Robotics, Physical Intelligence (Pi) ou les labos académiques proches de Figure et Apptronik. Le projet dispose d'une page dédiée (agile-hoi.github.io) ; aucun code ni dataset supplémentaire n'est annoncé à ce stade.

RecherchePaper
1 source
HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines
3arXiv cs.RO 

HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines

Des chercheurs présentent HumanX, un cadre unifié qui convertit de simples vidéos monoculaires de humains en compétences d'interaction pour robots humanoïdes, sans conception spécifique à chaque tâche. Le système repose sur deux briques co-conçues. XGen, un pipeline de génération de données centré sur des « ancres », produit à partir d'une vidéo des données d'interaction physiquement plausibles pour le robot, puis les augmente pour constituer un jeu d'entraînement varié. XMimic, un cadre d'apprentissage qui donne la priorité à l'interaction avec l'objet ou le partenaire, en tire des compétences généralisables à partir de quelques secondes de démonstration. L'évaluation couvre cinq domaines (basket, football, badminton, ramassage de colis et combat réactif), soit 9 compétences distinctes, transférées en zero-shot sur un Unitree G1 réel. Parmi les résultats cités figurent un tir en fadeaway après feinte et demi-tour, réalisé sans aucune perception externe, ainsi que des échanges de passes soutenus avec un humain sur plus de 10 cycles consécutifs, appris à partir d'une seule vidéo. L'intérêt tient à la contrainte que ce travail cherche à lever. L'apprentissage de l'interaction pour humanoïdes bute d'ordinaire sur deux obstacles : la rareté de données d'interaction réalistes, et la nécessité d'ingénierie de récompense minutieuse, tâche par tâche, qui empêche le passage à l'échelle. Si les résultats se confirment, une vidéo unique suffirait à produire une politique transférable en simulation vers le réel, ce qui réduit fortement le coût d'ajout d'une compétence. Les auteurs affirment une meilleure généralisation que les méthodes antérieures, mais le texte ne détaille pas ici les références comparées ni les taux de réussite. Il faut aussi relativiser la portée : la méthode vaut pour une classe d'interactions « ancrables », donc pas pour toute manipulation. Les démonstrations portent sur un seul robot, le G1, et le tir sans perception externe montre davantage la qualité du contrôle que de l'adaptation à un environnement imprévu. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Ce travail s'inscrit dans la vague de l'apprentissage de mouvements humanoïdes à partir de vidéos humaines et de capture de mouvement, où le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert de plateforme de référence. Les approches concurrentes se divisent entre imitation avec récompenses conçues à la main, pipelines de retargeting de mouvement et modèles vision-langage-action généralistes (VLA) comme Pi-0, GR00T N2 ou Helix, plus orientés manipulation et instruction en langage naturel que dynamique agile. HumanX se positionne à l'inverse sur l'agilité et la réactivité physique. Cette version v2 de l'article sur arXiv (2602.02473) indique une révision du manuscrit. Parmi les suites à surveiller figurent une validation sur d'autres morphologies, un élargissement au-delà des interactions ancrables et une mesure plus systématique de la robustesse face à des conditions non contrôlées.

RecherchePaper
1 source
Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA
4arXiv cs.RO 

Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA

Des chercheurs publient sur arXiv une analyse des échecs de généralisation des modèles vision-langage-action (VLA), accompagnée d'une méthode de correction baptisée Equivariant Counterfactual Training (ECT). Le constat de départ est que des VLA dépassent 90 % de réussite sur les tâches vues à l'entraînement et résistent aux changements parasites qui ne modifient pas l'action requise (éclairage, objets non pertinents). Ils échouent en revanche dès qu'une modification contrefactuelle impose une action différente, par exemple permuter la position de deux objets. Les auteurs nomment ce défaut « instruction-action binding » : la politique réagit au langage comme à la vision, mais ne les combine pas pour choisir l'action adaptée. Les analyses comportementales, menées sur des versions affinées de π0.5 et de GR00T-N1.7, montrent que les rollouts ratés répètent souvent le comportement de la tâche source ou basculent vers une autre tâche démontrée. Le langage n'est donc pas ignoré : il sert d'index vers une famille de trajectoires connues, et le retour visuel n'en ajuste que l'exécution. Sur le simulateur LIBERO-PRO, l'ECT complet fait passer le taux de réussite moyen de π0.5 en permutation de positions de 36 % à 59 %. Sur CALVIN, où les contreparties existent déjà dans les données, la seule fonction de perte ECT améliore l'enchaînement de cinq tâches sans nouvelle démonstration. Sur un bras UR5e réel, à budget de démonstrations constant, le succès sur positions inédites passe de 8 % à 88 %. Ces résultats portent sur un point central pour le déploiement industriel : un score de robustesse agrégé peut masquer une faiblesse structurelle. Un VLA qui encaisse les perturbations visuelles banales peut rester un récupérateur de trajectoires, incapable de reconfigurer son geste quand la même consigne exige un mouvement différent dans une scène modifiée. Pour un intégrateur, c'est le cas typique d'une cellule dont l'agencement change entre deux lots. Le travail suggère aussi qu'une partie du problème tient à la composition des données et à l'objectif d'imitation, et non à la taille du modèle : lorsque l'action reste conditionnellement étroite, une solution ancrée dans la scène et une solution indexée sur l'instruction sont indiscernables sur les démonstrations. Corriger cela par des paires contrefactuelles, plutôt que par plus de volume, est une piste peu coûteuse. Une réserve s'impose : le gain de 8 % à 88 % vient d'un seul robot et d'un protocole à budget fixe, et le gain en simulation (+23 points) est plus modeste. L'étude s'inscrit dans une série de travaux sur les limites de généralisation des VLA, alors que π0.5 de Physical Intelligence et la famille GR00T de NVIDIA servent de références ouvertes pour les politiques généralistes. Les benchmarks comme LIBERO-PRO et CALVIN ont été conçus pour mesurer cette généralisation, et les auteurs montrent que certains scores flatteurs reposent sur la mémorisation. Les suites probables sont des validations sur d'autres plateformes, des tâches plus longues et d'autres architectures de VLA. Il s'agit d'un préprint non évalué par les pairs, sans produit ni déploiement annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source