RecherchearXiv cs.RO 28 octobre 2026

Apprentissage de la loco-manipulation robotique multiphase par optimisation de politique conditionnée par la phase

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode d'apprentissage par renforcement qui permet d'entraîner une seule politique pour des tâches de loco-manipulation à plusieurs phases, par exemple s'accroupir, saisir un objet puis se déplacer, sans recourir aux données de mouvement humain. Ils étendent l'algorithme PPO (Proximal Policy Optimization) avec trois éléments: un critique conditionné par la phase, des fonctions de récompense activées phase par phase, et un curriculum de réinitialisation multi-phase qui guide l'exploration. L'architecture de contrôle est hiérarchique et découplée: la dynamique d'équilibre de bas niveau est séparée de l'exécution des phases de haut niveau. Les compétences multi-étapes ont été démontrées sur matériel, sur le humanoïde Unitree G1 et sur un robot quadrupède Spot de Boston Dynamics équipé d'un bras manipulateur. Des ablations valident les choix de conception. Le résumé de l'article ne fournit ni taux de réussite, ni temps de cycle, ni durée d'entraînement, ni détail des tâches testées.

L'intérêt tient à la contrainte que ce travail cherche à lever. Aujourd'hui, les tâches longues de whole-body loco-manipulation reposent souvent sur la capture ou le retargeting de mouvements humains, ce qui lie la méthode à des plateformes humanoïdes et impose un lourd travail de traitement des données. Une politique entraînée uniquement par interaction avec l'environnement, tout en exploitant la structure connue de la tâche, réduit cette dépendance et vise la portabilité entre morphologies très différentes, un humanoïde bipède et un quadrupède à bras. Pour les intégrateurs, c'est un signal en faveur d'approches où l'ingénieur encode la séquence de la tâche plutôt que de collecter des démonstrations. Il faut toutefois rester prudent: il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et la fiabilité en conditions industrielles, hors laboratoire, reste à démontrer.

Ce travail s'inscrit dans deux courants. D'un côté, l'imitation de mouvements humains et les modèles VLA (vision-langage-action) dominent la course humanoïde. De l'autre, le RL en simulation avec transfert vers le réel, très utilisé sur la locomotion, peine à passer à l'échelle sur des tâches longues, à cause de récompenses éparses et d'une exploration difficile. Le choix du G1, plateforme accessible et répandue en recherche, et de Spot, standard du quadrupède avec bras, facilite la reproduction par d'autres laboratoires. Les suites probables sont des comparaisons avec les approches fondées sur le mouvement humain, des tâches plus longues et un passage à des environnements moins contrôlés. Aucun pilote industriel ni calendrier n'est annoncé.

Dans nos dossiers

Boston Dynamics Unitree IA physique & VLA Manipulation robotique

À lire aussi

1arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

2arXiv cs.RO

HALO : apprentissage de la collaboration humain-robot par optimisation de politique de Lyapunov multi-agents

Des chercheurs de Tsinghua University ont publié HALO (Heterogeneous-Agent Lyapunov Policy Optimization), un framework d'apprentissage par renforcement multi-agents (MARL) dédié à la collaboration humain-robot (HRC), disponible sur arXiv (2603.03741, version 2). Le problème ciblé est ce que les auteurs nomment le "rationality gap" (RG) : en apprentissage décentralisé, les mises à jour de politique du robot et de l'humain divergent structurellement, car l'humain n'optimise pas selon le même objectif formel que l'algorithme. Le problème d'entraînement devient alors un jeu différentiable à somme générale, où les gradients de politique indépendants peuvent osciller ou diverger sans contrainte supplémentaire. HALO résout ce verrou en imposant une contraction au sens de Lyapunov dans l'espace des paramètres de politique, via des projections quadratiques optimales qui rectifient les gradients décentralisés pour garantir une contraction monotone du RG. Les validations couvrent des simulations étendues et des expériences en conditions réelles sur des robots humanoïdes. La contribution centrale est d'avoir transposé la certification de Lyapunov, outil classique de la théorie du contrôle pour garantir la stabilité d'un système dynamique, à la stabilisation de la dynamique d'apprentissage elle-même dans un jeu multi-agents hétérogènes. En pratique, le système peut explorer des espaces d'interaction ouverts, incluant des comportements humains imprévus, sans que l'entraînement ne diverge. Les résultats montrent une meilleure généralisation sur les cas limites collaboratifs où MAPPO ou HATRPO échouent. Pour un intégrateur déployant un humanoïde en co-manutention, cela adresse directement le gap sim-to-real : une stabilité garantie à l'entraînement se traduit par une robustesse accrue face à la variabilité comportementale humaine, condition non-négociable pour tout déploiement industriel. Ce travail s'inscrit dans une littérature croissante sur le MARL pour HRC, où les approches CTDE (Centralized Training, Decentralized Execution) comme QMIX peinent face à l'hétérogénéité humain-robot. L'utilisation de la théorie de Lyapunov en RL existait déjà dans le safe RL pour contraindre les trajectoires d'état ; HALO l'applique à un objectif différent et moins exploré, celui de stabiliser la convergence dans un jeu multi-agents. Les détails des expériences humanoïdes en conditions réelles ne figurent pas dans le résumé et méritent une lecture approfondie avant de conclure sur la portée pratique. Le code et les résultats sont accessibles sur le site du projet, ce qui facilitera la reproductibilité. Des extensions naturelles concerneraient des équipes mixtes impliquant plusieurs humains, ou des scénarios où la politique humaine est elle-même apprise plutôt que supposée fixe.

UEImpact indirect pour les intégrateurs européens en co-manutention humanoïde : HALO adresse le gap sim-to-real dans les scénarios HRC, un verrou clé pour toute certification industrielle en Europe.

RecherchePaper

1 source

3arXiv cs.RO

Lois d'échelle des données en apprentissage par imitation pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (référence 2410.18647, désormais à sa quatrième révision) une étude empirique sur les lois d'échelle des données appliquées à l'apprentissage par imitation en manipulation robotique. Le protocole est rigoureux : plus de 40 000 démonstrations collectées dans de nombreux environnements et avec des objets variés, suivies de plus de 15 000 exécutions réelles sur robot, ce qui en fait l'une des études de scaling en manipulation les plus extensives à ce jour. Résultat central : la performance de généralisation d'une politique d'imitation suit une relation en loi de puissance avec le nombre d'environnements et d'objets d'entraînement. Surtout, quatre collecteurs de données travaillant une seule après-midi ont suffi pour obtenir environ 90 % de taux de réussite en déploiement zéro-shot sur des objets inconnus dans des environnements non vus, sur deux tâches distinctes. Ce que cette recherche établit, c'est que la diversité des environnements et des objets prime largement sur le volume brut de démonstrations : au-delà d'un certain seuil de démonstrations par environnement ou par objet, en ajouter davantage n'améliore plus la généralisation. Ce résultat remet en cause la stratégie intuitive qui consiste à multiplier les répétitions dans un même contexte, et oriente clairement la priorité vers la couverture de distribution plutôt que la densité d'annotation. Pour les intégrateurs industriels et les équipes robotique qui budgètent la collecte de données, l'implication est directe : mieux vaut disperser les efforts sur des scènes variées que d'accumuler des trajectoires dans un seul setup. Le fait d'atteindre 90 % de succès en zéro-shot sur des objets inédits est également un signal fort sur la maturité du paradigme VLA (Vision-Language-Action) en manipulation monomode. Ce travail s'inscrit dans le sillage des succès de scaling en NLP et vision par ordinateur, que des équipes comme DeepMind (RT-2), Physical Intelligence avec Pi-0, ou encore NVIDIA avec GR00T cherchent à transposer en robotique. L'étude reste purement académique pour l'instant, aucun déploiement industriel n'étant annoncé, et les tâches testées demeurent mono-bras sur périmètre contrôlé. Une limite à noter : les vidéos de démonstration et les protocoles d'évaluation exacts ne sont pas tous publics dans la version arXiv, ce qui rend difficile la comparaison directe avec d'autres benchmarks. Les prochaines étapes logiques seront d'étendre ces lois d'échelle aux politiques multi-tâches et de tester leur robustesse sur des plateformes humanoïdes comme Figure 03 ou Optimus Gen 3, où la distribution des états physiques est bien plus large.

RecherchePaper

1 source

4arXiv cs.RO

MDPO : optimisation de politiques de main dextérique sous contraintes multiples par apprentissage par renforcement

Des chercheurs proposent MDPO (Multi-constraint Dexterous Policy Optimization), une méthode d'apprentissage par renforcement sous contraintes destinée à la manipulation dextre sûre, décrite dans un preprint arXiv (2610.33480). Le travail traite des politiques de contrôle de grande dimension, appliquées à des tâches riches en contacts, qui doivent respecter simultanément plusieurs exigences de sécurité : limites articulaires, configurations de doigts dangereuses, collisions du bras et interactions instables avec l'objet. MDPO formule la manipulation dextre comme un problème d'optimisation de politique à contraintes multiples, combinant des contraintes de coût cumulé et des contraintes de coût par état. À chaque itération, la méthode calcule d'abord une politique intermédiaire qui maximise la performance de la tâche, puis la projette sur les régions admissibles, avec une projection propre à chaque type de contrainte. Les expériences ont été menées sur le banc d'essai ReDMan, avec des tâches de contrôle articulaire sûr, de sécurité des doigts et de saisie. Les auteurs affirment une meilleure satisfaction des contraintes que les méthodes de référence, pour une performance de tâche jugée « compétitive ». Le code est publié. Aucun chiffre précis n'est donné dans le résumé. L'intérêt tient à une limite connue des méthodes d'apprentissage par renforcement sous contraintes appliquées aux mains robotiques. La plupart se concentrent sur des budgets de coût cumulé, qui tolèrent une violation ponctuelle tant que la moyenne reste acceptable. Or, sur une main multi-doigts, une seule violation instantanée, comme une butée articulaire dépassée ou une collision, peut endommager le matériel ou l'objet. Traiter explicitement les contraintes par état en plus des contraintes cumulées répond à une exigence concrète des intégrateurs qui envisagent de déployer des politiques apprises à proximité d'humains ou de pièces coûteuses. Il faut toutefois rester prudent. Les résultats sont obtenus en simulation, et rien n'est démontré sur matériel réel, ce qui laisse entière la question du transfert sim-to-real. La formule « performance compétitive » signifie aussi que la sécurité se paie probablement par un compromis de performance, dont l'ampleur reste à vérifier dans l'article complet. Ce travail s'inscrit dans la lignée de l'apprentissage par renforcement sûr, dont les algorithmes à région de confiance sous contraintes, de type CPO, constituent la base, et des bancs d'essai dédiés comme ReDMan, qui visent la manipulation dextre sûre. Il intervient alors que les acteurs de l'humanoïde, de Figure à Tesla en passant par les développeurs de modèles généralistes, investissent dans des mains à nombreux degrés de liberté, un domaine où la sûreté reste peu formalisée dans les politiques apprises de bout en bout. Les prochaines étapes logiques sont la validation sur mains physiques, la comparaison avec des modèles vision-langage-action et l'évaluation sur des tâches industrielles plus variées que celles de ReDMan.

RecherchePaper

1 source