Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

PAKE : apprentissage de la loco-manipulation du corps entier via des embeddings cinématiques partiels

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (arXiv:2607.11041, juillet 2026) un nouveau framework de contrôle corps entier baptisé PAKE, pour "Partial Kinematic Embeddings", destiné à la loco-manipulation des robots à haute redondance cinématique. Le système repose sur un modèle de flux de normalisation cinématique (Kinematic Normalizing Flow, KNF), entraîné sur un grand jeu de données de mouvements, qui génère des trajectoires de référence partielles à la fois variées et physiquement réalisables. Un contrôleur de haut niveau navigue dans l'espace latent du KNF pour exploiter la redondance du système, tandis qu'un contrôleur bas niveau garantit une exécution motrice précise. Les auteurs valident l'approche sur un robot quadrupède équipé d'un bras à six degrés de liberté (DoF). En déploiement matériel réel, sur 24 épisodes répartis en 8 tâches de manipulation mobile différentes, le système atteint une erreur de suivi de pose de l'organe terminal de 4,5 cm et 0,14 rad, avec des erreurs de vitesse linéaire et angulaire de locomotion de 0,1 m/s et 0,01 rad/s respectivement, des chiffres présentés comme supérieurs aux méthodes concurrentes testées en parallèle.

Le résultat s'inscrit dans un problème central de la robotique humanoïde et quadrupède actuelle : contrôler des systèmes à très haut nombre de degrés de liberté sans sacrifier la précision, un point sur lequel de nombreuses démonstrations commerciales restent floues ou s'appuient sur des vidéos sélectionnées. Ici, les métriques proviennent d'essais matériels documentés et non de simulation seule, ce qui renforce leur crédibilité, même si le volume d'épisodes (24) reste modeste pour parler de robustesse à grande échelle. Pour les intégrateurs travaillant sur des tâches de manipulation mobile (entrepôts, inspection, logistique), cela illustre une voie alternative aux approches VLA de bout en bout comme Pi-0 ou GR00T N2, en découplant génération de mouvement de référence et exécution bas niveau.

Le travail se positionne dans la lignée des recherches en apprentissage par imitation et en génération de mouvement pour la robotique redondante, un domaine où rivalisent notamment les laboratoires travaillant sur les modèles de flux et les politiques de contrôle hiérarchique. Les auteurs évoquent un potentiel d'extension à d'autres tâches robotiques en aval, sans toutefois annoncer de calendrier de déploiement industriel ni de partenaire commercial à ce stade.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines
1arXiv cs.RO 

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper
1 source
Apprentissage du contrôle corps entier adapté au terrain pour la loco-manipulation perceptive de robots à pattes
2arXiv cs.RO 

Apprentissage du contrôle corps entier adapté au terrain pour la loco-manipulation perceptive de robots à pattes

Une équipe de chercheurs a publié sur arXiv (référence 2605.31343, mai 2026) un framework baptisé TA-WBC (Terrain-Aware Whole-Body Control) destiné aux manipulateurs à pattes, c'est-à-dire des robots combinant membres locomoteurs (quadrupèdes ou bipèdes) et bras articulés. Le coeur du système est une politique unifiée entraînée par apprentissage par renforcement (RL) qui pilote simultanément les jambes et le bras lors de tâches de loco-manipulation, terme désignant la capacité à se déplacer et manipuler des objets en même temps. L'architecture repose sur trois briques techniques : un encodeur d'extéroception hybride qui extrait en temps réel les caractéristiques du terrain, une méthode d'échantillonnage de l'effecteur final ancrée sur le plan de contact des pieds pour découpler la cible de manipulation des oscillations du torse, et un module de distillation à double politique pour intégrer motricité étendue et adaptabilité sans effacement catastrophique des compétences acquises. Les expériences en simulation et en environnement réel montrent une zone atteignable agrandie, une erreur de tracking réduite et moins de trébuchements imprévus. Ce travail s'attaque à une limitation structurelle des contrôleurs corps entier existants : leur dépendance quasi exclusive à la proprioception (capteurs internes, IMU, encodeurs) au détriment de l'extéroception (perception externe du terrain). En milieux industriels complexes comme les chantiers, les entrepôts en hauteur variable ou les sites nucléaires, cette lacune rend les plateformes mobiles-manipulatrices peu fiables dès que le sol n'est plus plan. Le découplage effecteur/torse est particulièrement notable pour les intégrateurs : il signifie que le bras peut maintenir une trajectoire stable même quand le corps compense une marche irrégulière, ce qui est un prérequis non négociable pour tout assemblage ou saisie de précision en terrain dégradé. La validation sim-to-real, même partielle, renforce la crédibilité d'une approche qui reste à ce stade un preprint non commercialisé. Les manipulateurs à pattes constituent une catégorie en pleine structuration. Boston Dynamics commercialise Spot avec bras depuis 2021, Unitree propose le B2W équipé d'un bras, et plusieurs laboratoires académiques majeurs (ETH Zurich, CMU, Berkeley) publient régulièrement sur la loco-manipulation. Le verrou que TA-WBC cherche à lever, la perception de topologie de terrain couplée au contrôle corps entier, est précisément ce qui freine le déploiement de ces plateformes au-delà des environnements structurés. Ce preprint n'annonce pas de produit ni de partenaire industriel ; il pose néanmoins une brique algorithmique que des acteurs comme Agility Robotics, Apptronik ou les équipes robotique de Google DeepMind pourraient intégrer dans leurs chaînes d'entraînement.

UETravail de recherche applicable aux déploiements industriels en environnements dégradés (sites nucléaires, entrepôts à topologie variable) présents en Europe, mais sans implication directe d'acteurs français ou européens.

RecherchePaper
1 source
HeLoM : apprentissage hiérarchique pour la locomotion et la manipulation corps entier par un robot hexapode
3arXiv cs.RO 

HeLoM : apprentissage hiérarchique pour la locomotion et la manipulation corps entier par un robot hexapode

Des chercheurs ont publié sur arXiv (arXiv:2509.23651v3) HeLoM, un framework hiérarchique d'apprentissage pour la manipulation whole-body par un robot hexapode. L'objectif central est la manipulation non-préhensile, c'est-à-dire pousser des objets sans les saisir, une stratégie qui contourne la complexité de la conception de prises tout en exploitant le contact direct pour contrôler la pose d'un objet. Le système repose sur une architecture à deux niveaux : un planificateur haut niveau qui définit les comportements de poussée, et un contrôleur bas niveau qui maintient la stabilité locomotrice et génère des commandes articulaires dynamiquement cohérentes. En pratique, les pattes avant assurent l'interaction avec l'objet tandis que les pattes arrière fournissent la propulsion. Les expériences en monde réel montrent que le robot peut pousser des objets de tailles et propriétés physiques variées, et a priori inconnues, vers des poses cibles définies. L'intérêt de HeLoM pour le secteur robotique tient à deux points. Premièrement, il démontre qu'un système hexapode peut réaliser une manipulation efficace sans bras ni préhension, en mobilisant la totalité de la cinématique du corps, une approche qui s'applique par extension à d'autres plateformes multi-pattes. Deuxièmement, la robustesse face aux propriétés inconnues de l'objet (masse, forme irrégulière) illustre un progrès sur le gap sim-to-real : le framework, validé en simulation, transfère dans le monde physique sans connaissance a priori des paramètres de l'objet. Pour un intégrateur industriel, cela signifie potentiellement une manipulation de charges lourdes ou encombrantes sans recourir à un bras robotique dédié. L'approche s'inscrit dans un courant plus large de recherche sur la loco-manipulation whole-body, où des laboratoires comme ETH Zurich (ANYmal), Carnegie Mellon (loco-manipulation quadrupède) et Boston Dynamics travaillent à unifier locomotion et manipulation dans un cadre unique. HeLoM se distingue en ciblant spécifiquement l'hexapode, morphologie plus stable mais moins explorée que le quadrupède pour la manipulation. La publication est un preprint arXiv (version 3), sans mention de déploiement industriel ni de partenariat. Les prochaines étapes naturelles seraient l'extension à des comportements de tirage ou de levage, et des tests sur des charges plus importantes avec mesure explicite du payload maximal, absent des résultats actuellement publiés.

RecherchePaper
1 source
Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes
4arXiv cs.RO 

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper
1 source