RecherchearXiv cs.RO 30 septembre 2026

EquivDP3 : un encodeur de nuages de points invariant SIM(3) pour la loco-manipulation humanoïde à faible besoin de données

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent EquivDP3, une politique visuomotrice hiérarchique pour la loco-manipulation du humanoïde Unitree G1 (43 articulations), décrite dans un preprint arXiv (2609.36575v1). Le système est en deux étages. Un planificateur de haut niveau, basé sur une diffusion, utilise un encodeur de nuages de points équivariant SIM(3) de type Vector Neuron Network (VNN). Il émet des blocs de commandes corps entier à 6 Hz. Ces commandes sont exécutées à 50 Hz par une politique de locomotion pré-entraînée par apprentissage par renforcement, gelée, et par un module de cinématique inverse différentielle pour les bras. L'ensemble est entraîné de bout en bout par clonage comportemental. SIM(3) désigne le groupe des rotations, translations et changements d'échelle. Les tests couvrent deux benchmarks simulés sous IsaacLab et quatre références non équivariantes, avec 5 à 100 démonstrations, en distribution et hors distribution. Avec 5 à 10 démonstrations, EquivDP3 atteint 67,1 % de succès, contre 38,2 à 52,4 % pour les références. À 50-100 démonstrations, tous les encodeurs convergent (74,3 à 85,2 %). Le surcoût est de 0,8 ms par bloc d'actions par rapport à l'encodeur PointNet remplacé.

L'intérêt tient à la rareté des données. Collecter des démonstrations de loco-manipulation humanoïde par téléopération coûte cher, et un gain de robustesse avec 5 à 10 exemples est un levier concret pour les équipes qui déploient des humanoïdes sur des tâches variables. Les auteurs ajoutent un contrôle utile : en retirant le nuage de points, le succès tombe à 31 % contre 60 % pour EquivDP3 avec 5 démonstrations, et à 78 % contre 99 % avec 10. L'écart est donc bien d'origine perceptive et ne vient pas de la seule proprioception. Le plateau à forte quantité de données traduit selon eux un plafond du benchmark, pas cinq encodeurs qui apprendraient la même invariance. Il faut donc relativiser : les résultats sont uniquement simulés, aucun test sur robot réel n'est rapporté, et l'ordre des méthodes n'a plus de sens au-delà de 50 démonstrations. Le résultat suggère toutefois que injecter la symétrie géométrique dans le backbone de perception est presque gratuit en calcul.

Ce travail prolonge deux lignes existantes. 3D Diffusion Policy (DP3) conditionne un générateur d'actions par diffusion sur des caractéristiques de nuages de points, mais son encodeur de type PointNet n'a pas d'équivariance intégrée aux transformations SIM(3). EquiBot avait comblé cette lacune avec un encodeur VNN équivariant, mais seulement pour des manipulateurs mobiles à roues. EquivDP3 transpose l'approche à un humanoïde bien plus complexe, en s'appuyant sur une architecture hiérarchique qui sépare planification lente et contrôle rapide. Les prochaines étapes évidentes sont le transfert sim-to-real sur un G1 physique, des benchmarks moins saturés et une comparaison avec les politiques VLA généralistes, qui misent sur l'échelle des données plutôt que sur les priors géométriques.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

Fermeture de la boucle en VLA humanoïde : jetons d'objets 3D persistants pour une loco-manipulation vérifiable

Des chercheurs viennent de publier sur arXiv (2607.18016v1) une nouvelle méthode baptisée Persistent Object Tokenization (POT), testée sur un robot humanoïde Unitree G1 dans le cadre d'un système appelé POT-VLA. Le problème ciblé est ce que les auteurs nomment la "divergence d'état objet" : dans les politiques vision-langage-action (VLA) actuelles, l'état de l'objet utilisé pour décider d'un mouvement du corps entier peut différer de celui utilisé ensuite pour vérifier si l'action a bien produit la relation physique voulue, un décalage qui devient critique lors de déplacements, contacts, occlusions ou phases de récupération. POT maintient des enregistrements 3D d'objets indexés par rôle, construits à partir d'observations RGB-D, et les convertit en tokens exploitables par un module d'action corps entier. Sur huit familles de tâches réelles, POT-VLA fait passer le taux de réussite de 39 sur 80 à 71 sur 80 par rapport à une base directe GR00T-N1.7 comparable. Sur un protocole externe aligné sur le benchmark Being-0, le système obtient 44 succès sur 50 tâches de service, contre 37 sur 50 rapportés dans l'article Being-0 original. Pour l'industrie de la robotique humanoïde, ce travail s'attaque à un angle mort souvent glissé sous le tapis dans les démonstrations impressionnantes : la capacité réelle à maintenir une relation géométrique correcte entre un bras et un objet pendant une tâche longue, plutôt que la seule génération d'une trajectoire plausible. En rendant l'état objet à la fois exploitable et vérifiable via des contrôles de prédicats géométriques, le système ferme la boucle entre perception et exécution, un point sensible pour les intégrateurs qui cherchent des garanties de fiabilité au-delà des vidéos de démonstration soigneusement sélectionnées. Les gains les plus marqués concernent justement les tâches nécessitant le maintien prolongé d'une relation 3D, ce qui suggère que l'abstraction d'objet persistant comble une limite structurelle des architectures VLA actuelles plutôt qu'un simple réglage fin. Ce papier s'inscrit dans la course actuelle autour des politiques VLA pour humanoïdes, dominée par des architectures comme GR00T (NVIDIA), utilisée ici comme base de comparaison directe, et des benchmarks de référence comme Being-0 pour les tâches de service. L'usage d'un Unitree G1, plateforme largement adoptée dans la recherche académique en loco-manipulation, ancre les résultats dans un cadre reproductible plutôt que propriétaire. Les auteurs ne mentionnent pour l'instant ni déploiement pilote ni calendrier de commercialisation : il s'agit d'une contribution de recherche, destinée à être étendue à davantage de familles de tâches et potentiellement intégrée à d'autres piles VLA que GR00T.

RecherchePaper

1 source

2arXiv cs.RO

OASIS : de la collecte de données en simulation à la loco-manipulation humanoïde en conditions réelles

Une équipe de chercheurs publie sur arXiv (juin 2026) le framework OASIS, une approche pour entraîner des robots humanoïdes à des tâches de loco-manipulation, combinaison de locomotion et de manipulation d'objets, en s'appuyant exclusivement sur des données de simulation. Le système reconstruit automatiquement des assets 3D réalistes à partir d'images du monde réel via un modèle génératif, puis collecte des trajectoires par télé-opération dans ce simulateur. Ces trajectoires sont ensuite augmentées par randomisation de domaine : variations d'éclairage, de textures et de configuration environnementale. Une politique visuomotrice hiérarchique, entraînée sur ces données simulées, est déployée en zero-shot sur un robot humanoïde physique, sans fine-tuning sur données réelles. Les résultats publiés indiquent que cette politique dépasse, sur la majorité des tâches testées, les performances d'une politique entraînée sur des données de télé-opération réelle. Ce résultat, à prendre avec prudence, le preprint n'étant pas encore soumis à peer review, va à contre-courant d'une hypothèse largement répandue : que la qualité des données terrain serait irremplaçable pour la manipulation fine. Le principal facteur explicatif avancé par les auteurs est la couverture plus large des variations d'éclairage et d'environnement dans le rendu simulé, que la collecte physique peine à égaler à grande échelle. Si le résultat se confirme, il soulage considérablement le goulot d'étranglement de la collecte terrain, qui implique aujourd'hui des resets manuels coûteux et une infrastructure dédiée par tâche. La loco-manipulation reste l'un des défis les plus complexes en robotique humanoïde, car elle exige une coordination simultanée du contrôle de marche et de la manipulation d'objets. Des plateformes comme Figure 03, l'Optimus Gen 3 de Tesla ou l'Atlas de Boston Dynamics cherchent des solutions via des approches diverses : imitation learning sur données réelles (pi-0 de Physical Intelligence), politiques VLA (GR00T N2 de Nvidia) ou RL massivement simulé (Unitree). OASIS positionne la simulation augmentée comme alternative crédible à la télé-opération physique, ce qui pourrait accélérer le bootstrapping de nouvelles tâches sans mobiliser de cellules robotiques dédiées. Les prochaines étapes attendues sont une évaluation sur un spectre plus large de tâches industrielles et une soumission à une conférence avec évaluation par les pairs.

RechercheOpinion

1 source

3arXiv cs.RO

OmniRetarget : génération de données préservant les interactions pour la loco-manipulation corps entier des humanoïdes

OmniRetarget est un pipeline de génération de données pour l'apprentissage par renforcement (RL) sur robots humanoïdes, présenté dans un préprint arXiv (2509.26633, v3). Face au problème du retargeting, qui consiste à convertir des captures de mouvement humain en références cinématiques exploitables par un robot, les méthodes existantes produisent des artefacts physiquement incohérents comme le glissement des pieds (foot-skating) ou la pénétration de surfaces, et ignorent les interactions humain-objet et humain-environnement. OmniRetarget introduit un "interaction mesh", un maillage intermédiaire qui modélise et préserve explicitement les relations spatiales et de contact entre l'agent, le terrain et les objets manipulés, via une minimisation par déformation laplacienne sous contraintes cinématiques. Évalué sur les datasets OMOMO, LAFAN1 et des données MoCap propriétaires, il génère plus de 8 heures de trajectoires de meilleure qualité que les baselines de référence. Appliqué au robot humanoïde Unitree G1, il permet d'exécuter des tâches de parkour et de loco-manipulation sur des horizons allant jusqu'à 30 secondes, entraîné avec seulement 5 termes de récompense et sans curriculum d'apprentissage. L'intérêt pour les chercheurs et intégrateurs réside dans deux apports combinés : la qualité cinématique améliorée réduit le sim-to-real gap, tandis que la préservation des interactions permet d'augmenter une démonstration unique vers différentes morphologies de robots, terrains et configurations d'objets, multipliant l'efficacité de la donnée. Plus significatif encore, l'obtention de comportements de loco-manipulation longs et complexes avec seulement 5 termes de récompense partagés entre toutes les tâches contredit l'hypothèse sectorielle selon laquelle ce type de compétences exige un reward engineering élaboré ou un curriculum progressif. Le paradigme dominant pour l'apprentissage humanoïde repose sur le retargeting MoCap vers des références RL, aux côtés de la télé-opération et de l'imitation directe. Le Unitree G1, produit par le fabricant chinois Unitree Robotics, s'est imposé comme plateforme académique de facto dans ce domaine, face à l'Atlas de Boston Dynamics, aux humanoïdes de Figure AI et d'Agility Robotics. OmniRetarget reste à ce stade une contribution de recherche sans annonce de déploiement industriel ; sa robustesse dans des environnements non structurés, où la géométrie de contact est imprévisible, reste à démontrer hors laboratoire.

RecherchePaper

1 source

4arXiv cs.RO

Workhorse : apprendre la loco-manipulation humanoïde robuste du corps entier à partir de données humaines

Des chercheurs présentent Workhorse, un système qui apprend la loco-manipulation du corps entier pour humanoïdes à partir de démonstrations humaines enregistrées sans robot (arXiv 2610.09117). L'architecture sépare deux politiques. Un planificateur visuel, alimenté par des images RGB égocentriques et la proprioception, prédit cinq cibles de liens : le torse, les deux poignets et les deux pieds. Un contrôleur de suivi du corps entier, entraîné par apprentissage par renforcement, exécute ensuite ces poses sur le robot. Les deux politiques sont entraînées séparément sur les mêmes poses humaines, sans retargeting vers la morphologie du robot. Chacune est aussi entraînée sur des données augmentées qui imitent les erreurs de l'autre au déploiement. Sur un Unitree G1 réel, le système trie des boîtes avec les mains et un coup de pied, attrape une boîte lancée, puis fait basculer une valise et grimpe dessus. Il récupère aussi après une poussée ou le retrait de la boîte par une personne. Dans une copie simulée de la salle de démonstration, le tri aboutit dans 77 % des épisodes, et dans 64 % sous poussées de 40 N.s. Avec les deux politiques réentraînées sur les mêmes démonstrations, un second humanoïde simulé atteint 83 % sans poussées. L'intérêt tient à la façon de contourner deux goulets d'étranglement. Les humanoïdes peinent à planifier des manipulations riches en contacts, où le corps entier participe, à partir de la seule vision embarquée. Et la téléopération robot, qui produit l'essentiel des données d'entraînement actuelles, coûte cher et passe mal à l'échelle. Utiliser des démonstrations humaines brutes, sans passer par le retargeting, simplifie la collecte et ouvre la voie à des corpus plus larges. L'interface à cinq liens est un compromis lisible : assez abstraite pour être indépendante de l'embodiment, assez riche pour porter des gestes comme un coup de pied. Le résultat sur un second humanoïde, obtenu par simple réentraînement, suggère que l'approche se transfère. Il faut toutefois relativiser les chiffres. Les taux de 77 % et 64 % sont mesurés en simulation, dans une salle répliquée, et ne disent rien de la fiabilité sur le robot réel, qui n'est démontré que par des séquences qualitatives. Les tâches restent des démonstrations de laboratoire, loin des cadences et de la robustesse qu'exige un site industriel. Le travail s'inscrit dans la course aux politiques corps entier pour humanoïdes. Les grands modèles VLA (Pi-0, GR00T N2, Helix) visent des compétences généralistes, tandis que les approches de suivi de mouvement par apprentissage par renforcement se sont multipliées sur le G1, plateforme académique de référence en raison de son coût relativement bas. Workhorse relève d'une troisième voie hiérarchique, avec un planificateur appris sur données humaines et un contrôleur bas niveau robuste. Il s'agit d'une publication de recherche (v1) et non d'un produit : aucun déploiement, calendrier ni partenaire industriel n'est annoncé. La suite logique serait de quantifier les taux de réussite sur matériel réel, d'élargir la diversité des tâches et d'évaluer le passage à l'échelle avec davantage de données humaines.

RecherchePaper

1 source