RecherchearXiv cs.RO 28 juillet 2026

CReF : fusion croisée et récurrente pour la locomotion humanoïde conditionnée par la profondeur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Cette avancée en recherche fournit une méthode de bout en bout pour permettre à un robot humanoïde de marcher sur des terrains complexes en utilisant seulement une caméra de profondeur, sans passer par une carte 3D intermédiaire du terrain. Baptisée CReF (Cross-modal and Recurrent Fusion), l'approche fusionne directement les données de profondeur brutes captées à l'avant du robot avec les signaux de proprioception (l'état interne des articulations et du corps), via un mécanisme d'attention croisée piloté par la proprioception. Cette fusion passe ensuite par un bloc résiduel à porte, puis par une unité récurrente GRU dotée d'une porte de sortie de type "highway", qui pondère dynamiquement la contribution des informations récurrentes et instantanées selon le contexte. Les chercheurs ajoutent une récompense d'appui au sol qui identifie, à partir de nuages de points sous les pieds, les zones porteuses les plus proches et incite le robot à y poser le pied. Testée en simulation puis sur un humanoïde physique, la méthode montre un transfert zero-shot réussi vers des environnements réels variés : mains courantes, palettes ajourées, surfaces fortement réfléchissantes et terrains extérieurs encombrés visuellement.

L'intérêt pour l'industrie tient à la simplification radicale du pipeline perception-vers-contrôle. Les méthodes précédentes s'appuyaient souvent sur des représentations de terrain 2.5D centrées sur le robot ou sur des objectifs géométriques auxiliaires pendant l'apprentissage, ce qui imposait des étapes de construction de carte ou des transferts de compétences en plusieurs stades. En évitant ces intermédiaires géométriques explicites, CReF réduit la latence et la complexité d'intégration, un enjeu direct pour les intégrateurs qui cherchent à déployer des humanoïdes en environnement logistique ou industriel réel plutôt qu'en démonstration contrôlée. Le succès du transfert zero-shot sur des surfaces réfléchissantes et des structures ajourées, deux cas connus pour perturber les capteurs de profondeur, est une preuve empirique concrète que l'apprentissage bout-en-bout depth-vers-contrôle peut tenir la route hors laboratoire, un point encore débattu dans le secteur.

Ce travail s'inscrit dans la lignée des recherches sur la locomotion perceptive des humanoïdes, où la tension entre robustesse et simplicité d'architecture reste un problème ouvert, à côté des approches concurrentes utilisant des cartes d'élévation ou des skills pré-entraînés séparément. L'article, disponible sur arXiv, en est à sa troisième version révisée, signe d'itérations après retours de relecture. Les auteurs ne précisent pas de plateforme commerciale ni de partenaire industriel associé à ces travaux, qui relèvent pour l'instant de la recherche académique plutôt que d'un produit déployé ; la prochaine étape naturelle serait une validation sur davantage de plateformes humanoïdes et en conditions de production prolongées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

DPL : locomotion humanoïde perceptive par profondeur seule, via synthèse de profondeur réaliste et reconstruction du terrain par attention croisée

Une équipe de recherche en robotique publie sur arXiv (identifiant 2510.07152, version 3, une révision d'un article déjà soumis) un nouveau cadre baptisé DPL, pour Depth-only Perceptive Locomotion, destiné à la marche adaptative des robots humanoïdes sur terrain accidenté. Le constat de départ : la perception de terrain pour humanoïdes reste coincée entre deux approches limitées. L'apprentissage de bout en bout à partir d'images de profondeur souffre d'une efficacité d'entraînement faible et d'un écart important entre simulation et réel. Les méthodes fondées sur des cartes d'élévation, elles, exigent plusieurs capteurs visuels et un système de localisation, ce qui ajoute de la latence et fragilise la robustesse. DPL combine trois briques : une politique de marche guidée par une perception pré-entraînée à base de carte d'élévation mais fonctionnant avec un minimum d'entrée visuelle réelle (architecture dite "blind backbone"), un transformeur à attention croisée multimodale qui reconstruit une représentation structurée du terrain à partir d'images de profondeur bruitées, et une méthode de synthèse d'images de profondeur réalistes, combinant lancer de rayons sensible à l'auto-occlusion et modélisation du bruit, qui réduit de plus de 30 % l'erreur de reconstruction du terrain. Le tout a été validé sur un robot humanoïde grandeur nature, avec une locomotion agile sur des terrains variés et complexes. L'enjeu pratique est clair pour les intégrateurs et les fabricants de robots humanoïdes déployés en usine ou en environnement extérieur : les systèmes multi-capteurs avec cartographie d'élévation restent coûteux et sensibles aux dérives de localisation, tandis qu'une simple caméra de profondeur est bien moins chère mais historiquement peu fiable en conditions réelles. Si l'écart sim-to-real annoncé est effectivement comblé, cela ouvrirait la voie à des humanoïdes moins instrumentés, donc moins chers à produire et à maintenir, sans sacrifier la capacité à franchir marches, gravats ou sols irréguliers, un point critique pour toute la course actuelle à la commercialisation des humanoïdes. Le papier s'inscrit dans un champ de recherche académique actif où plusieurs laboratoires explorent des alternatives à la cartographie d'élévation classique pour réduire la dépendance au matériel. Comme pour beaucoup de publications arXiv de ce type, aucun partenaire industriel ni date de déploiement commercial n'est mentionné : il s'agit d'une preuve de concept en robot réel, sans indication de suite annoncée par les auteurs.

RecherchePaper

1 source

2arXiv cs.RO

T-GMP : des modèles de mouvement génératifs conditionnés par le terrain pour une locomotion humanoïde naturelle et polyvalente

Des chercheurs ont mis en ligne une version révisée sur arXiv (arXiv:2606.06944v2) d'un article présentant T-GMP (Terrain-conditioned Generative Motion Priors), un module destiné à améliorer la marche des robots humanoïdes sur des terrains variés. Contrairement aux méthodes classiques d'apprentissage par renforcement, qui s'appuient sur des priors de mouvement figés, T-GMP apprend une variété latente de mouvements conditionnée par le terrain à partir d'un petit nombre de démonstrations expert associant états du robot et type de sol. Ce module permet des transitions de style fluides entre modes de marche, ce qui autorise une politique de contrôle unique capable de s'adapter aux variations de terrain plutôt que de nécessiter des politiques séparées. T-GMP est intégré dans un pipeline d'apprentissage adversarial : un discriminateur module dynamiquement les contraintes de naturel du mouvement selon les caractéristiques locales du sol, guidant la génération vers des trajectoires à la fois variées et proches du mouvement humain. Les auteurs ajoutent une pénalité de pose du pied (Foothold Penalty) pour favoriser des appuis sûrs sur terrains difficiles. Les expériences montrent que T-GMP surpasse les méthodes de référence sur trois critères : naturel du mouvement, diversité des mouvements et taux de réussite de la traversée, tout en conservant une coordination physique cohérente du corps. L'enjeu soulevé est un compromis récurrent en locomotion humanoïde : les politiques entraînées par imitation adversariale produisent des mouvements naturels mais figés sur un style unique, alors que diversifier le comportement dégrade en général le réalisme du geste. En conditionnant explicitement les priors sur le terrain plutôt que sur un style fixe, T-GMP vise à lever ce compromis, une seule politique restant capable de traverser des sols hétérogènes sans changer de réseau ni perdre en naturel. Pour les équipes qui développent des humanoïdes destinés à sortir des sols plats d'usine ou de laboratoire, entrepôts, chantiers, extérieurs, cette robustesse du déplacement touche directement l'un des principaux freins actuels à la commercialisation des humanoïdes généralistes. L'approche s'inscrit dans la tendance à rapprocher imitation de mouvement et généralisation par renforcement, plutôt qu'à multiplier des contrôleurs spécialisés par type de terrain. T-GMP prolonge la lignée des méthodes d'apprentissage de mouvement adversarial (proches des Adversarial Motion Priors désormais courantes en recherche sur la locomotion humanoïde), en y ajoutant un conditionnement terrain absent des approches à style fixe. Le document est une version révisée (v2) d'un preprint, sans mention de partenaire industriel, de plateforme robotique nommée ni de déploiement sur matériel réel : les résultats rapportés relèvent donc de benchmarks en simulation face à des méthodes concurrentes, pas d'une validation sur robot physique en conditions réelles. Aucun calendrier de transfert vers du matériel ni d'intégration à une plateforme humanoïde commerciale n'est communiqué, ce qui situe T-GMP au stade de la recherche méthodologique plutôt que du produit prêt à déployer.

RecherchePaper

1 source

$$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente$

3arXiv cs.RO

$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente

Des chercheurs présentent ω-0, un modèle prédictif world-action conçu pour la loco-manipulation concurrente chez les robots humanoïdes, c'est-à-dire la capacité à se déplacer, ajuster sa posture, garder l'équilibre et manipuler un objet simultanément, comme un geste unique plutôt que deux tâches séparées. À partir d'une instruction en langage naturel, d'une observation visuelle et de l'état proprioceptif du robot, le modèle prédit directement des latents d'action pour tout le corps, compatibles avec le contrôleur. Plutôt que de reconstruire des vidéos futures comme d'autres approches, ω-0 apprend des embeddings compacts d'observations futures, objectif prédictif léger couplé à une génération d'action par diffusion sur le corps entier. Le système accepte des entrées RGB égocentriques, RGB exocentriques et profondeur exocentrique, et s'appuie sur un rejeu de simulation piloté par contrôleur pour convertir des priors de mouvement humains ou publics en latents exécutables par le robot. Les auteurs ont aussi constitué ω-HOME, un jeu de données domestique réel de plus de 40 heures, avec vues multiples synchronisées, mouvements SMPL du corps entier, états robot et latents d'action. Sur 11 tâches ménagères réelles, un seul modèle ω-0 produit des comportements fluides de manipulation en mouvement et surpasse des références en apprentissage par imitation, en VLA, en politiques humanoïdes dédiées et en autres modèles world-action. Ce travail cible un angle mort du secteur: la plupart des politiques humanoïdes actuelles traitent marche et manipulation comme deux problèmes distincts, ce qui produit des comportements saccadés peu adaptés aux tâches domestiques, où un robot doit par exemple continuer d'avancer tout en attrapant un objet sur une étagère. Les modèles world-action existants restent soit centrés sur le bras, en ignorant la locomotion, soit centrés sur la vidéo, coûteux à entraîner car ils prédisent des images futures complètes. En apprenant des représentations latentes compactes plutôt que des vidéos, ω-0 cherche un compromis: garder la capacité d'anticipation d'un world model sans son coût de calcul. Si le résultat se confirme au-delà des 11 tâches testées, il renforcerait l'hypothèse qu'une architecture VLA à latents diffusés peut unifier locomotion et manipulation à l'échelle, un problème encore largement non résolu pour les humanoïdes commerciaux. Ce travail s'inscrit dans la vague récente des modèles world-action pour la robotique, où l'enjeu est de donner aux robots une forme d'anticipation visuelle avant d'agir, en exploitant des données humaines pour compenser la rareté des données robot réelles. Le résumé, publié comme preprint arXiv (2608.06375v1), ne précise ni affiliation industrielle ni acteur commercial: il s'agit à ce stade d'une contribution académique, pas d'un produit déployé. Le jeu de données ω-HOME et le code, s'ils sont rendus publics, devront être repris par d'autres équipes pour vérifier la généralisation au-delà des 11 tâches ménagères testées. La suite logique pour ce type de travaux est le passage à l'échelle, sur davantage de tâches, de plateformes et d'environnements, ainsi que la confrontation directe avec les VLA propriétaires déployés par les grands acteurs humanoïdes du secteur.

RechercheActu

1 source

4arXiv cs.RO

PHUMA : un jeu de données pour la locomotion fiable des robots humanoïdes

Une équipe de chercheurs du laboratoire DAVIAN a publié en juin 2026 PHUMA (Physically Reliable HUMAnoid locomotion dataset), un corpus de 73 heures de données de locomotion humanoide produit via un pipeline en deux étapes : une curation physiquement consciente suivie d'un retargeting contraint par des lois physiques. La base de données agrège à la fois des données de motion capture traditionnelles et des vidéos issues d'internet, les deux étant traitées pour éliminer les artefacts physiques récurrents dans les datasets existants, notamment le flottement, la pénétration géométrique et le foot skating. Entraînées sur PHUMA, les politiques de contrôle obtiennent des taux de succès supérieurs à ceux obtenus avec AMASS et Humanoid-X sur les benchmarks de motion tracking standards, et transfèrent en zero-shot vers un Unitree G1 réel. Le code et les données sont disponibles publiquement via davian-robotics.github.io/PHUMA. Le principal verrou que PHUMA prétend lever est la qualité physique des données d'entraînement pour l'imitation de mouvement humanoide. Les approches par imitation sont attractives parce qu'elles permettent d'acquérir des comportements naturels sans reward engineering fastidieux, mais leur efficacité dépend directement de la cohérence physique des données sources. Les artefacts présents dans les datasets basés sur des vidéos internet (comme Humanoid-X) se propagent dans les politiques entraînées, produisant des robots qui glissent ou oscillent de façon instable. La démonstration de transfert zero-shot sur un Unitree G1 physique est le point le plus concret : elle suggère que le filtrage physique en amont réduit effectivement le sim-to-real gap, sans fine-tuning additionnel sur hardware. Reste à qualifier l'ampleur du gain : les métriques de benchmarks internes ne se substituent pas à des comparaisons en conditions réelles standardisées. AMASS, publié en 2019, est resté longtemps la référence en motion capture humanoide, mais sa taille limitée et son coût d'acquisition ont freiné la scalabilité des approches data-driven. Humanoid-X a tenté de combler ce vide en exploitant des vidéos YouTube à grande échelle, au prix d'une dégradation qualitative. PHUMA s'inscrit dans une dynamique plus large où plusieurs équipes cherchent à constituer des datasets de locomotion humanoide à la fois volumineux et physiquement valides, en parallèle des travaux de Figure AI (Figure 03), Boston Dynamics, et des équipes derrière GR00T N2 chez NVIDIA. La prochaine étape logique serait de tester PHUMA sur d'autres plateformes humanoïdes commerciales (H1, Digit) et d'élargir les tâches au-delà de la locomotion simple vers la manipulation en déplacement.

UELe dataset PHUMA étant en accès libre, les équipes de recherche européennes en locomotion humanoïde (INRIA, CEA-List, LAAS-CNRS) peuvent l'intégrer directement dans leurs pipelines d'entraînement sans coût d'acquisition.

RecherchePaper

1 source