Aller au contenu principal
RoboDreamer : la locomotion humanoïde anticipative par modèles d'état prédictifs
RecherchearXiv cs.RO 

RoboDreamer : la locomotion humanoïde anticipative par modèles d'état prédictifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne une version révisée d'un article arXiv (identifiant 2609.07096v2) intitulé "RoboDreamer: Anticipatory Humanoid Locomotion with Predictive State-Space Models", qui décrit une méthode de contrôle de la marche bipède robuste face à des capteurs imparfaits. Le système s'appuie sur un entraînement en deux temps: un modèle "enseignant" apprend d'abord sur des observations propres et complètes, puis un modèle "élève" est distillé à partir de ce premier en ne recevant que des observations récentes partiellement masquées de façon continue et aléatoire, ce qui force la politique de contrôle à reconstituer l'état manquant à partir de l'historique de mouvement. À l'inférence, cette même interface de masquage sert aussi à affiner les actions en boucle fermée de manière implicite et, en option, à regrouper plusieurs pas d'action consécutifs (action chunking). L'architecture repose sur Mamba, un modèle à espace d'états, comme colonne vertébrale temporelle. Des ablations comparatives menées dans les simulateurs IsaacLab et MuJoCo, puis directement sur un robot humanoïde Unitree G1, montrent un suivi de mouvement robuste malgré le masquage d'observations, avec un déploiement réel réussi en latence temps réel.

Pour l'industrie robotique, ce travail cible un verrou concret du déploiement des humanoïdes: la dégradation, le bruit ou les retards de capteurs en conditions réelles, qui font souvent échouer des politiques entraînées sur des observations propres en simulation. En montrant qu'un entraînement par masquage temporel et distillation comble une grande partie de l'écart de robustesse, et que Mamba n'apporte qu'un gain complémentaire de suivi tout en tenant le temps réel, l'étude nuance l'idée que seule l'architecture du réseau (transformer, VLA) explique la performance: la stratégie d'entraînement compte au moins autant.

Ce travail s'inscrit dans la lignée des méthodes de distillation enseignant-élève déjà utilisées pour la locomotion des robots à pattes, en y ajoutant un mécanisme inspiré des "world models" prédictifs. Le choix du Unitree G1, plateforme largement adoptée par les laboratoires de recherche pour sa disponibilité et son coût, en fait un banc d'essai courant plutôt qu'un partenariat commercial annoncé. Le statut de "replace" sur arXiv indique une révision d'un article déjà soumis, sans calendrier de commercialisation ni d'industrialisation communiqué à ce stade.

À lire aussi

AHEAD : téléopération prédictive de la main par anticipation de l'intention humaine
1arXiv cs.RO 

AHEAD : téléopération prédictive de la main par anticipation de l'intention humaine

Cette semaine, un article publié sur arXiv (2607.15172v1) présente AHEAD, un système de téléopération en réalité virtuelle capable d'anticiper les intentions de l'opérateur pour accélérer le contrôle d'un robot manipulateur. Dans la téléopération directe classique, chaque mouvement de la main est retranscrit image par image sur l'effecteur du robot, ce qui offre une précision fine mais impose une surveillance constante et fatigante lors de l'approche, de la saisie et du dépôt d'objets. La téléopération supervisée par objectifs, où l'opérateur fixe des points de passage que le robot atteint via un planificateur, réduit la charge cognitive mais introduit une latence d'attente entre chaque commande. AHEAD combine les deux approches dans un jumeau numérique: l'opérateur effectue des gestes naturels de préhension et de placement, et un classifieur basé sur l'attention analyse une courte fenêtre de signaux 3D de la main et de la tête, associée au contexte de la scène, pour prédire l'objet visé et l'emplacement de dépôt. Une machine à états transforme ensuite ces prédictions en objectifs stables pour le robot, permettant un déclenchement anticipé du mouvement tout en restant robuste face aux prédictions bruitées ou aux corrections gestuelles. Le module de prédiction atteint une précision Top-1 de 76% pour l'identification de l'objet à saisir et 76% pour le créneau de placement cible. Cette approche s'attaque directement à un compromis structurel de la téléopération industrielle: la précision du contrôle direct contre la fluidité du contrôle par objectifs. Pour les intégrateurs travaillant sur des tâches répétitives de pick-and-place télé-opérées, en logistique ou en assemblage, une réduction mesurable de la latence de réaction combinée à une charge opérateur allégée pourrait justifier l'adoption de systèmes hybrides plutôt que le choix binaire actuel entre contrôle manuel intensif et planification automatisée plus lente. L'étude utilisateur associée montre des gains concrets: la latence de réaction du robot diminue de 0,6 seconde pour la reconnaissance d'objet et de 1,4 seconde pour le créneau de placement par rapport aux méthodes de référence, avec une charge de travail perçue par les participants en baisse. Ces résultats s'inscrivent dans un courant de recherche plus large sur la prédiction d'intention humaine en téléopération VR, où l'enjeu est de rapprocher la réactivité de systèmes semi-autonomes de celle du contrôle manuel direct, sans reproduire sa charge cognitive. Le papier ne précise pas de plateforme robotique commerciale ni de partenaire industriel; il s'agit à ce stade d'une contribution méthodologique évaluée en environnement contrôlé, dont la transposition à des cas d'usage industriels réels reste à démontrer.

RecherchePaper
1 source
$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente
2arXiv cs.RO 

$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente

Des chercheurs présentent ω-0, un modèle prédictif world-action conçu pour la loco-manipulation concurrente chez les robots humanoïdes, c'est-à-dire la capacité à se déplacer, ajuster sa posture, garder l'équilibre et manipuler un objet simultanément, comme un geste unique plutôt que deux tâches séparées. À partir d'une instruction en langage naturel, d'une observation visuelle et de l'état proprioceptif du robot, le modèle prédit directement des latents d'action pour tout le corps, compatibles avec le contrôleur. Plutôt que de reconstruire des vidéos futures comme d'autres approches, ω-0 apprend des embeddings compacts d'observations futures, objectif prédictif léger couplé à une génération d'action par diffusion sur le corps entier. Le système accepte des entrées RGB égocentriques, RGB exocentriques et profondeur exocentrique, et s'appuie sur un rejeu de simulation piloté par contrôleur pour convertir des priors de mouvement humains ou publics en latents exécutables par le robot. Les auteurs ont aussi constitué ω-HOME, un jeu de données domestique réel de plus de 40 heures, avec vues multiples synchronisées, mouvements SMPL du corps entier, états robot et latents d'action. Sur 11 tâches ménagères réelles, un seul modèle ω-0 produit des comportements fluides de manipulation en mouvement et surpasse des références en apprentissage par imitation, en VLA, en politiques humanoïdes dédiées et en autres modèles world-action. Ce travail cible un angle mort du secteur: la plupart des politiques humanoïdes actuelles traitent marche et manipulation comme deux problèmes distincts, ce qui produit des comportements saccadés peu adaptés aux tâches domestiques, où un robot doit par exemple continuer d'avancer tout en attrapant un objet sur une étagère. Les modèles world-action existants restent soit centrés sur le bras, en ignorant la locomotion, soit centrés sur la vidéo, coûteux à entraîner car ils prédisent des images futures complètes. En apprenant des représentations latentes compactes plutôt que des vidéos, ω-0 cherche un compromis: garder la capacité d'anticipation d'un world model sans son coût de calcul. Si le résultat se confirme au-delà des 11 tâches testées, il renforcerait l'hypothèse qu'une architecture VLA à latents diffusés peut unifier locomotion et manipulation à l'échelle, un problème encore largement non résolu pour les humanoïdes commerciaux. Ce travail s'inscrit dans la vague récente des modèles world-action pour la robotique, où l'enjeu est de donner aux robots une forme d'anticipation visuelle avant d'agir, en exploitant des données humaines pour compenser la rareté des données robot réelles. Le résumé, publié comme preprint arXiv (2608.06375v1), ne précise ni affiliation industrielle ni acteur commercial: il s'agit à ce stade d'une contribution académique, pas d'un produit déployé. Le jeu de données ω-HOME et le code, s'ils sont rendus publics, devront être repris par d'autres équipes pour vérifier la généralisation au-delà des 11 tâches ménagères testées. La suite logique pour ce type de travaux est le passage à l'échelle, sur davantage de tâches, de plateformes et d'environnements, ainsi que la confrontation directe avec les VLA propriétaires déployés par les grands acteurs humanoïdes du secteur.

RechercheActu
1 source
RPL : un apprentissage robuste de la locomotion perceptive humanoïde sur terrains difficiles
3arXiv cs.RO 

RPL : un apprentissage robuste de la locomotion perceptive humanoïde sur terrains difficiles

Des chercheurs présentent RPL (Robust Perceptive Locomotion), un cadre d'entraînement en deux étapes pour la locomotion multidirectionnelle de robots humanoïdes sur terrains difficiles, décrit dans une version révisée (v2) d'un article déposé sur arXiv (2602.03002). La méthode entraîne d'abord des politiques expertes spécifiques à chaque type de terrain, à partir d'observations privilégiées de cartes de hauteur, pour maîtriser séparément locomotion et manipulation. Ces experts sont ensuite distillés dans une politique unique basée sur un transformer, alimentée par plusieurs caméras de profondeur couvrant un large champ de vue. Deux techniques rendent cette distillation robuste en conditions multidirectionnelles : une mise à l'échelle des caractéristiques de profondeur pilotée par les commandes de vitesse, et un masquage aléatoire latéral pour gérer les observations de profondeur asymétriques et les largeurs de terrain inédites. Pour entraîner ce système à grande échelle, les auteurs ont développé un moteur de simulation multi-profondeur qui projette des rayons sur les maillages dynamiques du robot et les maillages statiques du terrain en environnements massivement parallèles, avec un gain de vitesse de 5 fois par rapport aux pipelines de rendu de profondeur des simulateurs existants, tout en modélisant latence, bruit et pertes de capteur réalistes. En conditions réelles, le robot a porté une charge de 2 kg tout en franchissant des pentes de 20 degrés, des escaliers aux marches de 22, 25 et 30 cm, ainsi que des pierres de gué de 25 cm sur 25 cm séparées par des espaces de 60 cm. Cette démonstration s'attaque directement à un angle mort du secteur : la plupart des vidéos promotionnelles de robots humanoïdes montrent une marche avant sur sol plat, alors que la robustesse multidirectionnelle sur terrain irrégulier, avec charge utile, reste rarement documentée en conditions réelles et non scénarisées. Pour les intégrateurs industriels envisageant des humanoïdes en logistique ou en inspection de sites, la capacité à transporter 2 kg sur escaliers et pierres de gué constitue un signal plus parlant que des mesures de vitesse ou de temps de cycle en environnement contrôlé. RPL s'inscrit dans la lignée des approches d'apprentissage par distillation enseignant-élève, déjà utilisées pour la locomotion quadrupède et bipède, mais appliquées ici spécifiquement au défi de la vision par profondeur multidirectionnelle chez l'humanoïde. L'accent mis sur un simulateur maison optimisé pour le rendu de profondeur souligne à quel point le goulot d'étranglement actuel du secteur reste moins l'algorithme de contrôle que l'infrastructure de simulation capable de générer des données réalistes à l'échelle. L'article ne précise pas de plateforme robotique commerciale ni de calendrier de déploiement, s'agissant d'une contribution de recherche plutôt que d'une annonce produit.

RecherchePaper
1 source
RoboMirror : comprendre avant d'imiter pour la locomotion humanoïde à partir de vidéo
4arXiv cs.RO 

RoboMirror : comprendre avant d'imiter pour la locomotion humanoïde à partir de vidéo

Des chercheurs présentent RoboMirror, un système qui permet a un robot humanoïde d'apprendre a marcher directement a partir de vidéos, sans capture de mouvement ni retargeting du squelette. Contrairement aux méthodes existantes, qui s'appuient soit sur des trajectoires de motion capture organisées, soit sur des commandes textuelles éparses, RoboMirror utilise des modèles vision-langage (VLM) pour extraire l'intention de mouvement visuelle brute de vidéos filmées a la première personne (égocentriques) ou a la troisième personne, et alimente directement avec cette intention une politique de contrôle basée sur la diffusion générant des mouvements physiquement plausibles sans reconstruction explicite de pose. Selon les expériences rapportées par les auteurs, le système permet la téléprésence via vidéo égocentrique, réduit de 80% la latence de contrôle en mode troisième personne, et obtient un taux de réussite des taches supérieur de 3,7% par rapport aux méthodes de référence. Le papier, publie sur arXiv sous l'identifiant 2512.23649, en est a sa quatrième version révisée. Ce travail s'attaque a un problème concret pour l'industrie de la robotique humanoïde: la difficulté de transférer un mouvement observe en vidéo vers un contrôleur robotique sans étape intermédiaire couteuse et sujette aux erreurs, comme la capture de mouvement ou le retargeting manuel. Si les résultats se confirment a plus grande échelle, cela ouvrirait la voie a l'apprentissage de locomotion a partir de vidéo "en conditions réelles" plutôt que de jeux de données de motion capture couteux a produire. Pour les équipes de R&D en téléopération, la réduction de latence en contrôle troisième personne cible un goulot d'étranglement connu, ou le délai entre observation vidéo et exécution du mouvement dégradé la réactivité et la stabilité. Ces chiffres restent toutefois issus d'évaluations internes des auteurs sur des baselines qu'ils ont eux-mêmes sélectionnées, sans validation indépendante ni déploiement documente sur robot physique en conditions réelles. Cette approche s'inscrit dans un mouvement de recherche plus large visant a combler l'écart entre compréhension visuelle et action chez les humanoïdes, un axe pousse notamment par les modèles vision-langage-action. Les méthodes précédentes se divisaient en deux camps limites: les approches texte-vers-mouvement, pénalisées par la pauvreté sémantique du texte et l'accumulation d'erreurs dans des pipelines a étapes multiples, et les approches vidéo-vers-mouvement, qui se contentaient d'une imitation mécanique de la pose sans véritable compréhension du contenu. RoboMirror revendique être la première méthode vidéo-vers-locomotion sans retargeting en conditionnant directement une politique de diffusion sur l'intention extraite par un VLM. Le résume ne précise ni affiliation institutionnelle des auteurs ni calendrier de déploiement sur matériel réel: il s'agit a ce stade d'une contribution de recherche académique, sans pilote industriel ni partenariat annonce.

RecherchePaper
1 source