Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RoboDreamer : la locomotion humanoïde anticipative par modèles d'état prédictifs
RecherchearXiv cs.RO 

RoboDreamer : la locomotion humanoïde anticipative par modèles d'état prédictifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne une version révisée d'un article arXiv (identifiant 2609.07096v2) intitulé "RoboDreamer: Anticipatory Humanoid Locomotion with Predictive State-Space Models", qui décrit une méthode de contrôle de la marche bipède robuste face à des capteurs imparfaits. Le système s'appuie sur un entraînement en deux temps: un modèle "enseignant" apprend d'abord sur des observations propres et complètes, puis un modèle "élève" est distillé à partir de ce premier en ne recevant que des observations récentes partiellement masquées de façon continue et aléatoire, ce qui force la politique de contrôle à reconstituer l'état manquant à partir de l'historique de mouvement. À l'inférence, cette même interface de masquage sert aussi à affiner les actions en boucle fermée de manière implicite et, en option, à regrouper plusieurs pas d'action consécutifs (action chunking). L'architecture repose sur Mamba, un modèle à espace d'états, comme colonne vertébrale temporelle. Des ablations comparatives menées dans les simulateurs IsaacLab et MuJoCo, puis directement sur un robot humanoïde Unitree G1, montrent un suivi de mouvement robuste malgré le masquage d'observations, avec un déploiement réel réussi en latence temps réel.

Pour l'industrie robotique, ce travail cible un verrou concret du déploiement des humanoïdes: la dégradation, le bruit ou les retards de capteurs en conditions réelles, qui font souvent échouer des politiques entraînées sur des observations propres en simulation. En montrant qu'un entraînement par masquage temporel et distillation comble une grande partie de l'écart de robustesse, et que Mamba n'apporte qu'un gain complémentaire de suivi tout en tenant le temps réel, l'étude nuance l'idée que seule l'architecture du réseau (transformer, VLA) explique la performance: la stratégie d'entraînement compte au moins autant.

Ce travail s'inscrit dans la lignée des méthodes de distillation enseignant-élève déjà utilisées pour la locomotion des robots à pattes, en y ajoutant un mécanisme inspiré des "world models" prédictifs. Le choix du Unitree G1, plateforme largement adoptée par les laboratoires de recherche pour sa disponibilité et son coût, en fait un banc d'essai courant plutôt qu'un partenariat commercial annoncé. Le statut de "replace" sur arXiv indique une révision d'un article déjà soumis, sans calendrier de commercialisation ni d'industrialisation communiqué à ce stade.

Dans nos dossiers

UnitreeWorld modelsarXiv cs.RO

À lire aussi

Attention au pas : perception anticipée pour la locomotion des robots humanoïdes
1arXiv cs.RO 

Attention au pas : perception anticipée pour la locomotion des robots humanoïdes

Des chercheurs proposent, dans un preprint arXiv (2610.29612), une méthode de perception « anticipée » pour la locomotion de robots humanoïdes. Les politiques de locomotion perceptive observent en général une carte d'élévation dense centrée sur le robot, alors que seul le terrain sous et autour des prochains pas compte pour la décision. Les auteurs filtrent donc l'entrée avant que la politique ne la voie. Un modèle léger de prédiction des points d'appui (FPM) estime les futurs appuis à partir de la seule proprioception et de la commande de vitesse. La carte d'élévation n'est échantillonnée que dans de petites zones autour de ces points. Le FPM est entraîné en même temps que la politique et réentraîné périodiquement sur de nouveaux déroulements, au fur et à mesure que la marche se stabilise. Selon les auteurs, la politique atteint une difficulté de terrain donnée en environ un tiers des itérations d'entraînement nécessaires avec la carte complète. Elle transfère aussi sans réglage supplémentaire (zero-shot) vers un Unitree G1. L'intérêt est d'abord économique. Apprendre en même temps quoi regarder et comment marcher ralentit l'entraînement. Les encodeurs à mécanisme d'attention, qui résolvent ce problème, coûtent cher en calcul. Ici, un simple prétraitement atteint, d'après les auteurs, les performances d'un encodeur à attention entraîné pour plusieurs fois le coût. Il fait mieux que la carte complète quand les points d'appui sont rares, par exemple dans des couloirs étroits à parois, et sur des terrains jamais vus. Les essais sur le G1 couvrent obstacles, escaliers, trous et descentes de marches, au-delà de la distribution d'entraînement, en intérieur comme en extérieur. Pour les équipes qui entraînent des politiques en simulation, le gain d'efficacité en échantillons est donc substantiel. Il faut toutefois rester prudent. Il s'agit d'un preprint, sans relecture par les pairs. Les chiffres viennent des auteurs, et le résumé ne donne ni nombre d'essais, ni taux de réussite, ni comparaison avec d'autres méthodes de perception que celles citées. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel. Ce travail s'inscrit dans le courant de la locomotion perceptive apprise par apprentissage par renforcement, qui repose depuis plusieurs années sur des cartes d'élévation denses ou sur des encodeurs appris, parfois à base d'attention. Il s'applique à une plateforme devenue standard en recherche, le G1 d'Unitree, ce qui facilite la reproduction par d'autres laboratoires. La limite probable est la dépendance à la qualité de la prédiction des appuis. Celle-ci repose uniquement sur la proprioception et la commande, donc une erreur de prédiction peut priver la politique du terrain utile. Le résumé ne dit pas comment la méthode se comporte avec une cartographie bruitée. Les suites naturelles seraient des tests sur d'autres morphologies et une intégration avec des commandes de plus haut niveau. Aucune échéance n'est annoncée.

RecherchePaper
1 source
AHEAD : téléopération prédictive de la main par anticipation de l'intention humaine
2arXiv cs.RO 

AHEAD : téléopération prédictive de la main par anticipation de l'intention humaine

Cette semaine, un article publié sur arXiv (2607.15172v1) présente AHEAD, un système de téléopération en réalité virtuelle capable d'anticiper les intentions de l'opérateur pour accélérer le contrôle d'un robot manipulateur. Dans la téléopération directe classique, chaque mouvement de la main est retranscrit image par image sur l'effecteur du robot, ce qui offre une précision fine mais impose une surveillance constante et fatigante lors de l'approche, de la saisie et du dépôt d'objets. La téléopération supervisée par objectifs, où l'opérateur fixe des points de passage que le robot atteint via un planificateur, réduit la charge cognitive mais introduit une latence d'attente entre chaque commande. AHEAD combine les deux approches dans un jumeau numérique: l'opérateur effectue des gestes naturels de préhension et de placement, et un classifieur basé sur l'attention analyse une courte fenêtre de signaux 3D de la main et de la tête, associée au contexte de la scène, pour prédire l'objet visé et l'emplacement de dépôt. Une machine à états transforme ensuite ces prédictions en objectifs stables pour le robot, permettant un déclenchement anticipé du mouvement tout en restant robuste face aux prédictions bruitées ou aux corrections gestuelles. Le module de prédiction atteint une précision Top-1 de 76% pour l'identification de l'objet à saisir et 76% pour le créneau de placement cible. Cette approche s'attaque directement à un compromis structurel de la téléopération industrielle: la précision du contrôle direct contre la fluidité du contrôle par objectifs. Pour les intégrateurs travaillant sur des tâches répétitives de pick-and-place télé-opérées, en logistique ou en assemblage, une réduction mesurable de la latence de réaction combinée à une charge opérateur allégée pourrait justifier l'adoption de systèmes hybrides plutôt que le choix binaire actuel entre contrôle manuel intensif et planification automatisée plus lente. L'étude utilisateur associée montre des gains concrets: la latence de réaction du robot diminue de 0,6 seconde pour la reconnaissance d'objet et de 1,4 seconde pour le créneau de placement par rapport aux méthodes de référence, avec une charge de travail perçue par les participants en baisse. Ces résultats s'inscrivent dans un courant de recherche plus large sur la prédiction d'intention humaine en téléopération VR, où l'enjeu est de rapprocher la réactivité de systèmes semi-autonomes de celle du contrôle manuel direct, sans reproduire sa charge cognitive. Le papier ne précise pas de plateforme robotique commerciale ni de partenaire industriel; il s'agit à ce stade d'une contribution méthodologique évaluée en environnement contrôlé, dont la transposition à des cas d'usage industriels réels reste à démontrer.

RecherchePaper
1 source
VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision
3arXiv cs.RO 

VIGOR-MPC : commande prédictive par modèle à régulation d'objectifs guidée par la vision

VIGOR-MPC est un cadre de commande publié sur arXiv (2610.20333) qui s'attaque à un problème classique de la robotique mobile: piloter un agent dont la seule perception de l'environnement vient de caméras embarquées. Les auteurs proposent une architecture modulaire de type élève-enseignant, indépendante du pipeline de perception. L'enseignant est un MPC (commande prédictive par modèle) à long horizon, exécuté en simulation avec connaissance complète de l'état. Il intègre la contrainte de champ de vision grâce à une formulation multi-trajectoires qui garantit que l'agent reste dans son champ de vision. L'élève est un MPC à horizon court, dont les paramètres de coût sont déterminés en ligne à partir de la vision par une application récurrente multi-niveaux. Il ne voit que le contexte bruité, de longueur variable et partiellement occulté fourni par le module de perception. Les tests portent sur la course autonome basée sur la vision, en simulation puis sur matériel. Sur des circuits jamais vus à l'entraînement, la méthode s'approche des temps au tour de l'enseignant privilégié tout en réduisant le calcul par pas de plus de 90 %. L'intérêt tient à un goulot d'étranglement très concret: sur un robot réel, la puissance de calcul embarquée est partagée entre perception et commande, ce qui limite l'horizon de planification exécutable en temps réel. Au lieu de remplacer le MPC par une politique apprise de bout en bout, difficile à certifier, VIGOR-MPC conserve un optimiseur classique et n'apprend que ses paramètres de coût. Cette approche garde une structure interprétable et des contraintes explicites, ce qui compte pour les intégrateurs qui doivent justifier le comportement d'un système. La réduction de plus de 90 % du calcul laisse de la marge pour d'autres tâches sur le même processeur. Il faut toutefois relativiser: la validation se limite à la course, un cadre où la piste est structurée, et l'abstract ne donne ni vitesses, ni plateforme matérielle, ni écart chiffré avec l'enseignant. La formule « s'approche des temps au tour » reste donc qualitative. Le travail est une preuve de concept académique, sans produit ni déploiement industriel. Le travail s'inscrit dans la lignée des méthodes qui distillent un expert privilégié, entraîné avec information complète en simulation, vers une politique n'utilisant que des capteurs embarqués. Cette stratégie est déjà courante en locomotion et en vol de drones de course. L'originalité ici est de distiller vers les paramètres d'un MPC plutôt que vers des commandes directes. Les concurrents conceptuels sont les politiques de bout en bout par apprentissage par renforcement et les MPC à long horizon alimentés par une cartographie explicite, plus coûteux en calcul. Les suites naturelles seraient des tests sur des tâches de navigation hors course, comme des environnements encombrés ou des robots mobiles d'entrepôt, et des campagnes de mesures plus détaillées sur matériel. L'article n'annonce aucun calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente
4arXiv cs.RO 

$\omega$-0 : un modèle prédictif latent du monde pour la manipulation locomotrice humanoïde concurrente

Des chercheurs présentent ω-0, un modèle prédictif world-action conçu pour la loco-manipulation concurrente chez les robots humanoïdes, c'est-à-dire la capacité à se déplacer, ajuster sa posture, garder l'équilibre et manipuler un objet simultanément, comme un geste unique plutôt que deux tâches séparées. À partir d'une instruction en langage naturel, d'une observation visuelle et de l'état proprioceptif du robot, le modèle prédit directement des latents d'action pour tout le corps, compatibles avec le contrôleur. Plutôt que de reconstruire des vidéos futures comme d'autres approches, ω-0 apprend des embeddings compacts d'observations futures, objectif prédictif léger couplé à une génération d'action par diffusion sur le corps entier. Le système accepte des entrées RGB égocentriques, RGB exocentriques et profondeur exocentrique, et s'appuie sur un rejeu de simulation piloté par contrôleur pour convertir des priors de mouvement humains ou publics en latents exécutables par le robot. Les auteurs ont aussi constitué ω-HOME, un jeu de données domestique réel de plus de 40 heures, avec vues multiples synchronisées, mouvements SMPL du corps entier, états robot et latents d'action. Sur 11 tâches ménagères réelles, un seul modèle ω-0 produit des comportements fluides de manipulation en mouvement et surpasse des références en apprentissage par imitation, en VLA, en politiques humanoïdes dédiées et en autres modèles world-action. Ce travail cible un angle mort du secteur: la plupart des politiques humanoïdes actuelles traitent marche et manipulation comme deux problèmes distincts, ce qui produit des comportements saccadés peu adaptés aux tâches domestiques, où un robot doit par exemple continuer d'avancer tout en attrapant un objet sur une étagère. Les modèles world-action existants restent soit centrés sur le bras, en ignorant la locomotion, soit centrés sur la vidéo, coûteux à entraîner car ils prédisent des images futures complètes. En apprenant des représentations latentes compactes plutôt que des vidéos, ω-0 cherche un compromis: garder la capacité d'anticipation d'un world model sans son coût de calcul. Si le résultat se confirme au-delà des 11 tâches testées, il renforcerait l'hypothèse qu'une architecture VLA à latents diffusés peut unifier locomotion et manipulation à l'échelle, un problème encore largement non résolu pour les humanoïdes commerciaux. Ce travail s'inscrit dans la vague récente des modèles world-action pour la robotique, où l'enjeu est de donner aux robots une forme d'anticipation visuelle avant d'agir, en exploitant des données humaines pour compenser la rareté des données robot réelles. Le résumé, publié comme preprint arXiv (2608.06375v1), ne précise ni affiliation industrielle ni acteur commercial: il s'agit à ce stade d'une contribution académique, pas d'un produit déployé. Le jeu de données ω-HOME et le code, s'ils sont rendus publics, devront être repris par d'autres équipes pour vérifier la généralisation au-delà des 11 tâches ménagères testées. La suite logique pour ce type de travaux est le passage à l'échelle, sur davantage de tâches, de plateformes et d'environnements, ainsi que la confrontation directe avec les VLA propriétaires déployés par les grands acteurs humanoïdes du secteur.

RechercheActu
1 source