Aller au contenu principal
MoViC : contrôle du corps entier d'un robot humanoïde en temps réel à partir de flux vidéo monoculairesIllustration générée par IA
RecherchearXiv cs.RO 

MoViC : contrôle du corps entier d'un robot humanoïde en temps réel à partir de flux vidéo monoculaires

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs publie sur arXiv MoViC, un framework qui permet de piloter un robot humanoïde en temps réel à partir d'un simple flux vidéo RGB monoculaire, sans combinaison de capture de mouvement ni capteurs portés par l'opérateur. Le système enchaîne trois briques : une reconstruction du mouvement humain à partir de l'image, un retargeting vers la morphologie du robot, puis une politique de contrôle de type behavior foundation model basée sur un transformer. Cette politique reçoit l'historique proprioceptif, une seule référence explicite pour le pas de temps suivant, et une représentation compacte dans le domaine fréquentiel qui fournit le contexte temporel sans empiler de futures images de référence, ce qui réduit la dimension d'entrée et la taille du réseau. Un point technique central tient à la différence de cadence : l'estimation visuelle tourne à 10 Hz, tandis que le contrôleur fonctionne à 50 Hz. Une méthode d'extrapolation fait le lien entre les deux, ce qui permet de traiter la vision et d'exécuter la politique de façon asynchrone. Les essais sur matériel portent sur le suivi de mouvements très dynamiques et sur la téléopération sans dispositif de tâches de manipulation, à deux bras ou à un seul bras, à partir d'un flux RGB en direct. L'abstract ne précise ni le modèle de robot, ni le nombre de degrés de liberté, ni la latence de bout en bout, ni les taux de réussite.

L'intérêt pour l'industrie tient à la barrière d'entrée de la téléopération humanoïde. Aujourd'hui, la collecte de données de démonstration passe le plus souvent par des combinaisons de capture de mouvement, des gants, des casques VR ou des exosquelettes, coûteux, longs à calibrer et peu pratiques à grande échelle. Une caméra RGB standard comme seule interface réduirait le coût par poste de téléopération et faciliterait la multiplication des opérateurs, ce qui compte pour alimenter en données les modèles vision-langage-action (VLA) qui s'entraînent sur des démonstrations humaines. La conception de la politique est aussi notable : en remplaçant l'empilement de trames futures par un résumé fréquentiel, les auteurs obtiennent un réseau plus petit, donc plus simple à embarquer. Il faut toutefois rester prudent. La reconstruction monoculaire souffre d'ambiguïtés de profondeur et d'occultations, et la fréquence de 10 Hz limite la réactivité pour la manipulation fine. Les démonstrations de mouvements dynamiques en laboratoire ne disent rien de la robustesse en environnement industriel, avec éclairage variable, occultations et opérateurs multiples.

Ce travail s'inscrit dans une série de recherches sur le suivi universel de mouvement pour humanoïdes, où des politiques entraînées en simulation sur de grands corpus de mouvements humains sont transférées au robot réel, et où des méthodes d'estimation de pose 3D à partir de vidéo se sont nettement améliorées. MoViC rapproche ces deux courants pour viser un usage en direct. Il se positionne face aux approches de téléopération avec capture portée, qui restent plus précises et plus faibles en latence, mais plus contraignantes. Il s'agit à ce stade d'un article de recherche, pas d'un produit ni d'un déploiement : aucun pilote commercial ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication de résultats chiffrés comparatifs face à la capture de mouvement, des tests sur d'autres plateformes humanoïdes, et la mise à disposition éventuelle du code via la page du projet.

À lire aussi

Contrôle du corps entier d'un robot humanoïde par tokenisation stochastique des mouvements
Illustration générée par IA
1arXiv cs.RO 

Contrôle du corps entier d'un robot humanoïde par tokenisation stochastique des mouvements

Des chercheurs proposent une méthode de contrôle du corps entier pour humanoïdes fondée sur une tokenisation stochastique du mouvement, décrite dans un preprint arXiv (2610.36452v1). L'équipe cible une limite des politiques d'apprentissage par renforcement (RL) pilotées en vitesse, efficaces pour les quadrupèdes mais trop pauvres comme interface pour des mouvements complexes d'humanoïde. Leur approche utilise des représentations compactes du mouvement, générées par un contrôleur de haut niveau à partir d'une étiquette de comportement ou d'une commande textuelle. Ces représentations alimentent directement une politique de suivi qui reçoit ainsi une référence de mouvement détaillée. Le tokenizer stochastique reconstruit les mouvements du Unitree G1 mieux que la quantification scalaire finie (FSQ) et l'autoencodeur à quantification vectorielle (VQ-VAE), à capacité égale.

RecherchePaper
1 source
ViT-H : contrôle génératif d'un humanoïde à partir de vidéo, avec retour de suivi du mouvement
Illustration générée par IA
2arXiv cs.RO 

ViT-H : contrôle génératif d'un humanoïde à partir de vidéo, avec retour de suivi du mouvement

Des chercheurs publient sur arXiv ViT-H, un cadre de contrôle « vidéo vers humanoïde » qui génère directement des mouvements de référence pour robot à partir de vidéos monoculaires. Un modèle de diffusion produit ces trajectoires sans passer par la reconstruction du mouvement humain ni par le retargeting, c'est-à-dire l'adaptation du mouvement à la morphologie du robot. Les résultats de suivi de mouvement par un contrôleur (le « tracker ») servent ensuite à post-entraîner le générateur par optimisation directe des préférences (DPO). Une variante autorégressive permet une téléopération humanoïde par vidéo en temps réel, avec une latence inférieure à 400 ms. Les expériences portent sur le Unitree G1.

RecherchePaper
1 source
ForPC : contrôle du corps entier sensible aux forces pour une poussée précise de chariot par un robot humanoïde
Illustration générée par IA
3arXiv cs.RO 

ForPC : contrôle du corps entier sensible aux forces pour une poussée précise de chariot par un robot humanoïde

ForPC, un cadre de contrôle du corps entier sensible aux forces, vise à permettre à un humanoïde de pousser précisément un chariot. Il a été validé en simulation, puis sur un Unitree G1 réel, qui pousse un chariot chargé jusqu'à 30 kg à 0,5 m/s. Les auteurs l'ont posté sur arXiv (2611.08664). Le système repose sur un apprentissage par renforcement en deux étapes. Une politique de locomotion de base est d'abord entraînée sous des charges variables aux mains et des postures de haut du corps différentes, afin d'assurer l'équilibre. Un latent de force et un latent d'état sont ensuite inférés à partir des seules observations embarquées, sans capteur de force externe.

RecherchePaper
1 source
EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain
Illustration générée par IA
4arXiv cs.RO 

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain

Des chercheurs publient EgoHumanoid-V2 (arXiv 2609.37181), un cadre de transfert de compétences d'un humain vers un robot humanoïde à partir de vidéos égocentriques, c'est-à-dire filmées depuis le point de vue de l'opérateur. Il vise la loco-manipulation coordonnée du corps entier, où la marche et l'usage des bras sont planifiés ensemble. Son cœur est un alignement d'actions « du grossier au fin ». Une première étape corrige la référence cinématique. Une seconde affine le résultat en tenant compte de la dynamique, ce qui améliore la précision de pose de l'effecteur final tout en préservant la coordination corps entier.

RecherchePaper
1 source