Illustration générée par IAMoViC : contrôle du corps entier d'un robot humanoïde en temps réel à partir de flux vidéo monoculaires
Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie
Une équipe de chercheurs publie sur arXiv MoViC, un framework qui permet de piloter un robot humanoïde en temps réel à partir d'un simple flux vidéo RGB monoculaire, sans combinaison de capture de mouvement ni capteurs portés par l'opérateur. Le système enchaîne trois briques : une reconstruction du mouvement humain à partir de l'image, un retargeting vers la morphologie du robot, puis une politique de contrôle de type behavior foundation model basée sur un transformer. Cette politique reçoit l'historique proprioceptif, une seule référence explicite pour le pas de temps suivant, et une représentation compacte dans le domaine fréquentiel qui fournit le contexte temporel sans empiler de futures images de référence, ce qui réduit la dimension d'entrée et la taille du réseau. Un point technique central tient à la différence de cadence : l'estimation visuelle tourne à 10 Hz, tandis que le contrôleur fonctionne à 50 Hz. Une méthode d'extrapolation fait le lien entre les deux, ce qui permet de traiter la vision et d'exécuter la politique de façon asynchrone. Les essais sur matériel portent sur le suivi de mouvements très dynamiques et sur la téléopération sans dispositif de tâches de manipulation, à deux bras ou à un seul bras, à partir d'un flux RGB en direct. L'abstract ne précise ni le modèle de robot, ni le nombre de degrés de liberté, ni la latence de bout en bout, ni les taux de réussite.
L'intérêt pour l'industrie tient à la barrière d'entrée de la téléopération humanoïde. Aujourd'hui, la collecte de données de démonstration passe le plus souvent par des combinaisons de capture de mouvement, des gants, des casques VR ou des exosquelettes, coûteux, longs à calibrer et peu pratiques à grande échelle. Une caméra RGB standard comme seule interface réduirait le coût par poste de téléopération et faciliterait la multiplication des opérateurs, ce qui compte pour alimenter en données les modèles vision-langage-action (VLA) qui s'entraînent sur des démonstrations humaines. La conception de la politique est aussi notable : en remplaçant l'empilement de trames futures par un résumé fréquentiel, les auteurs obtiennent un réseau plus petit, donc plus simple à embarquer. Il faut toutefois rester prudent. La reconstruction monoculaire souffre d'ambiguïtés de profondeur et d'occultations, et la fréquence de 10 Hz limite la réactivité pour la manipulation fine. Les démonstrations de mouvements dynamiques en laboratoire ne disent rien de la robustesse en environnement industriel, avec éclairage variable, occultations et opérateurs multiples.
Ce travail s'inscrit dans une série de recherches sur le suivi universel de mouvement pour humanoïdes, où des politiques entraînées en simulation sur de grands corpus de mouvements humains sont transférées au robot réel, et où des méthodes d'estimation de pose 3D à partir de vidéo se sont nettement améliorées. MoViC rapproche ces deux courants pour viser un usage en direct. Il se positionne face aux approches de téléopération avec capture portée, qui restent plus précises et plus faibles en latence, mais plus contraignantes. Il s'agit à ce stade d'un article de recherche, pas d'un produit ni d'un déploiement : aucun pilote commercial ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la publication de résultats chiffrés comparatifs face à la capture de mouvement, des tests sur d'autres plateformes humanoïdes, et la mise à disposition éventuelle du code via la page du projet.
Dans nos dossiers




