ViT-H : contrôle génératif d'un humanoïde à partir de vidéo, avec retour de suivi du mouvement

Des chercheurs publient sur arXiv ViT-H, un cadre de contrôle « vidéo vers humanoïde » qui génère directement des mouvements de référence pour robot à partir de vidéos monoculaires. Un modèle de diffusion produit ces trajectoires sans passer par la reconstruction du mouvement humain ni par le retargeting, c'est-à-dire l'adaptation du mouvement à la morphologie du robot. Les résultats de suivi de mouvement par un contrôleur (le « tracker ») servent ensuite à post-entraîner le générateur par optimisation directe des préférences (DPO). Une variante autorégressive permet une téléopération humanoïde par vidéo en temps réel, avec une latence inférieure à 400 ms. Les expériences portent sur le Unitree G1. Les auteurs affirment que ViT-H dépasse les pipelines état de l'art en qualité de mouvement et en exécutabilité. L'extrait disponible ne donne pas de métriques chiffrées, et tout reste au stade de la recherche, sans déploiement ni produit.

L'enjeu est l'exécutabilité : un mouvement plausible visuellement échoue souvent sur un robot réel, à cause des contraintes de couples, d'équilibre et de contacts. Les chaînes classiques de reconstruction, retargeting et tracking optimisent chaque étage séparément, si bien que les erreurs s'accumulent sans qu'aucune étape ne reçoive le signal du résultat final. Boucler le retour du tracker vers le générateur ressemble à ce que le RLHF a apporté aux modèles de langage. Les auteurs rapportent aussi un gain avec la taille du modèle et avec les volumes de données de pré-entraînement et de post-entraînement, et une amélioration de l'exécutabilité sur plusieurs trackers différents. Si cela se confirme, les vidéos humaines deviendraient une source de données plus exploitable pour les comportements corps entier. Il faut toutefois rester prudent : une seule plateforme est testée, la mesure se fait sur des benchmarks choisis par les auteurs, et la latence de 400 ms laisse un délai perceptible en téléopération.

Ce travail s'inscrit dans la course aux données pour humanoïdes. Elle oppose la téléopération et la capture de mouvement, coûteuses, à l'apprentissage depuis des vidéos du web, bien plus abondantes. Le Unitree G1, peu cher et très répandu dans les laboratoires, est devenu la plateforme de référence pour ces recherches. Les industriels (Figure, Tesla, Nvidia avec ses modèles GR00T) misent sur des politiques généralistes entraînées à grande échelle, mais le passage de la vidéo à un mouvement robuste sur matériel reste un verrou. Les prochaines étapes à surveiller sont la publication du code et des modèles, la validation sur d'autres morphologies et des tâches de manipulation, et la preuve de robustesse hors des conditions du laboratoire.