ViBe : adaptation du comportement visuel pour le contrôle du corps entier des humanoïdes perceptifs

Un preprint publié sur arXiv (2609.09918) décrit ViBe (Visual Behavior Adaptation), un framework de post-entraînement qui ajoute une perception visuelle aux contrôleurs de suivi de mouvement pour humanoïdes à corps complet. La méthode réutilise des encodeurs visuels pré-entraînés via un module extracteur multi-requêtes, injecte ce retour perceptif dans le tracker par des adaptateurs low-rank (LoRA) pour un réglage économe en paramètres, puis ajuste l'ensemble par optimisation de politique à partir d'un reward de tâche et d'un jeu de données de référence. Sur quatre tâches, la marche perceptive sur trottoirs et parcours type parkour, le repositionnement d'un cube (Repose Cube), la locomotion-manipulation d'objets variés et l'esquive de balles (dodgeball), le transfert sim-to-real s'effectue en zero-shot et reste robuste en extérieur, en faible luminosité et face à des distracteurs visuels RGB, y compris pour une variante orientée objectif de Repose Cube résolue avec un planificateur volontairement simple.

L'apport ne se limite pas à la démonstration technique. Les trackers de mouvement actuels, entraînés en simulation par imitation de trajectoires, n'intègrent aucune perception extéroceptive et dépendent donc d'un planificateur de haut niveau pour réagir à l'environnement. Les contrôleurs perceptifs existants comblaient ce manque en entraînant des encodeurs purement géométriques depuis zéro, plus faciles à transférer en réel mais pauvres en sémantique, et en passant par une distillation élève-enseignant propre à chaque tâche, coûteuse à répéter. En réutilisant des encodeurs visuels pré-entraînés et en cantonnant l'adaptation à des modules low-rank, ViBe suggère que le goulot d'étranglement du contrôle humanoïde perceptif se déplace de la simulation physique, déjà largement maîtrisée, vers l'intégration efficace de la perception sémantique, un point clé pour les intégrateurs qui cherchent à sortir ces robots des environnements contrôlés d'usine.

Le travail s'inscrit dans la lignée de l'apprentissage par renforcement à grande échelle pour la locomotion humanoïde, où le transfert sim-to-real reste le paradigme dominant, et se distingue des architectures vision-langage-action de bout en bout comme Pi-0 ou GR00T N2 en proposant une adaptation légère d'un tracker déjà entraîné plutôt qu'une politique généraliste entraînée sur un large corpus de démonstrations. Publié comme contribution académique, sans partenariat industriel ni plateforme commerciale nommée à ce stade, l'article n'évoque aucun déploiement réel. La suite logique consisterait à valider la méthode sur des humanoïdes commerciaux et à la comparer directement, en coût d'entraînement et en robustesse, aux pipelines de distillation élève-enseignant aujourd'hui utilisés par les acteurs du secteur.