Eye, Robot : apprentissage de la dynamique expressive du regard par un Transformer-VAE guidé par un VLM

Des chercheurs proposent un système de contrôle du regard pour robot humanoïde, publié sur arXiv (2610.19635v1), qui sépare le choix de la cible du calcul du mouvement. Un modèle vision-langage (VLM) fonctionnant de manière asynchrone sélectionne un élément de la scène à regarder, un module de perception réactif maintient la fixation, et un « Realistic Gaze Transformer » (RGT) génère le mouvement conditionné par cette cible. Le RGT est un Transformer-VAE entraîné sur des enregistrements humains sans marqueurs, retargetés vers l'espace articulaire à 11 degrés de liberté (DOF) de la tête du robot. Le préentraînement auto-supervisé encode l'historique récent de la tête entière, puis un affinage autorégressif expose le modèle à ses propres prédictions pendant le déroulement. À l'inférence, une trajectoire binoculaire à quatre dimensions pilote de façon coordonnée le cou et les yeux, tandis qu'un prédicteur de clignements déclenche des gabarits de mouvement des paupières. Sur un banc d'essai de deux secondes où tous les contrôleurs reçoivent la même cible de référence, la variante RGT-Base obtient l'erreur quadratique moyenne la plus basse sur sept articulations. Des démonstrations physiques illustrent la chaîne complète de ciblage et de contrôle.

Pour les intégrateurs et les équipes qui développent des robots d'accueil, d'assistance ou de service, le regard est un canal de communication non verbal qui conditionne l'acceptation du robot. Les règles de suivi fixes, courantes aujourd'hui, produisent des mouvements mécaniques et ignorent la structure temporelle du regard humain (saccades, coordination œil-tête, clignements). L'architecture proposée est modulaire : le VLM, lent, décide où regarder, tandis qu'un générateur léger tourne en temps réel. Cette séparation est un schéma réaliste pour les robots qui embarquent un grand modèle sans pouvoir l'exécuter à haute fréquence. Les limites sont toutefois claires et reconnues par les auteurs. Les résultats établissent la fidélité cinématique dans l'espace du robot et la faisabilité de l'inférence en temps réel, mais pas le caractère naturel perçu par des humains, ni la précision de sélection de cibles en vocabulaire ouvert. Le meilleur score MSE est mesuré dans un cadre où la cible est donnée, donc il ne dit rien de la qualité du choix fait par le VLM. Il s'agit d'un travail de recherche, sans produit ni déploiement commercial.

Ce travail s'inscrit dans une lignée de recherches sur les têtes de robots expressives et la génération de gestes à partir de données humaines. Il adopte les mêmes briques que la robotique actuelle : modèles génératifs entraînés sur de la capture humaine, retargeting vers le robot, et VLM pour l'ancrage sémantique. Le résumé ne nomme ni plateforme matérielle, ni laboratoire, ni modèles concurrents comparés, ce qui limite la possibilité de situer précisément le résultat. La suite logique est une évaluation contrôlée avec des utilisateurs humains pour mesurer le naturel perçu, ainsi qu'un test systématique de la sélection de cibles en vocabulaire ouvert. Faute de ces éléments, l'avancée reste un résultat de laboratoire sur la qualité du mouvement.