Nexus-VLA : relier les expériences humaines et robotiques via un espace latent sémantique hiérarchique partagé

Nexus-VLA, un cadre d'apprentissage de politiques robotiques décrit dans un preprint arXiv (2610.42021v1), propose d'exploiter les vidéos égocentriques humaines à grande échelle en entraînant conjointement, de bout en bout, des données humaines et robot. Le système repose sur un paradigme d'alignement sémantique hiérarchique entre embodiments, qui établit progressivement des sémantiques de manipulation communes, de l'intention de la tâche jusqu'aux interactions fines. Sur cette hiérarchie, les auteurs construisent une représentation latente partagée de la manipulation. Elle encode les connaissances de plusieurs niveaux et sert directement à la génération d'actions continues. Les résultats annoncés portent sur le benchmark RoboCasa-GR1 (80,5 % de réussite des tâches), sur des scénarios hors distribution (OOD) et sur des expériences avec un robot réel. Les auteurs mettent en avant de meilleurs résultats en exploitation des données humaines, en efficacité d'apprentissage et en généralisation entre scénarios. Le résumé ne donne ni taille des jeux de données, ni nombre de démonstrations, ni modèles de référence comparés.

L'enjeu est un goulot d'étranglement bien identifié des modèles VLA (vision-langage-action) : les données de téléopération robot coûtent cher et restent rares, alors que les vidéos humaines sont abondantes et peu coûteuses. Leur réutilisation est freinée par l'écart d'embodiment : apparence visuelle de la main contre la pince, structure cinématique différente, espaces d'action incompatibles. Beaucoup de méthodes existantes traitent l'alignement entre embodiments séparément de l'apprentissage de la politique, si bien que le savoir humain n'alimente qu'indirectement l'action du robot. Nexus-VLA défend la thèse inverse : un entraînement conjoint avec un espace latent directement utilisé pour l'action. Si elle se confirme, cette approche réduirait le volume de données robot nécessaire, ce qui compte pour les intégrateurs qui paient chaque heure de téléopération. Il faut toutefois rester prudent. Le score de 80,5 % est mesuré en simulation, sur un benchmark centré sur l'humanoïde Fourier GR1, et les expériences réelles sont décrites sans chiffres dans le résumé. Le passage de la simulation au réel reste donc à démontrer.

Ce travail s'inscrit dans une course à l'exploitation des vidéos humaines comme source de pré-entraînement pour la robotique généraliste. Elle mobilise des modèles fondation comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, ainsi que de nombreux laboratoires académiques. RoboCasa, benchmark de tâches domestiques en simulation, sert de terrain d'évaluation commun. La suite dépendra de la publication du code et des données, d'une évaluation par des tiers et de comparaisons directes avec ces modèles sur des tâches identiques. Il s'agit pour l'instant d'un preprint de recherche, non relu par des pairs, sans produit ni déploiement associé.