RecherchearXiv cs.RO 27 octobre 2026

HuGe : passage à l'échelle de modèles vision-langage-action (VLA) généralistes pour humanoïdes grâce à l'expérience égocentrique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent HuGe, une famille de VLA (modèles vision-langage-action) généralistes pour humanoïdes, pré-entraînés sur plus de 2 000 heures de données égocentriques, humaines et robotiques. HuGe ne propose pas de nouvelle architecture. Il réutilise trois architectures VLA existantes, qui prédisent des « tokens de mouvement » latents transmis à un contrôleur du corps entier pré-entraîné, ainsi que des signaux de commande des mains. L'entraînement se fait en trois étapes: pré-entraînement sur données égocentriques, adaptation à l'humanoïde, puis fine-tuning sur la tâche cible. Deux techniques comblent l'écart entre humain et robot. Pendant le pré-entraînement, des états pseudo-proprioceptifs sont reconstruits par rejeu en simulation, car les vidéos humaines n'ont pas de proprioception robot. Pendant le fine-tuning, l'apparence des bras est modifiée par re-rendu pour ressembler à celle du robot. Les auteurs revendiquent l'état de l'art sur le benchmark de simulation HumanoidArena. En réel, sur un Unitree G1, ajouter des démonstrations égocentriques adaptées visuellement aux démonstrations robot augmente nettement le taux de réussite d'une tâche de saisie et dépose (pick-and-drop).

L'enjeu est le coût de la donnée. La téléopération d'humanoïdes en corps entier est lente et chère, alors que les vidéos égocentriques humaines se collectent vite et à grande échelle. Si le transfert tient, cela déplace le goulot d'étranglement de la téléopération vers la curation de vidéos. Le découplage entre VLA et contrôleur corps entier, qui assure l'équilibre et la locomotion, réduit aussi la difficulté pour le modèle. Les résultats appellent toutefois à la prudence. L'évaluation réelle porte sur une seule tâche et un seul robot, et le résumé ne donne pas de taux de réussite chiffrés. Le record sur HumanoidArena reste un résultat de simulation, et rien ne prouve encore la généralisation à des tâches de manipulation plus longues ou plus fines.

HuGe s'inscrit dans la course aux modèles fondation pour humanoïdes, aux côtés de GR00T de NVIDIA, de Pi-0 de Physical Intelligence ou de Helix de Figure, qui misent surtout sur de la donnée robot et de la simulation. Plusieurs équipes explorent aussi la vidéo humaine comme source d'expérience. Le choix du Unitree G1, plateforme de recherche abordable et très répandue, facilite la reproduction par d'autres laboratoires. Les prochaines étapes à surveiller sont la publication des poids et du code, des évaluations multi-tâches sur plusieurs robots, et la mesure du gain réel en heures de téléopération économisées.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

N₀-VTLA : passage à l'échelle du modèle vision-tactile-langage-action grâce à des tokens tactiles latents

Une équipe de recherche présente N0-VTLA, un modèle fondation vision-tactile-langage-action (VTLA) conçu pour la manipulation fine en contact avec des objets, combinant perception tactile et contrôle par retour tactile. Décrit dans un article publié sur arXiv (2607.23782), le système repose sur trois étapes d'entraînement : un pré-entraînement visuo-tactile sur NeoData, un vaste jeu de données robotiques propriétaire combinant vision et toucher, une intégration progressive d'un canal tactile dédié, puis une amélioration de politique hors ligne baptisée ALTER. Les auteurs revendiquent le premier modèle VTLA pré-entraîné sur des données tactiles à cette échelle. Sur les neuf tâches du benchmark réel NeoReal, N0-VTLA l'emporte face à toutes les méthodes concurrentes testées. Sur une suite de vingt tâches en simulation, il atteint 63,8% de réussite moyenne, contre 44,0% pour la meilleure référence. Les politiques entraînées avec ALTER atteignent 75 à 95% de réussite sur trois tâches réelles à horizon long. Ces résultats ciblent un point de friction connu de la robotique manipulatrice : les modèles vision-langage-action actuels gèrent mal les tâches nécessitant un contact fin et continu, comme la manipulation d'objets déformables, faute d'un signal tactile correctement intégré. En démontrant qu'un canal tactile prédictif, distillé à partir de priors appris à grande échelle, améliore significativement la réussite sur des tâches de préhension délicate, l'étude apporte un argument concret pour l'intégration systématique du toucher dans les futures architectures VLA, un sujet jusqu'ici moins mature que la seule perception visuelle. La méthode ALTER, qui transforme des comparaisons de progression et d'événements de trajectoire en étiquettes d'avantage binaires, offre aussi une piste pour exploiter des corpus de déploiement déjà collectés sans reconstruire un pipeline de reward complexe. Le travail s'inscrit dans la vague récente de modèles VLA génériques (Pi-0, GR00T N2, Helix) qui cherchent à généraliser la manipulation robotique au-delà de tâches scriptées, mais reste à ce stade une contribution académique évaluée sur des benchmarks internes aux auteurs plutôt qu'un produit ou un déploiement industriel documenté. Aucune date de disponibilité, aucun partenariat commercial ni acteur français ou européen n'est mentionné dans l'article ; les prochaines étapes annoncées concernent l'extension du jeu de données NeoData et l'application d'ALTER à d'autres familles de tâches de manipulation contact-riches.

RechercheActu

1 source

2arXiv cs.RO

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore. L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché. Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage à partir des retours d'exécution grâce à l'auto-évolution par banque d'échecs pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2609.39820v1) FailBank, un cadre d'auto-évolution en quatre étapes pour les modèles vision-langage-action (VLA), ces politiques de manipulation robotique qui généralisent à de nombreuses tâches. Pendant la collecte, un module de sécurité fixe fondé sur des fonctions barrières de contrôle (CBF) joue le rôle d'enseignant en simple observation : il produit des corrections contrefactuelles pendant que la politique garde le contrôle du robot. Une étape d'admission tenant compte du résultat transforme ensuite les propositions utiles en cibles correctives. Les actions réussies et non corrigées sont conservées comme « ancres silencieuses ». L'ensemble alimente des mises à jour LoRA protégées, c'est-à-dire un réglage fin léger qui limite la dérive du modèle. Les essais portent sur le benchmark VLA-Arena, à deux niveaux de difficulté et avec deux architectures VLA. Face aux politiques de base, le taux de réussite progresse de 8,5 et 6,9 points de pourcentage, et le coût cumulé induit par la politique (contacts non désirés) baisse de 35,6 % et 23,8 %. Face au blindage à l'exécution seul, le gain est de 25,4 et 9,5 points de réussite, à coût comparable. Le résultat touche un angle mort des déploiements en environnement encombré, où il faut concilier réussite de la tâche et absence de contacts involontaires. Un « shield » d'exécution corrige chaque action isolément mais laisse la politique intacte. Si la politique propose sans cesse des gestes que le bouclier rejette, le désaccord devient permanent et peut bloquer la progression de la tâche. FailBank traite ces corrections comme un signal d'apprentissage durable plutôt que comme une contrainte temporaire. Pour un intégrateur, cela suggère que les journaux d'interventions de sécurité, déjà produits en exploitation, peuvent servir de données d'amélioration sans nouvelle téléopération. Il faut cependant relativiser : les gains sont modestes (de 7 à 9 points de réussite face aux politiques de base), mesurés uniquement en simulation, et l'écart avec le blindage varie fortement selon l'architecture (25,4 contre 9,5 points). Aucune validation sur robot physique n'est rapportée. Ce travail s'inscrit dans l'effort de rendre les VLA fiables au-delà de la démonstration. La sécurité à l'exécution par CBF est une brique classique de la commande, mais elle était jusqu'ici appliquée sans retour vers la politique. L'approche se rapproche de l'apprentissage par correction humaine ou par échecs, avec ici un enseignant automatisé. Les prochaines étapes à surveiller sont le transfert sim-to-real, le test sur d'autres benchmarks et la robustesse de l'admission des corrections à long terme. Les noms des deux architectures et des auteurs ne figurent pas dans le résumé disponible, et le préprint n'a pas encore été relu par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion

1 source