RecherchearXiv cs.RO 26 octobre 2026

TTT dans les modèles VLA : explorer l'entraînement avec des démonstrations humaines

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (2610.32094) teste l'intégration du Test-Time Training (TTT) dans deux modèles vision-langage-action (VLA) : InternVLA-A1 et Pi0.5. Le TTT stocke le contexte dans des « poids rapides » mis à jour pendant l'inférence. L'objectif est de permettre à un robot d'effectuer des tâches longues en conservant l'information passée, ici une démonstration humaine. Les auteurs entraînent les modèles sur des paires démonstration humaine / trajectoire robot. Ils implémentent un transfert de mémoire entre les deux phases et une rétropropagation tronquée. Ils comparent plusieurs objectifs d'entraînement, plusieurs couvertures de gradient et une régularisation contrastive, sur des tâches où l'indice est une vidéo, une courte vidéo ou une seule image. Le résultat est négatif : à l'échelle testée, le TTT et l'entraînement sur données appariées n'induisent pas de sélection cohérente de la cible d'après la démonstration.

Ni les séquences plus courtes, ni la connectivité complète du gradient sur toute la trajectoire, ni la régularisation contrastive n'améliorent nettement la réactivité aux démonstrations. Quand la démonstration est réduite à une image unique, le robot réel continue de préférer des gobelets placés à des positions fixes. Le modèle semble donc exploiter des régularités de position apprises à l'entraînement plutôt que l'indice fourni. Le papier ne chiffre pas ici de taux de réussite dans son résumé, et la conclusion vaut pour les réglages et la taille de données testés, pas pour le TTT en général.

Ce type de résultat compte pour les intégrateurs et les équipes R&D. Il rappelle qu'une architecture à mémoire, même séduisante sur le papier, ne suffit pas à rendre un VLA conditionnable par l'exemple. L'imitation à partir d'une seule démonstration humaine, souvent mise en avant comme voie vers un déploiement rapide sans reprogrammation, reste un problème ouvert. Le biais de position observé illustre aussi un risque classique : des métriques en simulation ou sur des configurations répétitives peuvent masquer l'absence de véritable compréhension de l'indice. La publication des détails d'implémentation et des configurations d'entraînement, dans une optique de réplication, a une vraie valeur pour un champ où les échecs sont rarement documentés.

Le contexte est celui de la montée des VLA généralistes, dont Pi0.5 de Physical Intelligence, et de la recherche de mémoire à long horizon pour sortir des modèles quasi sans état. Le TTT, issu des travaux sur les couches de séquence à poids rapides, est une alternative aux fenêtres de contexte coûteuses. Les suites logiques seraient de changer d'échelle (plus de paires de données, plus de diversité de scènes), de tester d'autres mécanismes de mémoire et de comparer avec des approches de démonstration en contexte. Aucun calendrier n'est annoncé, et il s'agit d'une recherche académique, sans produit ni déploiement.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

ReWeight : post-entraînement des VLA via récupération et pondération de démonstrations humaines

Une équipe de recherche publie ReWeight dans un preprint arXiv daté du 15 septembre 2026 (arXiv:2609.13851v1) : un framework de post-entraînement pour les modèles vision-langage-action (VLA) qui combine récupération de démonstrations et pondération d'échantillons pour exploiter des démonstrations humaines égocentriques. Testé avec le modèle π0.5 sur huit tâches en simulation et quatre tâches réelles, en conditions propres et randomisées, ReWeight fait passer le taux de réussite moyen en simulation de 39% (données robot seules) et 44% (mélange humain-robot aléatoire) à 57%. En conditions physiques réelles, il atteint 68,8% de réussite moyenne, soit 28,8 et 13,8 points de plus que ces deux références. Le projet est documenté sur reweight-vla.github.io. L'enjeu est concret pour l'industrie : collecter des données robotiques coûte cher, alors que les vidéos égocentriques humaines sont abondantes, mais les mélanger aux données robot dégrade les performances à cause des écarts d'incarnation entre gestes humains et robotiques. ReWeight répond à ce problème en apprenant une représentation visuomotrice commune, associant observations visuelles et actions futures, puis en utilisant le transport optimal pour retenir les démonstrations humaines les plus proches du comportement cible et pondérer les échantillons en conséquence. Pour les laboratoires misant sur les VLA, à l'image de Pi-0, GR00T N2 ou Helix, ce travail offre une méthode reproductible pour exploiter des données humaines à grande échelle sans multiplier les campagnes de téléopération, même si les résultats reposent encore sur un nombre restreint de tâches. Cette approche s'inscrit dans une tendance de fond : face au coût de la téléopération pour diversifier les données robotiques, plusieurs équipes explorent les démonstrations humaines égocentriques comme source complémentaire, un mélange naïf s'étant jusqu'ici heurté aux différences de morphologie entre mains humaines et effecteurs robotiques. ReWeight s'appuie sur π0.5, le modèle de Physical Intelligence déjà utilisé comme référence dans plusieurs travaux académiques sur les VLA, sans qu'aucun partenariat industriel ne soit mentionné. Il s'agit d'une contribution de recherche publiée sur arXiv, dont la validation sur davantage de plateformes et de tâches reste l'étape à venir avant une éventuelle adoption par des équipes produit.

RechercheActu

1 source

2arXiv cs.RO

Démonstrations humaines comme données de post-entraînement pour tout robot : transférer l'objet, pas la main

Des chercheurs proposent une méthode pour transformer une démonstration humaine, filmée par exemple avec un simple téléphone mobile, en données de post-entraînement utilisables par n'importe quel robot, quelle que soit sa morphologie. Plutôt que de transposer le mouvement de la main (retargeting), le système transpose celui de l'objet. Chaque capture produit un enregistrement indépendant du corps : la pose de l'objet au cours du temps, ses intervalles de contact et un objet 3D reconstruit avec sa provenance. Tout robot, décrit par un fichier URDF et un court descripteur, est ensuite résolu contre cet enregistrement et évalué en simulation, avec le mouvement démontré de l'objet comme vérité terrain. Chaque paire (robot, épisode) reçoit un verdict unique : réussite, échec avec un mode nommé, ou refus motivé avant tout mouvement. Sur un échantillon de 42 captures résolues sur 8 robots, soit 157 paires, 31,2 % réussissent, 52,2 % échouent, 14,0 % sont refusées et 2,5 % sont inauditables. Le critère est la faisabilité cinématique en simulation, avec une tolérance de ±50 mm et ±15°. Pour les intégrateurs et les décideurs industriels, l'enjeu est de savoir quelles données humaines un robot donné peut réellement exploiter. Aujourd'hui, ces démonstrations servent surtout au pré-entraînement des modèles vision-langage-action (VLA), mais peu au post-entraînement ciblé sur une plateforme ou une tâche, dont dépend pourtant le déploiement à grande échelle. Les résultats donnent un premier ordre de grandeur : moins d'un tiers des paires passent, ce qui rappelle que la transposition d'une démonstration humaine vers un corps différent reste loin d'être automatique. Le point le plus solide concerne les refus : les 13 paires que les contrôles écartent sur preuves stockées mais qui ont été lancées malgré tout ont toutes échoué, dont 5 sur un robot dont le modèle public soude la main. À l'inverse, un simple fichier de description ne permet pas de présélectionner les robots, ses résultats étant à peine plus prévisibles que le hasard. Il faut toutefois rester prudent. Les auteurs précisent qu'aucune politique n'a encore été entraînée sur cet enregistrement, et la validation reste purement simulée. L'enregistrement décide de ce sur quoi un robot peut se post-entraîner, mais la question de savoir si la politique fonctionne sur le robot réel, le passage de la simulation au robot, est renvoyée à des travaux ultérieurs. Le système fonctionne sur une collection en croissance, dont l'étude n'analyse qu'un échantillon. Cette approche s'inscrit dans le mouvement des données de démonstration humaine à bas coût, face à la téléopération, plus coûteuse et liée à une plateforme. La suite logique sera d'entraîner des politiques sur ces enregistrements et de mesurer l'écart avec le matériel réel.

RecherchePaper

1 source

3arXiv cs.RO

TANDEM : planification tâches et mouvements avec démonstrations à la demande pour affiner efficacement les modèles VLA

Un système baptisé TANDEM (Tamp with As-Needed Demonstrations for Efficient Model fine-tuning), décrit dans un article déposé sur arXiv le 24 septembre 2026 (arXiv:2609.28314v1), combine planification tâche-et-mouvement (TAMP) et téléopération humaine sélective pour collecter des démonstrations robotiques. Le système utilise des modèles vision-langage préentraînés pour étendre à la volée le domaine de planification lorsque celui-ci manque de prédicats ou de compétences, en insérant des "opérateurs magiques" exécutés par un humain via téléopération. Après chaque étape humaine, TANDEM reperçoit la scène pour vérifier que l'effet attendu s'est bien produit avant de reprendre la planification autonome. Sur cinq tâches de manipulation longue durée dépassant les capacités du planificateur TAMP de base, TANDEM collecte 2,9 fois plus de démonstrations qu'une téléopération complète de la tâche, pour un temps d'intervention humaine identique. En affinant un modèle vision-langage-action préentraîné π0.5-DROID avec seulement 20 démonstrations TANDEM par tâche, le taux de succès moyen passe de 0% à 60% sur les cinq tâches testées. L'intérêt de ces résultats tient au goulot d'étranglement bien identifié dans l'entraînement des modèles fondation robotiques (VLA) : la téléopération humaine, coûteuse et lente, sert aujourd'hui à démontrer des gestes que des planificateurs classiques savent déjà exécuter seuls. En réservant l'intervention humaine aux seules étapes hors de portée du planificateur, TANDEM optimise le ratio données utiles par heure d'opérateur, un paramètre critique pour les laboratoires qui cherchent à faire passer les VLA de la démonstration en conditions contrôlées à des taux de succès exploitables en usine. Le saut de 0% à 60% souligne surtout combien les VLA préentraînés restent dépendants d'un fine-tuning ciblé plutôt que d'un volume brut de données. Le TAMP est une approche de planification robotique classique, limitée de longue date par des domaines d'action prédéfinis et rigides. TANDEM s'inscrit dans l'écosystème des modèles π0/π0.5 (Physical Intelligence) et du jeu de données DROID, aux côtés d'autres VLA comme GR00T N2 (NVIDIA) ou Helix (Figure), tous confrontés au même défi de mise à l'échelle des données d'entraînement. L'article, tout juste publié, ne précise pas de calendrier de déploiement industriel ni de partenaire pilote.

RechercheOpinion

1 source

4arXiv cs.RO

Accélération sans entraînement des modèles VLA par mise en cache et raffinement d'actions

Une équipe de recherche propose ActionCache, une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, publiée le 8 juillet 2026 sur arXiv (2607.06370). Ces modèles génèrent des séquences d'actions robotiques précises via un processus de débruitage itératif, mais cette étape constitue un goulot d'étranglement computationnel majeur pour un déploiement en temps réel. ActionCache fonctionne comme un cache externe "plug-and-play" qui réutilise des actions intermédiaires déjà calculées lors d'épisodes passés, en les indexant avec des clés multimodales compactes, pour amorcer la génération à proximité de l'action cible plutôt que de repartir de zéro. Les tests, menés en simulation et en conditions réelles, montrent que la méthode conserve des taux de réussite élevés tout en réduisant fortement la latence: jusqu'à 11,75 fois plus rapide sur le modèle $\pi{0.5}$ et 34,43 fois sur GR00T-N1.6. Pour l'industrie robotique, ce résultat s'attaque directement à l'un des freins les plus concrets à l'adoption des VLA en production: la latence d'inférence, qui limite aujourd'hui leur usage aux démonstrations plutôt qu'aux lignes de production ou à la manipulation en temps réel. Le fait que la technique soit sans réentraînement et compatible avec des architectures existantes (elle a été validée sur deux familles de modèles distinctes, $\pi{0.5}$ et GR00T-N1.6) la rend potentiellement intégrable rapidement par les équipes qui déploient déjà ces modèles, sans coût de calcul supplémentaire lié à un nouvel entraînement. C'est un signal utile pour les intégrateurs et décideurs B2B suivant de près l'écart entre les capacités démontrées en laboratoire et la viabilité opérationnelle des VLA. Ce travail s'inscrit dans la montée en puissance des modèles VLA basés sur le flow matching, une famille popularisée par $\pi0$ et ses variantes chez Physical Intelligence, et concurrencée par GR00T de NVIDIA sur le terrain des modèles fondation pour la robotique généraliste. La comparaison directe entre $\pi{0.5}$ et GR00T-N1.6 positionne implicitement ActionCache comme une brique d'optimisation transversale plutôt que liée à un acteur unique. Publié en preprint, l'article ne précise pas encore de calendrier d'intégration industrielle ni de partenariat annoncé, mais ouvre la voie à des tests sur d'autres architectures VLA à mesure que ces modèles se rapprochent du déploiement en usine ou en entrepôt.

RechercheActu

1 source