RecherchearXiv cs.RO 22 septembre 2026

VT-Bridge : relier les VLA fondation préentraînés aux VTLA par adaptation résiduelle légère

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv (identifiant 2609.22606v1) présente VT-Bridge, une méthode d'adaptation résiduelle légère permettant de transformer des modèles Vision-Language-Action (VLA) déjà entraînés en modèles Vision-Tactile-Language-Action (VTLA), sans réentraînement complet ni modification de l'architecture d'origine. Plutôt que d'entraîner un VTLA à partir de zéro, ce qui exige d'énormes volumes de données vision-tactile et une puissance de calcul importante, VT-Bridge ajoute un adaptateur résiduel identique sur différents socles VLA, avec des poids spécifiques à chaque backbone, pour affiner les actions à la fréquence d'exécution du robot. Concrètement, la méthode ne nécessite que 50 démonstrations vision-tactile maximum par tâche pour ajuster le socle VLA et entraîner un adaptateur de seulement 0,98 million de paramètres. Testée sur trois backbones VLA représentatifs, π0, π0.5 et SmolVLA, sur quatre tâches de manipulation à fort contact physique, la méthode fait passer le taux de réussite moyen de 11,7% (avec un simple ajustement du VLA au niveau de la tâche) à 62,9%. Le code et les démonstrations sont disponibles sur une page projet dédiée.

Ce résultat s'adresse directement aux intégrateurs et laboratoires qui ont déjà déployé des piles logicielles VLA mais butent sur les tâches de manipulation fine nécessitant un retour tactile, comme l'insertion de pièces ou la préhension d'objets fragiles, un angle mort connu des modèles vision-langage seuls. En évitant l'entraînement d'un VTLA complet, VT-Bridge réduit fortement la barrière de données et de calcul pour ajouter la perception tactile à des systèmes existants, et sa généralisation sur trois architectures différentes suggère qu'une telle approche d'adaptateur pourrait devenir une pratique standard plutôt qu'une démonstration isolée. Il s'agit toutefois d'un résultat de recherche non encore validé par relecture par les pairs, obtenu sur quatre tâches en environnement contrôlé, et non d'un produit commercial ou d'un déploiement industriel.

Le travail s'inscrit dans la lignée des modèles VLA généralistes tels que π0 ou SmolVLA, conçus pour ancrer perception visuelle et langage dans l'action robotique, mais historiquement peu adaptés aux tâches à contact riche faute de retour tactile intégré. Les approches VTLA existantes imposaient jusqu'ici un réentraînement lourd, réservé aux acteurs disposant de grands jeux de données tactiles. En proposant un pont léger et réutilisable entre VLA et VTLA, les auteurs visent à démocratiser l'accès à la manipulation tactile augmentée, les prochaines étapes annoncées portant sur l'extension des benchmarks et la publication du code associé à la page projet.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA

Une équipe publie sur arXiv (2608.15816v1) ViTaR (Visuo-Tactile Residual Adaptation), qui comble un angle mort des modèles Vision-Language-Action (VLA) : entraînés sur de vastes a priori visuels, ils produisent la même action que le contact avec l'objet soit établi, perdu ou déstabilisé. Plutôt que de modifier l'intérieur du VLA, au risque d'un oubli catastrophique, ou de recourir à du renforcement en ligne près des conditions d'échec, ViTaR garde le modèle gelé et traite le tactile comme un modulateur d'exécution plutôt que comme une entrée génératrice d'action. Une première étape détermine si une correction résiduelle est localement justifiée à partir des résultats observés, une seconde la convertit en un gain continu calculé en temps réel. Sur le benchmark UniVTAC, sept tâches de manipulation à fort contact, ViTaR atteint 61,3% de réussite moyenne, soit 30,6 points de plus que le VLA gelé de base, devançant aussi des méthodes tactiles spécialisées ; des essais sur robot physique confirment le transfert au bruit et à la dynamique réels des capteurs. Ce résultat cible un point critique pour l'industrialisation des VLA, de plus en plus déployés sur bras manipulateurs et humanoïdes : ces modèles excellent sur des tâches visuelles généralistes mais restent fragiles dès qu'il faut saisir, insérer ou assembler avec un contact fin, un scénario omniprésent en logistique et en assemblage industriel. En montrant qu'une correction résiduelle bornée, greffée sur un VLA figé, suffit à gagner plus de 30 points de réussite sans réentraîner le modèle de base, ViTaR ouvre une voie pour ajouter de la robustesse tactile aux piles VLA existantes sans dégrader leurs capacités généralistes. Les approches précédentes laissaient au contraire au tactile une influence non bornée sur l'action générée, au risque de contredire les a priori qui font la généralisabilité de ces modèles. Le travail s'inscrit dans les efforts pour doter les modèles VLA de fondation, dans la lignée de familles comme Pi-0, GR00T ou Helix, d'une perception multimodale plus fine que la seule vision. Publié comme soumission arXiv nouvelle, ViTaR reste à ce stade une contribution de recherche validée sur un benchmark simulé et par des essais robot physique limités, sans annonce de déploiement industriel ni de partenariat commercial. Les auteurs ne donnent pas de calendrier pour une intégration dans des piles VLA commerciales existantes.

RecherchePaper

1 source

2arXiv cs.RO

GRAFT : adaptation résiduelle sensible à la géométrie pour les modèles fondation de suivi

Des chercheurs proposent GRAFT, un cadre d'adaptation résiduelle sensible à la géométrie, destiné aux « behavior foundation models » (BFM) humanoïdes figés, publié sur arXiv (2610.36507). Les BFM sont des trackers de mouvement réutilisables: à partir d'une référence cinématique, ils produisent les commandes articulaires coordonnées du corps entier, pour le rejeu de mouvements, la téléopération ou le pilotage par VLA (modèles vision-langage-action). GRAFT laisse les paramètres du BFM et son interface de référence intacts. Un adaptateur léger n'ajoute que des corrections conditionnées par le terrain, limitées aux cibles d'exécution du bas du corps. Il est entraîné avec des récompenses de tâche et de géométrie du pied, et régularisé pour ne rien corriger sur sol plat. Il est distillé depuis des observations de terrain privilégiées (disponibles seulement en simulation) vers une perception par caméra de profondeur embarquée. Le cadre est instancié sur quatre trackers figés et évalué en simulation sur des escaliers, des trous et des plateformes. Une validation réelle a été menée sur un Unitree G1: le tracker SONIC adapté franchit le terrain avec la profondeur embarquée et des références non modifiées. Le résumé ne donne aucun chiffre de taux de réussite, de hauteur de marche ou de durée des essais. Le point notable est architectural. Les BFM sont entraînés surtout sur sol plat et ne savent pas adapter placement du pied, garde au sol en phase de balancier et timing des contacts au relief. Beaucoup d'approches réentraînent ou affinent le tracker avec la perception, ce qui coûte en données et en calcul. Elles couplent aussi le suivi ordinaire au canal de perception. En figeant le BFM, GRAFT ramène l'apprentissage du terrain à un problème d'adaptation de l'exécution. Pour les équipes qui s'appuient déjà sur un tracker généraliste, cela suggère un module de perception ajoutable sans refaire l'entraînement du modèle de base ni casser le comportement validé sur sol plat. La compatibilité avec quatre trackers différents pointe vers une couche réutilisable, mais seul le G1 a été testé en conditions réelles. Il faut lire ce résultat avec prudence: les preuves publiées portent sur des obstacles ponctuels (escaliers, trous, plateformes), pas sur des terrains non structurés ni sur des déploiements prolongés. Ce travail s'inscrit dans la montée en puissance des modèles de comportement de corps entier, dont SONIC fait partie, utilisés comme couche basse sous des politiques VLA et des systèmes de téléopération. Leur limite principale reste la locomotion hors terrain plat, que les approches de réentraînement conjoint avec perception tentent de lever au prix d'un fort coût d'entraînement. Le Unitree G1, plateforme humanoïde accessible, sert de banc d'essai courant pour la recherche académique. Reste à voir si l'approche tient sur des terrains plus variés, avec des références dynamiques plus exigeantes et sur d'autres robots. Il s'agit d'un préprint, sans annonce de produit, de pilote industriel ni de calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

ResMerge : apprentissage et fusion de politiques résiduelles pour l'adaptation continue de politiques robotiques pré-entraînées

Des chercheurs proposent ResMerge, un cadre en deux étapes pour adapter en continu une politique robotique pré-entraînée à de nouvelles tâches, sans faire croître indéfiniment le nombre de paramètres stockés. La politique de base reste gelée. Pour chaque nouvelle tâche, un apprentissage par renforcement résiduel (residual RL) apprend une correction qui s'ajoute aux actions de la politique de base, sans démonstrations d'experts supplémentaires pendant l'adaptation. Dans un second temps, les résiduels jugés compatibles sont fusionnés dans l'espace des paramètres, ce qui réduit le volume stocké. Pour décider quels résiduels fusionner, les auteurs introduisent la Residual-Field Consistency (RFC), une métrique bornée qui compare la direction et l'amplitude des corrections dans l'espace des actions. Les tests portent sur le benchmark de simulation LIBERO avec deux architectures de base, puis sur un robot Franka réel. Les auteurs annoncent de meilleures performances d'apprentissage continu que des méthodes PECFT (Parameter-Efficient Continual Fine-Tuning) de référence, ainsi qu'une empreinte réduite grâce à la fusion sélective. Le résumé ne donne aucun chiffre : ni taux de réussite, ni taux de compression, ni nombre de tâches. L'enjeu est celui du déploiement sur la durée. Une flotte de robots qui doit apprendre de nouvelles tâches sur site ne peut pas collecter de téléopérations à chaque changement de référence, ni empiler un adaptateur par tâche. En remplaçant les démonstrations par du RL résiduel, ResMerge vise le goulot de la collecte de données. En fusionnant les corrections compatibles, il vise la croissance linéaire de la mémoire. Reste à vérifier la généralisation : le RL en conditions réelles exige des signaux de récompense et des phases d'exploration que le résumé ne détaille pas. Les résultats réels sur un seul bras Franka ne disent pas non plus comment la méthode se comporte avec des dizaines de tâches ou sur des plateformes plus complexes. Ce travail s'inscrit dans l'effort pour rendre les modèles vision-langage-action (VLA) et les politiques pré-entraînées réellement évolutifs après leur déploiement. Il se positionne contre les approches d'adaptateurs par tâche issues du fine-tuning continu, qui évitent l'oubli catastrophique mais restent dépendantes des démonstrations. Il s'agit d'une prépublication arXiv (v1), sans validation par les pairs, et aucun calendrier de transfert industriel n'est mentionné. Un site de projet accompagne l'article. La suite logique serait de tester la fusion sur des séquences de tâches plus longues, avec des politiques de base plus grandes et en dehors du cadre de LIBERO.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

BORA : apprentissage par renforcement hors ligne et adaptation résiduelle en ligne pour modèles VLA dextériques

Des chercheurs ont publié sur arXiv (arXiv:2605.30226) BORA, un cadre de post-entraînement mêlant apprentissage par renforcement hors ligne et adaptation résiduelle en ligne, conçu pour les modèles VLA (Vision-Language-Action) appliqués à la manipulation dextre. Le système fonctionne en deux phases: hors ligne, un réseau critique est entraîné en prenant comme entrées les tokens cognitifs du modèle de langage-vision et les chunks d'actions, ce qui lui permet d'évaluer les mouvements de main au-delà du seul contexte visuel. En ligne, le modèle VLA de base est gelé et une couche d'adaptation résiduelle légère de type chunk-wise est introduite, guidée par un mécanisme Human-in-the-Loop (HiL) générant des récompenses à partir d'interventions humaines. Évalué sur cinq tâches réelles de manipulation dextre complexe, BORA affiche une hausse absolue de 33 points de pourcentage du taux de succès moyen face aux baselines standards, et jusqu'à +43 points sur des objets non vus lors de l'entraînement. Ces résultats s'attaquent à l'un des verrous persistants de la robotique dextre: les mains à haute dimensionnalité amplifient les erreurs d'exécution cumulées, rendant l'exploration RL en conditions réelles à la fois inefficace et risquée pour le matériel. L'approche de BORA, qui préserve le modèle pré-entraîné comme prior stable et n'ajoute qu'une couche corrective légère, circonscrit l'espace d'exploration plutôt que de le réouvrir entièrement. Le gain de 43% sur objets non vus suggère une généralisation réelle plutôt qu'un surapprentissage des démonstrations, ce qui distingue ce travail des pipelines d'imitation learning classiques. Pour un intégrateur ou un décideur B2B, cela valide une trajectoire concrète: spécialiser un VLA généraliste pour une tâche dextre sans repartir d'un entraînement complet. Les VLA ont connu une accélération notable depuis Pi-0 de Physical Intelligence, OpenVLA (Berkeley) ou RoboVLMs (Google DeepMind), mais la manipulation fine multi-doigts reste leur point faible documenté. BORA s'inscrit dans un mouvement offline-to-online concurrent d'approches comme RLPD ou Cal-QL, qui cherchent à rendre le RL online moins destructif pour les politiques pré-apprises. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans la publication; il s'agit pour l'instant d'un résultat de recherche sans annonce de commercialisation. La dépendance au HiL en phase online reste par ailleurs une limite pratique non résolue pour un passage à l'échelle industrielle.

RechercheOpinion

1 source