Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Toutes les couches ne nécessitent pas d'ajustement : diagnostiquer et orienter l'adaptation des modèles vision-langage-action
RecherchearXiv cs.RO 

Toutes les couches ne nécessitent pas d'ajustement : diagnostiquer et orienter l'adaptation des modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (référence 2609.18084) teste cinq modèles Vision-Language-Action de tailles très différentes, de 93 millions à 7 milliards de paramètres : OpenVLA-OFT, Pi-0, SmolVLA, DTP et Octo. Les auteurs montrent qu'un changement d'apparence visuelle pèse surtout sur l'encodeur visuel, qu'un changement de formulation des instructions pèse sur le module langage, et qu'un objet inédit sollicite l'encodeur visuel et la tête d'action, un schéma constant sur les cinq architectures. Leur pipeline diagnostique ces besoins à partir de dix images non annotées du nouvel environnement, sans fine-tuning préalable, en combinant gradient, Monte Carlo Dropout et un score de Centered Kernel Alignment, avec une corrélation de Spearman médiane de 0,91, avant de répartir un budget de paramètres en adaptateurs LoRA à rang variable, gelant les régions déjà calibrées.

Sur les benchmarks LIBERO et CALVIN, cette allocation ciblée égale ou dépasse un LoRA uniforme à chaque budget testé, et sur un bras robotique xArm-7, elle atteint les performances d'un fine-tuning complet avec seulement 0,04% des paramètres entraînables lors d'un changement de formulation des instructions. Sur cinq scènes inédites évaluées sans réentraînement, elle devance toutes les méthodes comparées avec 11 à 23 réussites sur 30 essais, contre 8 à 18 pour la meilleure alternative à budget équivalent et seulement 2 à 11 pour le fine-tuning complet. Pour les intégrateurs qui redéploient un VLA sur un nouveau site, l'intérêt est direct : cibler les couches qui comptent selon le type de changement, décor, consigne ou objet, évite de réentraîner un modèle entier ou d'appliquer des adaptateurs uniformes coûteux en calcul.

Ce travail prolonge les méthodes d'adaptation à budget réduit comme LoRA, déjà utilisées pour spécialiser des modèles de langage, en les appliquant ici région par région à des VLA issus de laboratoires distincts, OpenVLA, Pi-0 (Physical Intelligence) ou Octo. Les résultats, obtenus en simulation sur LIBERO et CALVIN et validés sur un seul bras physique, restent à confirmer sur des humanoïdes ou des flottes en usine. Les auteurs présentent leur diagnostic comme exploitable avant même de lancer un entraînement, sans toutefois annoncer de calendrier ni de partenaire industriel pour une mise en production.

Dans nos dossiers

IA physique & VLAPhysical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

Toutes les caractéristiques ne se valent pas : une étude mécaniste des modèles vision-langage-action (VLA)
1arXiv cs.RO 

Toutes les caractéristiques ne se valent pas : une étude mécaniste des modèles vision-langage-action (VLA)

Une politique Vision-Language-Action (VLA) affinée sait placer une boîte de soupe alphabet dans un panier sur commande, mais la laisse tomber hors de la table si le panier est décalé de cinq centimètres vers la gauche. Des chercheurs de CWRU (Case Western Reserve University) ont construit un pipeline d'interprétabilité pour comprendre ce que calcule une telle politique. En injectant les activations de la tâche A dans l'« action expert » de pi0.5 alors que le modèle observe la scène de la tâche B, le robot exécute la trajectoire motrice de la tâche A dans 99,6 % des épisodes (n = 1 968). Le test a été reproduit sur un bras UR10e réel : la redirection de tâche par rejeu dirigé réussit 26 fois sur 26 dans un sens et 18 sur 26 dans l'autre, contre un niveau plancher pour les contrôles sans injection et à direction aléatoire. Quand l'objet source est déplacé de 10 à 15 cm, le bras saisit et relâche aux coordonnées enregistrées dans 50 essais sur 50, ramassant le mauvais bloc s'il s'en trouve un à cet endroit, ou se refermant dans le vide sinon. L'étude couvre aussi six VLA sur LIBERO, MetaWorld, SimplerEnv et ALOHA, soit plus de 420 000 rollouts. Le résultat donne une explication mécaniste de la fragilité aux perturbations relevée par d'autres benchmarks : le « programme » moteur est lié à des coordonnées absolues de l'espace de travail et ignore la scène visible. Pour les intégrateurs et responsables industriels, cela signifie qu'un taux de réussite élevé en démonstration, avec des objets à position quasi fixe, peut masquer une politique qui rejoue un geste mémorisé plutôt qu'elle ne perçoit. Les autres conclusions vont dans le même sens : toutes les architectures encodent l'instruction, mais quatre des cinq qui permettent la comparaison la pondèrent en dessous de la vision dès que la scène seule identifie l'objectif. La sélection du but et la génération du mouvement empruntent des voies distinctes, côté VLM et côté expert, partout où la distinction est possible. Les auteurs notent aussi que le pooling d'autoencodeurs parcimonieux (SAE) qui préserve le comportement dépend de l'architecture (par token pour pi0.5, indifférent pour SmolVLA). Ces résultats reposent surtout sur des benchmarks et sur un seul bras réel, et ne chiffrent pas la généralisation en production. Ces travaux s'inscrivent dans la vague d'études sur la robustesse des VLA, après la domination de modèles comme pi0.5 de Physical Intelligence sur les benchmarks de manipulation, et avant les efforts de remédiation (augmentation de données, meilleur ancrage visuel, entraînement multi-positions). Les auteurs publient Action Atlas (action-atlas.com), une plateforme interactive qui regroupe plus de 520 SAE entraînés, 79 concepts identifiés et les rollouts UR10e annotés, ainsi que le code sur GitHub, ce qui permet à d'autres équipes de tester leurs propres modèles. Cette version 4 de l'article sur arXiv n'annonce ni correctif ni produit, seulement un outil de diagnostic.

RecherchePaper
1 source
Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action
2arXiv cs.RO 

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action

Des chercheurs présentent Hierarchical Skill Retrieval (HSR), un framework de récupération de démonstrations pour adapter plus efficacement les modèles Vision-Language-Action (VLA) à de nouvelles tâches de manipulation robotique avec peu de données spécifiques. Plutôt que de chercher des correspondances de tâches complètes, rares dans les jeux de données existants, HSR décompose une tâche cible en séquences de compétences candidates, évalue chaque plan selon sa plausibilité sémantique et la fiabilité des compétences estimée à partir du jeu de données préalable, puis combine récupération de langage au niveau sous-tâche et reclassement par caractéristiques comportementales pour sélectionner des démonstrations pertinentes et compatibles. La politique est ensuite adaptée via un pipeline en deux étapes séparant acquisition générale de compétences et finetuning spécifique à la tâche. Sur le benchmark LIBERO et sur plusieurs tâches de manipulation en conditions réelles, HSR améliore le taux de succès moyen de 10,3% et 21,3% respectivement par rapport à la meilleure méthode de référence. Vidéos et code sont disponibles sur le site du projet. Ce travail s'attaque à un problème très concret pour l'industrie robotique : les modèles VLA préentraînés sur de vastes jeux de données de démonstrations perdent en performance dès qu'on les confronte à des tâches nouvelles avec peu d'exemples, un frein majeur au déploiement rapide chez les intégrateurs. En structurant la récupération autour de compétences réutilisables plutôt que de tâches entières, HSR propose une piste pour réduire le coût de collecte de données lors du transfert vers de nouveaux environnements ou de nouvelles chaînes de production, un enjeu central pour quiconque cherche à industrialiser des bras robotiques ou des humanoïdes au-delà des démonstrations en laboratoire. Le gain plus marqué en conditions réelles (21,3%) qu'en simulation (10,3%) suggère que l'approche hiérarchique compense particulièrement bien le bruit et la variabilité du monde physique, un point souvent négligé par les méthodes de récupération fondées sur la seule similarité visuelle ou l'appariement de langage au niveau tâche. HSR s'inscrit dans la lignée des travaux récents sur l'adaptation efficace des modèles VLA de type Pi-0 ou GR00T, où la question centrale reste de savoir comment tirer parti de grands jeux de données hétérogènes sans réentraînement coûteux pour chaque nouvelle tâche. Les auteurs positionnent leur méthode par rapport aux approches de récupération existantes basées sur la similarité visuelle, les représentations état-action ou l'appariement de langage au niveau tâche, qu'ils jugent insuffisantes face à la structure hiérarchique des tâches de manipulation à long horizon. Le code et les vidéos de démonstration étant publiés en accès libre, la validation par la communauté sur d'autres benchmarks et plateformes robotiques déterminera si ces gains se généralisent au-delà de LIBERO et des tâches réelles testées par les auteurs.

RechercheOpinion
1 source
RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire
3arXiv cs.RO 

RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire

Des chercheurs présentent RoboHarness, un dispositif logiciel qui se greffe sur des modèles vision-langage-action (VLA) déjà entraines pour améliorer leur robustesse face au bruit perceptif et aux variations d'environnement, sans reentrainer les poids du réseau. L'architecture combine trois briques opérant en ligne, une récupération contrastive a double mémoire (RAG), un orchestrateur vision-langage pilote par un grand modèle de langage multimodal capable d'attribuer causalement les échecs d'exécution, et des interventions extensibles via le Model Context Protocol (MCP), auxquelles s'ajoute un module hors ligne de consolidation mémoire qui distille les traces d'exécution en connaissances a priori réutilisables. Les auteurs ont teste ce système sur trois modèles VLA de base, Pi-0, Pi-0.5 et SmolVLA, sur les benchmarks LIBERO-PRO et sur LIBERO-RoboHarness, un nouveau benchmark qu'ils ont eux-mêmes conçu. Resultat annonce: un gain moyen de taux de réussite absolu de 56,6%, avec une amélioration de 89,1% sur les taches longues enchaînées (long-horizon task chaining). Le code source et la page projet sont publies sur GitHub, sous le compte LZY-1021. Le papier, publie sur arXiv, en est a sa troisième version révisée. Cette approche cible une faiblesse connue des modèles VLA généralistes: leur fragilité des qu'ils sortent de la distribution de données d'entrainement, un écart souvent masque dans les démonstrations mais critique pour un déploiement industriel réel. En proposant une couche additive et sans fine-tuning, applicable a plusieurs backbones existants, RoboHarness s'inscrit dans une tendance émergente consistant a traiter la robustesse comme un problème d'orchestration et de mémoire en contexte plutôt que de seul entrainement. Pour les intégrateurs, cela laisse entrevoir la possibilité de renforcer des politiques VLA déjà déployées sans refaire les couteux cycles de collecte de données et de reentrainement, un argument potentiellement déterminant pour l'adoption en environnement industriel variable. Les modèles VLA généralistes, tels Pi-0 développe par Physical Intelligence, occupent une place croissante dans la robotique manipulatrice, aux cotes d'autres approches généralistes du secteur. RoboHarness ne constitue pas un nouveau modèle mais un harnais complémentaire, positionne comme correctif a la faiblesse structurelle de mémoire et d'attribution causale des VLA figes. Les benchmarks utilises restant majoritairement simules (suite LIBERO), la validation sur robot physique et en conditions industrielles reste l'étape a surveiller pour juger de la portée réelle de ces gains annonces.

RechercheActu
1 source
VLRLA : adaptation au déploiement des modèles vision-langage-action par apprentissage par renforcement en contexte
4arXiv cs.RO 

VLRLA : adaptation au déploiement des modèles vision-langage-action par apprentissage par renforcement en contexte

Des chercheurs proposent VLRLA, un cadre générique qui dote des modèles vision-langage-action (VLA) existants d'une capacité d'apprentissage par renforcement en contexte, afin qu'ils s'adaptent pendant le déploiement. Le principe est d'ajouter au VLA un module de renforcement qui exploite l'historique des observations, des actions, des récompenses et des signaux de fin d'épisode. La politique affine ainsi progressivement la génération de ses actions et améliore son taux de réussite, sans que les paramètres du modèle soient modifiés. Les auteurs affirment que la méthode s'accommode de différentes stratégies de construction de cet historique et de plusieurs pipelines d'entraînement. Ils l'étudient d'abord en simulation, puis la testent en conditions réelles sur des scénarios jamais vus à l'entraînement. Le résumé ne donne ni plateforme robotique, ni nombre d'essais, ni taux de réussite, ni gain chiffré. L'enjeu tient à une limite connue des VLA pré-entraînés, qui servent de base à la manipulation pilotée par instructions. Une fois déployés, ils restent figés: face à un objet, un éclairage ou une configuration inédits, ils ne tirent aucun enseignement de leurs échecs successifs, et corriger le tir suppose un nouveau cycle de collecte de données et de fine-tuning. Une adaptation uniquement par le contexte, sans mise à jour des poids, éviterait cette boucle coûteuse et pourrait réduire l'écart entre démonstration et exploitation réelle, ce qui intéresse directement les intégrateurs confrontés à la variabilité des sites clients. Il faut toutefois rester prudent. Il s'agit d'une prépublication sur arXiv, non évaluée par les pairs, et la démonstration réelle annoncée ne dit rien de sa difficulté, de sa diversité ni du nombre d'essais nécessaires avant amélioration. Or, en production, le nombre d'échecs tolérables avant que la politique ne s'ajuste est la métrique décisive. L'approche s'inscrit dans un mouvement plus large visant à rendre les modèles fondationnels robotiques capables d'apprendre après leur déploiement. Cela passe par le fine-tuning par renforcement, les boucles d'auto-amélioration ou l'apprentissage en contexte déjà éprouvé sur les grands modèles de langage. VLRLA se veut un complément greffable sur des VLA existants plutôt qu'une nouvelle architecture, ce qui facilitera sa comparaison avec les familles de modèles actuelles. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des évaluations sur des tâches longues et des plateformes variées, et la preuve que le gain persiste face à des récompenses bruitées ou difficiles à définir hors laboratoire.

RecherchePaper
1 source