RecherchearXiv cs.RO 1 octobre 2026

Corriger le OÙ, préserver le COMMENT : généralisation compositionnelle des modèles vision-langage-action (VLA) par guidage référentiel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent ReGuide (Referential Guidance), un module d'enrobage « training-free » qui s'ajoute à des politiques Vision-Language-Action (VLA) déjà entraînées, sans toucher à leurs poids ni à leur architecture. À partir des poses d'objets fournies par un module de grounding externe, il combine un « rebinding » sémantique et un « rebinding » géométrique. Il guide l'effecteur terminal vers des configurations couvertes par les démonstrations d'entraînement, centrées sur le référent désigné par l'instruction. La politique gelée reprend alors le contrôle et termine la tâche. Les tests en simulation ont porté sur plusieurs architectures VLA, puis sur un robot réel. Les gains de taux de réussite sous décalage compositionnel atteignent jusqu'à 56,8 points de pourcentage en simulation et 75,0 points sur le robot physique. Les performances sur les tâches standard sont préservées. L'article est un préprint arXiv (v1), donc non évalué par les pairs. Il ne précise pas, dans son résumé, les noms des modèles testés, le robot utilisé ni le nombre d'essais.

Ces résultats visent un point faible connu des VLA. Entraînés de bout en bout sur des jeux de données robotiques peu variés, ces modèles exploitent des raccourcis visuels : ils associent une action à des éléments sans rapport avec la tâche (arrière-plan, disposition de la scène) plutôt qu'à la sémantique de l'instruction. Un objet, une destination ou un décor déjà vus séparément ne peuvent alors pas être recombinés dans une configuration nouvelle. Les auteurs observent que, dans ce cas, le VLA échoue surtout à se localiser globalement (WHERE), tout en conservant ses compétences de manipulation locale (HOW). Corriger la cible plutôt que réapprendre le geste évite le recours à de nouvelles données ou à un réentraînement par backbone. Pour un intégrateur, c'est une piste pratique pour fiabiliser une politique déjà déployée. Le revers est la dépendance à un module de perception qui fournit des poses d'objets fiables. Les gains les plus élevés correspondent aussi à des scénarios de décalage choisis par les auteurs, et non à des conditions d'usine.

Les approches existantes reposent sur une perception centrée sur la tâche ou sur une diversification ciblée des données. Elles n'offrent pas de mécanisme explicite pour la recomposition d'éléments inédits et exigent des modifications spécifiques à chaque architecture, avec réentraînement. ReGuide se positionne comme un correctif extérieur, compatible avec différents backbones. Sa validité à grande échelle reste à démontrer : le résumé ne mentionne ni tâches longues, ni scènes encombrées, ni déploiement industriel. Les prochaines étapes à surveiller sont la publication du code et des détails expérimentaux, la comparaison avec des politiques réentraînées sur des données plus diversifiées, et la robustesse face aux erreurs du module de grounding.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

MA-VLA : un modèle vision-langage-action multi-bras pour la collaboration et la généralisation compositionnelle

La recherche en robotique manipulative s'attaque à un problème précis: coordonner plusieurs bras robotiques qui doivent collaborer sur une même tâche sans être limités aux schémas de coopération vus pendant l'entraînement. Un article publié sur arXiv (identifiant 2608.25864v1) présente MA-VLA, un modèle vision-langage-action (VLA) conçu pour la collaboration multi-bras. Contrairement aux VLA récents qui traitent l'instruction comme une consigne globale unique appliquée à l'ensemble du système, MA-VLA découpe le comportement coopératif en "prompts atomiques" de niveau intermédiaire, chacun assigné à un bras spécifique. L'équipe introduit aussi une technique d'entraînement baptisée Arm Shuffle: elle permute aléatoirement, pour chaque bras, les observations, les états et les prompts atomiques assignés, ce qui force le modèle à suivre les instructions indépendamment du rôle fixe attribué à un bras donné. Les auteurs ont construit un benchmark dédié où les configurations de collaboration testées sont absentes de l'ensemble d'entraînement, et ont évalué le système en simulation comme en conditions réelles. Le code, les modèles et les données sont publiés sur GitHub (zhangzaibin/future-robots). Ce travail cible un angle mort connu des VLA actuels: leur capacité de généralisation s'effondre dès que la répartition des rôles entre bras change par rapport aux schémas mémorisés à l'entraînement. Selon les résultats rapportés, les VLA de référence échouent largement sur ces collaborations inédites, alors que MA-VLA maintient des performances stables. Pour les intégrateurs travaillant sur des cellules robotiques multi-bras ou des plateformes bimanuelles, c'est un signal utile: la généralisation compositionnelle, plutôt que la simple mémorisation de trajectoires coopératives, pourrait devenir un critère de sélection des architectures VLA pour des lignes de production où la configuration des tâches varie. Cette contribution s'inscrit dans la vague plus large des modèles VLA qui cherchent à unifier perception, langage et contrôle pour la manipulation robotique, un axe de recherche porté ces dernières années par plusieurs laboratoires académiques et industriels. MA-VLA se positionne explicitement contre les architectures à instruction globale unique, en misant sur une assignation explicite et recomposable de sous-objectifs par bras. Il s'agit à ce stade d'une publication de recherche avec code ouvert, sans annonce de déploiement industriel ni de partenaire commercial identifié.

RechercheActu

1 source

2arXiv cs.RO

Colosseum V2 : benchmark de généralisation pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié Colosseum V2, un benchmark de simulation à grande échelle conçu pour évaluer la capacité de généralisation des modèles VLA (Vision-Language-Action) en manipulation robotique. Le benchmark intègre 28 tâches réparties en 13 catégories et couvre deux morphologies de robots distinctes, allant de primitives de manipulation élémentaires à des comportements long-horizon complexes. Construit sur le simulateur ManiSkill, il exploite la parallélisation GPU pour des évaluations massives et prend en charge les tests en domaine connu (in-domain) comme hors domaine d'entraînement (out-of-domain). Les auteurs ont évalué deux architectures de référence : les Action Chunking Transformers (ACT) et Pi0.5, le modèle de la startup Physical Intelligence. Les résultats exposent une tension centrale dans le domaine : les VLAs affichent des capacités de perception et de compréhension du langage en zéro-shot héritées de leur pré-entraînement sur de larges corpus, mais leurs performances se dégradent significativement dès que la distribution des données change, qu'il s'agisse de variations d'éclairage, de textures d'objets ou de configurations inédites. Ce fossé entre compréhension sémantique de haut niveau et comportement moteur robuste reste l'un des blocages majeurs à la commercialisation de politiques robotiques générales. Point notable : les auteurs documentent une forte corrélation entre métriques en simulation et métriques réelles, ce qui valide l'utilité écologique du benchmark et réduit la dépendance aux cycles d'évaluation physique, coûteux et peu reproductibles. Colosseum V2 est l'extension d'un premier benchmark Colosseum publié en 2024, centré sur la robustesse aux perturbations contrôlées. Le domaine manquait jusqu'ici d'un protocole unifié : RoboVQA, OpenVLA-OFT et les évaluations internes de Physical Intelligence ont chacun proposé des métriques partielles, rendant les comparaisons entre systèmes quasi impossibles. Colosseum V2 ambitionne de jouer le rôle fédérateur qu'ImageNet a tenu pour la vision par ordinateur. Les auteurs annoncent l'intégration prochaine de nouvelles morphologies et de tâches bimanuelles, des axes sur lesquels Figure (Figure 03), Apptronik, et dans une moindre mesure des acteurs européens comme Enchanted Tools, commencent à capitaliser avec des données de déploiement réel.

UELe benchmark offre un protocole d'évaluation standardisé que les équipes R&D françaises et européennes, dont Enchanted Tools, citée pour ses travaux sur les tâches bimanuelles, pourront utiliser pour comparer objectivement leurs modèles VLA face aux acteurs américains et asiatiques.

RechercheOpinion

1 source

3arXiv cs.RO

Positionnels aveugles : détecter et corriger les angles morts des modèles vision-langage-action

Les modèles Vision-Language-Action (VLA), utilisés pour la manipulation robotique, sont généralement évalués par un taux de réussite agrégé sur des configurations d'objets prédéfinies, une méthode qui suppose implicitement une compétence uniforme sur tout l'espace de travail. Une équipe de recherche montre que cette hypothèse est fausse : même en gardant l'instruction et tous les autres paramètres de la scène identiques, le simple déplacement d'un objet distracteur sans rapport avec la tâche peut faire grimper brutalement le taux d'échec dans des zones localisées et spatialement cohérentes, baptisées "Positional Blind Spots" (PBS, angles morts positionnels). Les chercheurs proposent un cadre en deux étapes, en boîte noire : d'abord un quadrillage de l'espace de travail combiné à un test du rapport de vraisemblance unilatéral pour localiser les cellules à risque élevé, puis un fine-tuning ciblé par LoRA sur des démonstrations collectées dans ces zones. Testé sur cinq politiques VLA de référence et deux benchmarks, le framework révèle des angles morts systématiques, avec des taux d'échec atteignant 0,58 dans certaines cellules. Leur stratégie de recherche atteint un F1-score de 0,678, contre une recherche aléatoire (+0,268) et un échantillonnage adaptatif (+0,178). Le fine-tuning ciblé réduit ensuite le taux d'échec global de 40,00 % à 85,19 %. Ce résultat interroge une pratique d'évaluation largement admise dans le secteur : un taux de réussite agrégé peut masquer des faiblesses spatiales très concentrées, dangereuses en usage réel où la position des objets varie constamment. Pour un intégrateur ou un ingénieur déployant un bras robotique piloté par VLA en entrepôt ou en usine, cela signifie qu'un score de succès global ne garantit rien sur la fiabilité à un endroit précis du poste de travail, et qu'un audit spatial devient nécessaire avant mise en production. C'est aussi un rappel que le "sim-to-real solved" claim de certains labos VLA reste à nuancer : la généralisation spatiale, même sur des tâches simples, n'est pas acquise. Le papier (arXiv:2608.01573v1) s'inscrit dans la vague récente de modèles VLA généralistes (RT-2, OpenVLA, Pi-0, GR00T N2, Helix) évalués presque exclusivement par taux de succès global. Aucun acteur français ou européen n'est cité dans cette étude académique. La méthode se positionne comme un outil de diagnostic et de correction ciblée, potentiellement intégrable en amont du déploiement industriel plutôt que comme un nouveau modèle concurrent.

RecherchePaper

1 source

4arXiv cs.RO

RL²-VLA : pilotage compositionnel latent par apprentissage par renforcement adaptatif avec mise à l'échelle au moment du test pour modèles vision-langage-action

Une nouvelle méthode baptisée RL²-VLA (Reinforcement Learning on VLA Latents) cherche à corriger un défaut connu des modèles vision-langage-action (VLA) utilisés en robotique : leurs performances chutent nettement sur des tâches inédites ou hors domaine, malgré des capacités visuomotrices par ailleurs impressionnantes. Décrite dans un article publié sur arXiv (arXiv:2607.26991v1), l'approche entraîne une politique légère d'apprentissage par renforcement hors ligne, conditionnée sur des représentations latentes extraites de « l'expert d'action » du VLA, puis combine sa vélocité de flux avec celle du modèle VLA gelé au moment de l'inférence. Contrairement aux méthodes existantes de pilotage au moment du test, qui appliquent la même intervention à chaque pas de temps quel que soit le contexte, RL² n'active ce pilotage compositionnel que lorsque l'échec de l'action est jugé probable. Sur les bancs d'essai SIMPLER et PolaRiS, cette stratégie relève le taux de réussite jusqu'à +17,3 points en conditions hors domaine, et des expériences en environnement réel confirment que ces gains se transposent au-delà de la simulation. L'intérêt pour l'industrie robotique tient au diagnostic sous-jacent autant qu'à la solution proposée. Les auteurs montrent que les méthodes actuelles de diversification des actions génèrent des échantillons trop concentrés autour de comportements similaires, donc sujets aux mêmes modes d'échec corrélés ; et surtout que le pilotage au moment de l'inférence obéit à des lois d'échelle différentes selon que la politique de base est en passe de réussir ou d'échouer. Injecter de la diversité comportementale n'aide que lorsque le modèle risque de se tromper : l'appliquer systématiquement peut au contraire dégrader une action déjà correcte. Ce constat nuance l'idée reçue selon laquelle « plus de diversité au test » serait toujours bénéfique, et offre aux équipes qui déploient des VLA en production un levier pour réduire les échecs sans réentraînement complet ni collecte massive de données, un point sensible pour tout intégrateur cherchant à fiabiliser des politiques déjà en service. RL² s'inscrit dans la lignée des méthodes récentes de « test-time steering and scaling », qui cherchent à améliorer un modèle VLA figé sans toucher à ses poids. Sa contribution consiste à combiner cette famille de techniques avec l'apprentissage par renforcement appliqué aux représentations latentes du modèle, plutôt qu'aux actions brutes, et à conditionner l'intervention à une prédiction d'échec. Les auteurs signalent des études d'ablation confirmant l'apport spécifique des représentations latentes et de l'entraînement RL, et présentent RL² comme un cadre modulaire, potentiellement applicable à différentes architectures VLA existantes plutôt que liée à un modèle unique.

RecherchePaper

1 source