RecherchearXiv cs.RO 21 juillet 2026

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RobustVLA s'attaque à un angle mort des modèles Vision-Language-Action (VLA) : leur fragilité face aux perturbations réelles. Une équipe de recherche a d'abord testé les principaux VLA sous 17 types de perturbations réparties sur quatre modalités (actions, instructions, environnement, observations visuelles). Résultat : les actions constituent la modalité la plus fragile, les modèles réputés robustes visuellement (comme BYOVLA) ne conservent aucun gain sur les autres modalités, et pi0 se distingue par une robustesse supérieure aux autres backbones testés. Pour corriger ces faiblesses, les chercheurs proposent RobustVLA, qui combine une optimisation robuste hors ligne contre le pire cas de bruit sur les actions (via l'objectif de flow matching) et un mécanisme forçant des actions cohérentes malgré les variations d'entrée. La sélection automatique des perturbations les plus nuisibles est traitée comme un problème de bandit multi-bras, résolu par un algorithme d'upper confidence bound. Sur le benchmark LIBERO, RobustVLA gagne 12,6% de réussite absolue sur backbone pi0 et 10,4% sur OpenVLA face aux 17 perturbations combinées, avec une inférence 50,6 fois plus rapide que BYOVLA, qui dépend de LLM externes.

Cette avancée touche un point sensible pour l'industrie robotique : la plupart des démonstrations de VLA impressionnent en conditions contrôlées mais s'effondrent face au bruit réel (mauvaise calibration caméra, instructions ambiguës, occlusions, dérive capteurs). En identifiant les actions comme le maillon le plus faible, l'étude remet en question l'hypothèse répandue selon laquelle la robustesse visuelle suffirait à garantir un déploiement fiable. Sur robot réel FR5, RobustVLA dépasse pi0 de 65,6% de taux de réussite avec seulement 25 démonstrations, un résultat clé pour les intégrateurs qui manquent de données d'entraînement en environnement industriel. Même avec des données abondantes, le gain reste de 30%, ce qui suggère que la méthode n'est pas qu'un palliatif pour le few-shot mais une amélioration structurelle.

Le papier s'inscrit dans la lignée des travaux récents sur pi0 (Physical Intelligence) et OpenVLA, deux architectures de référence dans la course aux modèles génériques de manipulation robotique. Il répond directement aux limites de BYOVLA, une approche antérieure de robustesse visuelle jugée coûteuse en calcul car dépendante de LLM externes. Les auteurs positionnent RobustVLA comme une alternative légère et généralisable, testée à la fois en simulation (LIBERO) et en conditions réelles. Le code et des vidéos de démonstration sont disponibles sur GitHub, ce qui permettra une validation indépendante par la communauté avant une adoption plus large en environnement industriel.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique

À lire aussi

1arXiv cs.RO

STRONG-VLA : robustesse découplée des modèles vision-langage-action face aux perturbations multimodales

STRONG-VLA est un framework de fine-tuning en deux étapes qui vise a rendre les modèles Vision-Language-Action (VLA) plus robustes face aux perturbations multimodales, c'est-a-dire au bruit visuel et aux instructions linguistiques dégradées qui font chuter les performances en conditions réelles. Plutot que d'entrainer conjointement sur données propres et perturbées, ce qui créé un conflit d'optimisation, la méthode sépare l'acquisition de robustesse, via un curriculum de 28 types de perturbations textuelles et visuelles (bruit de capteur, occlusions, instructions corrompues), d'un réajustement final sur taches propres. Sur le benchmark LIBERO, elle ameliore le taux de réussite jusqu'a 12,60% sur perturbations connues et 7,77% sur perturbations inédites pour OpenVLA, avec des gains plus marques encore sur OpenVLA-OFT (+14,48% / +13,81%) et pi0 (+16,49% / +5,58%). Des tests en conditions réelles sur une plateforme robotique AIRBOT confirment ces résultats hors simulation. Le travail cible un angle mort connu du secteur: les démonstrations de VLA se font généralement en environnement contrôle, alors que le déploiement réel expose ces systèmes a des variations d'éclairage, des occlusions et des instructions humaines imprécises. En prouvant que la robustesse peut être gagnée sans sacrifier la performance sur taches propres, et que ce gain se reproduit sur trois architectures distinctes, les auteurs apportent un signal de généralisation qui intéressé directement les intégrateurs cherchant a fiabiliser des pipelines VLA au-delà du laboratoire. Cela remet en cause l'hypothèse, courante dans l'industrie, qu'un simple entrainement conjoint sur données propres et perturbées suffit a garantir la robustesse. STRONG-VLA s'inscrit dans les efforts pour combler l'écart entre simulation et déploiement réel des modèles VLA, une famille d'architectures qui compte déjà des références comme OpenVLA, sa variante OpenVLA-OFT, et pi0 développe par Physical Intelligence. Le benchmark de 28 perturbations introduit par les auteurs se veut un outil de référence pour évaluer la robustesse de futurs modèles, au-delà des scores de réussite en environnement propre mesures par LIBERO. Aucun acteur européen n'est cite dans cette publication académique, qui reste a ce stade une contribution de recherche validée en laboratoire et sur une seule plateforme physique, sans annonce de déploiement industriel ou de partenariat commercial.

RecherchePaper

1 source

2arXiv cs.RO

Modèle vision-langage-action pour la manipulation robuste multi-robot en boucle fermée

Un article publié le 9 juillet 2026 sur arXiv (référence 2607.06990) présente un nouveau système multi-agent destiné à fiabiliser la manipulation robotique lorsque plusieurs robots doivent coopérer. Les chercheurs proposent une architecture hiérarchique et bouclée reposant sur trois agents pilotés par un grand modèle de langage (LLM) : un agent de planification qui décompose une instruction globale en sous-tâches réparties entre les robots, un agent de manipulation propre à chaque robot qui exécute les actions en mobilisant dynamiquement des outils adaptés, et un agent de vérification qui observe les résultats physiques réels et renvoie des corrections sémantiques en cas d'échec ou d'écart. Le système a été testé lors d'expériences réelles, sans que l'article ne précise pour l'instant de chiffres exacts (taux de succès, nombre de robots, temps de cycle) au-delà de l'affirmation d'une performance supérieure aux approches existantes, aussi bien sur des tâches limitées à un seul poste de travail que sur des tâches réparties entre plusieurs espaces de travail distincts. L'intérêt de ce travail tient au problème qu'il cible directement : la plupart des approches actuelles combinant LLM et robotique se cantonnent soit à un seul bras manipulateur, où la prise en compte du contact physique est robuste mais sans coordination multi-robot possible, soit à une planification multi-robot de haut niveau qui traite la manipulation comme une brique idéalisée, ignorant les aléas réels d'exécution (glissement, échec de préhension, erreur de perception). En bouclant la boucle perception-action-vérification à l'échelle du système multi-robot, cette architecture s'attaque à un angle mort connu du secteur : la difficulté à faire passer un plan LLM cohérent en langage naturel vers une exécution physique fiable quand plusieurs machines doivent se synchroniser sur des tâches à long horizon. Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à doter les architectures VLA (vision-language-action) et les systèmes agentiques d'un mécanisme de rétroaction correctif, plutôt que de se reposer uniquement sur des plans ouverts non révisables. Il concurrence conceptuellement les approches de planification hiérarchique pure et les méthodes de manipulation mono-robot type Pi-0 ou GR00T N2, en visant explicitement le passage à l'échelle vers des ateliers ou des cellules industrielles à plusieurs robots. L'article, encore un simple dépôt arXiv à ce stade, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu

1 source

3arXiv cs.RO

UniMem : mémoire et contrôle multimodaux unifiés pour les modèles vision-langage-action

UniMem, un framework qui unifie mémoire multimodale de haut niveau et contrôle bas niveau dans une seule architecture pour les modèles Vision-Language-Action (VLA), est décrit dans une preprint arXiv publiée fin aout 2026 (arXiv:2608.22869v1). Le système combine trois composants: un classificateur d'événements qui déclenche les mises a jour mémoire, un encodeur de keyframes pour construire une mémoire spatiale dense, et une technique de mise en cache des keyframes destinée a limiter la surcharge de calcul pendant l'exécution des politiques. Les auteurs ont teste UniMem sur neuf taches au total, cinq en simulation et quatre sur matériel physique, toutes conçues pour solliciter la mémoire séquentielle et spatiale du robot. Les résultats annonces montrent un taux de réussite de 93,4% contre 68,2% pour une base de référence a échantillonnage d'images a intervalles fixes en simulation, et 80,0% contre 43,5% face a une architecture hiérarchique classique sur matériel réel, avec en prime une inférence plus rapide. Ce travail cible un point de friction reconnu dans le déploiement de VLA sur des taches longues et non markoviennes, celles ou l'action a prendre dépend d'événements passes et pas seulement de l'observation courante. Les approches existantes ajoutent généralement un second modèle vision-langage charge de gérer la mémoire long terme en amont du VLA, ce qui créé un goulot d'étranglement et un pipeline d'entrainement fragmente en deux étapes distinctes. Conditionner le modèle sur plusieurs images historiques choisies a intervalles arbitraires dégradé aussi souvent la performance. En proposant un backbone unique entrainable de bout en bout, UniMem promet une adoption plus simple pour les intégrateurs et laboratoires qui construisent des politiques robotiques a long horizon, sans empiler des modules de mémoire externes couteux en latence. Le problème de la mémoire dans les VLA s'inscrit dans la même trajectoire de recherche que des systèmes généralistes comme Pi-0, GR00T N2 ou Helix, qui ont déjà démontre la capacité des architectures VLA a généraliser sur des taches manipulatoires variées mais restent généralement limites a des comportements réactifs de courte durée. UniMem se positionne explicitement contre les architectures hiérarchiques a deux modèles, qu'il compare directement dans ses benchmarks matériels, avec seulement quatre taches physiques testées et des chiffres qui restent auto-rapportes par les auteurs. Le site du projet (losterberg3.github.io/unimem-vla) met a disposition les démonstrations vidéo associées; aucun calendrier de mise en open source du code ni partenariat industriel n'est communique a ce stade, le travail restant au niveau de la publication de recherche.

RechercheActu

1 source

4arXiv cs.RO

RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire

Des chercheurs présentent RoboHarness, un dispositif logiciel qui se greffe sur des modèles vision-langage-action (VLA) déjà entraines pour améliorer leur robustesse face au bruit perceptif et aux variations d'environnement, sans reentrainer les poids du réseau. L'architecture combine trois briques opérant en ligne, une récupération contrastive a double mémoire (RAG), un orchestrateur vision-langage pilote par un grand modèle de langage multimodal capable d'attribuer causalement les échecs d'exécution, et des interventions extensibles via le Model Context Protocol (MCP), auxquelles s'ajoute un module hors ligne de consolidation mémoire qui distille les traces d'exécution en connaissances a priori réutilisables. Les auteurs ont teste ce système sur trois modèles VLA de base, Pi-0, Pi-0.5 et SmolVLA, sur les benchmarks LIBERO-PRO et sur LIBERO-RoboHarness, un nouveau benchmark qu'ils ont eux-mêmes conçu. Resultat annonce: un gain moyen de taux de réussite absolu de 56,6%, avec une amélioration de 89,1% sur les taches longues enchaînées (long-horizon task chaining). Le code source et la page projet sont publies sur GitHub, sous le compte LZY-1021. Le papier, publie sur arXiv, en est a sa troisième version révisée. Cette approche cible une faiblesse connue des modèles VLA généralistes: leur fragilité des qu'ils sortent de la distribution de données d'entrainement, un écart souvent masque dans les démonstrations mais critique pour un déploiement industriel réel. En proposant une couche additive et sans fine-tuning, applicable a plusieurs backbones existants, RoboHarness s'inscrit dans une tendance émergente consistant a traiter la robustesse comme un problème d'orchestration et de mémoire en contexte plutôt que de seul entrainement. Pour les intégrateurs, cela laisse entrevoir la possibilité de renforcer des politiques VLA déjà déployées sans refaire les couteux cycles de collecte de données et de reentrainement, un argument potentiellement déterminant pour l'adoption en environnement industriel variable. Les modèles VLA généralistes, tels Pi-0 développe par Physical Intelligence, occupent une place croissante dans la robotique manipulatrice, aux cotes d'autres approches généralistes du secteur. RoboHarness ne constitue pas un nouveau modèle mais un harnais complémentaire, positionne comme correctif a la faiblesse structurelle de mémoire et d'attribution causale des VLA figes. Les benchmarks utilises restant majoritairement simules (suite LIBERO), la validation sur robot physique et en conditions industrielles reste l'étape a surveiller pour juger de la portée réelle de ces gains annonces.

RechercheActu

1 source