Aller au contenu principal
CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'expertsIllustration générée par IA
RecherchearXiv cs.RO 

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif. Les auteurs testent CoRE-VLA sur les benchmarks LIBERO et RoboCasa GR1 Tabletop, ainsi que sur des manipulations réelles à deux bras, et rapportent des performances supérieures à un modèle dense équivalent et à un VLA pré-entraîné de référence, y compris en généralisation zero-shot sur des scénarios non vus à l'entraînement.

L'enjeu pratique est réel pour les intégrateurs: la plupart des VLA actuels couplent rigidement la génération d'action à un jeu de capteurs fixe, ce qui les rend fragiles dès qu'un capteur auxiliaire tombe en panne ou qu'un embodiment robotique en est simplement dépourvu par conception. CoRE-VLA promet une dégradation gracieuse sans réentraînement complet, un point clé pour des flottes hétérogènes déployées en usine ou en entrepôt où tous les robots n'ont pas la même instrumentation. C'est un signal de plus que la recherche VLA s'oriente vers la robustesse opérationnelle plutôt que la seule performance en benchmark contrôlé, un décalage régulièrement pointé du doigt entre démonstrations académiques et réalité industrielle.

Ce travail s'inscrit dans la lignée des architectures VLA généralistes type Pi-0 ou GR00T N2, mais adresse un angle mort spécifique: l'hétérogénéité capteurs plutôt que la seule diversité des tâches. Il s'agit ici d'une contribution de recherche publiée sur arXiv, sans partenaire industriel ni déploiement annoncé; les prochaines étapes attendues seraient une validation sur davantage d'embodiments réels et une comparaison directe avec les VLA propriétaires déployés en production.

À lire aussi

LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation
Illustration générée par IA
1arXiv cs.RO 

LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation

Des chercheurs ont publié LIBERO-PRO, une extension critique du benchmark LIBERO largement utilisé pour évaluer les modèles Vision-Language-Action (VLA). Disponible sur GitHub (Zxy-MLlab/LIBERO-PRO), le travail, présenté sous forme d'arXiv preprint (arXiv:2510.03827v2), soumet les VLA à des perturbations systématiques selon quatre axes : substitution des objets manipulés, variation des états initiaux, modification des instructions de tâche, et changement d'environnement. Résultat sans appel : les modèles actuels qui atteignent plus de 90 % de succès sur l'évaluation LIBERO standard s'effondrent à 0,0 % dans le cadre généralisé de LIBERO-PRO. Concrètement, un modèle continue d'exécuter une séquence de saisie même lorsque l'objet cible est remplacé par un objet sans rapport, et ses sorties restent inchangées face à des instructions corrompues ou composées de tokens aléatoires. Ce résultat est un signal d'alarme direct pour les équipes qui fondent leurs décisions de recherche ou de déploiement sur les classements LIBERO. Il démontre que les modèles VLA n'ont pas acquis de compréhension générale des tâches ni de perception réelle de l'environnement : ils mémorisent des séquences d'actions et des configurations spatiales vues à l'entraînement. Autrement dit, le gap sim-to-real et le problème de généralisation restent entiers, quelle que soit la performance affichée sur le benchmark. Pour les intégrateurs industriels ou les équipes robotique qui envisagent de déployer des politiques basées sur des VLA, cela signifie que les scores publiés ne sont pas des indicateurs fiables de robustesse opérationnelle. LIBERO, introduit pour standardiser l'évaluation des politiques manipulatrices en langage naturel, est devenu une référence de facto dans la communauté. Mais comme tout benchmark sur-exploité, il a progressivement favorisé l'overfitting plutôt que la généralisation. LIBERO-PRO s'inscrit dans une tendance plus large de remise en question des protocoles d'évaluation VLA, aux côtés d'initiatives comparables sur les benchmarks de navigation et de saisie. La prochaine étape logique serait l'adoption de LIBERO-PRO comme standard par les principaux groupes travaillant sur des modèles comme OpenVLA, Octo ou pi0 (Physical Intelligence), afin de permettre des comparaisons réellement équitables et de pousser le secteur vers des politiques robustes en conditions réelles.

RechercheOpinion
1 source
Logic-VLA : un modèle vision-langage-action conditionné par la logique temporelle
Illustration générée par IA
2arXiv cs.RO 

Logic-VLA : un modèle vision-langage-action conditionné par la logique temporelle

Un article de recherche publié le 24 août 2026 sur arXiv (2608.20556v1) présente Logic-VLA, un modèle vision-langage-action (VLA) conditionné non seulement par des instructions en langage naturel mais aussi par des spécifications en logique temporelle de signaux (Signal Temporal Logic, STL) fournies au moment de l'inférence. Le système repose sur un encodeur STL basé sur un graphe syntaxique, pré-entraîné pour capturer la sémantique de la logique temporelle. L'adaptation de la politique se fait en deux étapes : un fine-tuning supervisé conditionné par STL sur des démonstrations satisfaisant les contraintes, suivi d'une optimisation de préférence au niveau des trajectoires sur des paires de rollouts appariés (satisfaisants versus violant les contraintes), utilisant un substitut par flow-matching pour l'Identity Preference Optimization. Les tests, menés en simulation de navigation de quadricoptère en boucle fermée dans des environnements photoréalistes randomisés, montrent une amélioration du taux de satisfaction des contraintes STL de 24,8 à 40,7 points de pourcentage par rapport à une politique de base ignorant ces contraintes, pour une perte de réussite de la tâche en langage naturel limitée à 1,8 point au maximum, y compris sur des formules STL inédites à l'entraînement. L'enjeu dépasse la simple performance : les instructions en langage naturel données à un robot ne précisent presque jamais les contraintes de sécurité spatiotemporelles réelles (zones interdites, délais, séquences obligatoires), ce qui reste un angle mort des VLA actuels déployés dans l'industrie. Logic-VLA suggère qu'une seule politique peut s'adapter à des exigences formelles variables sans entraîner un modèle distinct par spécification, une piste pertinente pour les intégrateurs qui doivent certifier un comportement robotique plutôt que simplement l'observer fonctionner en démonstration. Ce travail s'inscrit dans la lignée des modèles VLA génériques (à la manière de Pi-0 ou GR00T N2) mais cible spécifiquement le manque de garanties formelles de ces architectures, en s'appuyant sur des méthodes de vérification issues du contrôle formel. Il faut noter que la validation reste circonscrite à la simulation de drones dans des scènes synthétiques, sans démonstration sur robot physique ni déploiement industriel : un jalon méthodologique en amont d'un transfert réel, dont les auteurs ne donnent pas de calendrier.

RechercheOpinion
1 source
Vers des modèles vision-langage-action (VLA) à peu d'exemples, robustes aux variations de pose
Illustration générée par IA
3arXiv cs.RO 

Vers des modèles vision-langage-action (VLA) à peu d'exemples, robustes aux variations de pose

Des chercheurs ont publié sur arXiv (identifiant 2611.24360) WACO, un cadre de « canonicalisation ancrée dans le monde » destiné aux modèles vision-langage-action (VLA), accompagné d'un nouveau banc d'essai, LIBERO-PoseShift. Le problème visé est concret : la recette standard consiste à affiner un VLA sur quelques dizaines de démonstrations, mais la politique obtenue mémorise implicitement la transformation entre la caméra et la base du robot. Un trépied heurté ou une base ré-docquée à quelques centimètres de sa position suffit alors à faire viser au bras le mauvais endroit. WACO traite ces deux défaillances comme un seul phénomène, un changement d'extrinsèque caméra-base. À partir d'une seule image RGB-D, il estime les deux décalages sans extrinsèques de référence ni données supplémentaires. Le bras, positionné par cinématique directe à partir des angles articulaires mesurés, sert de cible de calibration métrique, tandis que la scène statique sert d'ancre pour distinguer une caméra déplacée d'un robot déplacé. L'image est ramenée au point de vue de calibration, et l'état, les actions et la pose de départ au repère de base de calibration. La politique, non modifiée, est ensuite affinée en tenant compte des artefacts de son propre estimateur. Sur LIBERO-PoseShift (décalages gradués de caméra, de base et combinés), sur la piste caméra de LIBERO-Plus et sur quatre tâches réelles avec un UR5e, le taux de succès sous décalage progresse de 13,2 points en simulation et de 36,7 points sur robot réel par rapport à la recette standard. L'intérêt pour l'industrie tient à la fragilité que ce travail documente. Un VLA qui fonctionne en laboratoire dépend d'une géométrie de montage figée, or une cellule de production connaît des chocs, des ré-dockings d'AMR et des remplacements de caméra. Les auteurs affirment que WACO récupère 90 % de l'écart en simulation et 87 % sur robot réel par rapport à un oracle disposant des extrinsèques exactes, sans données d'entraînement perturbées ni calibration au moment du test. Si ces résultats se confirment, cela réduirait le besoin de recalibrations manuelles et de collecte de données supplémentaires lors du déploiement few-shot, un coût d'intégration réel. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, la validation réelle se limite à un seul bras (UR5e) et à quatre tâches, et les décalages de LIBERO-PoseShift sont synthétiques et propres au benchmark que les auteurs introduisent eux-mêmes. La robustesse à des perturbations non anticipées en atelier, avec occultations, éclairage variable ou scène non statique, n'est pas démontrée par ce résumé. Ce travail s'inscrit dans la série d'efforts pour fiabiliser les VLA après les premières démonstrations de la génération Pi-0 ou OpenVLA, où la robustesse au changement de point de vue est apparue comme un angle mort. LIBERO-Plus avait déjà mis en évidence la sensibilité de ces modèles aux perturbations de caméra, et plusieurs méthodes de robustesse au point de vue existent, mais elles reposent souvent sur des données perturbées à l'entraînement ou sur une calibration au test. WACO se positionne comme l'état de l'art parmi les méthodes sans données perturbées ni calibration à l'exécution. Les suites naturelles sont des validations sur d'autres morphologies, notamment des manipulateurs mobiles et des humanoïdes dont le point de vue de la tête varie en continu, ainsi que des essais en environnement dynamique. Le code et les résultats sont annoncés sur la page du projet, ce qui permettra une reproduction indépendante.

RecherchePaper
1 source
ROAD-VLA : adaptation en ligne robuste par auto-distillation pour les modèles vision-langage-action
Illustration générée par IA
4arXiv cs.RO 

ROAD-VLA : adaptation en ligne robuste par auto-distillation pour les modèles vision-langage-action

Une équipe de chercheurs publie fin juin 2026 ROAD-VLA (arXiv:2606.25800), un cadre d'adaptation en ligne des modèles VLA (Vision-Language-Action) par auto-distillation guidée par avantage. Les VLA, à l'image de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou RT-2 (Google DeepMind), traduisent directement une entrée visuelle et une instruction en langage naturel en séquences d'actions robotiques. Le problème : affiner un tel modèle pré-entraîné sur de nouvelles tâches via apprentissage par renforcement (RL) génère des récompenses trop éparses pour superviser des politiques autoregressives de haute dimension. ROAD-VLA y répond en construisant un "enseignant proximal" dans l'espace des actions, perturbant les logits des tokens d'action avec des estimations d'avantage calibrées pour convertir des récompenses rares en supervision dense token par token. Évalué sur sept environnements de manipulation robotique, en distribution et hors distribution, le framework surpasse PPO (Proximal Policy Optimization, référence RL standard) dans la quasi-totalité des configurations. La découverte la plus saillante est l'existence d'un "modality gap" : les enseignants textuels conditionnés sur des démonstrations, des expériences récupérées ou des plans de haut niveau s'avèrent systématiquement inefficaces pour adapter les politiques d'action VLA. C'est une contradiction directe avec une hypothèse répandue selon laquelle le guidage symbolique ou langagier peut servir de supervision fiable lors du fine-tuning RL. ROAD-VLA démontre que la supervision doit opérer dans l'espace des actions, pas dans l'espace du langage. Pour un intégrateur déployant des bras manipulateurs basés sur VLA, cela ouvre une voie d'adaptation au domaine sans collecter de nouvelles démonstrations massives : le modèle se corrige via son propre comportement et les signaux de récompense de l'environnement réel. Le paradigme VLA a pris son essor avec RT-2 (Google DeepMind, 2023), puis s'est accéléré via Pi-0 (Physical Intelligence, 2024), GR00T N2 (NVIDIA, 2025) et Helix (Figure AI), accompagnés d'une vague de publications académiques. L'adaptation post-déploiement, soit ajuster un modèle généraliste à une géométrie de préhension spécifique ou à un flux industriel précis sans tout ré-entraîner, est désormais identifiée comme le verrou opérationnel suivant par les équipes terrain. Ce travail reste une annonce académique (arXiv, juin 2026), pas un produit livré ni un déploiement industriel réel, et la validation sur robots physiques en conditions industrielles reste à conduire. Aucun acteur français ou européen n'est impliqué dans cette recherche.

RechercheOpinion
1 source