CoRe-VLA : préserver la coordination entre vues…

1arXiv cs.RO

Mémoire spatiale pour la manipulation hors champ de vision dans les modèles VLA

Une équipe de chercheurs a publié en mai 2026 (arXiv:2605.22283) SOMA, un framework de mémoire spatiale conçu pour résoudre un angle mort structurel des modèles Vision-Language-Action (VLA) : leur incapacité à manipuler des objets hors du champ visuel. Le système s'appuie sur une caméra de tête mobile pour acquérir des observations multi-vues, qu'il agrège en une représentation spatiale et sémantique persistante. SOMA repose sur trois modules : une construction de mémoire spatiale par balayage angulaire, un raffinement dynamique pour maintenir la cohérence globale au fil du temps, et une récupération contextuelle qui active les indices spatiaux pertinents à l'instruction en cours d'exécution. Les chercheurs l'ont évalué sur cinq tâches réelles de manipulation hors champ, incluant des scénarios multi-étapes et à deux bras où les objets cibles sont initialement invisibles. Les résultats montrent une amélioration du taux de succès, une localisation plus rapide des cibles, moins de recherche de point de vue, et un comportement proche du "one-shot grasping" en conditions d'observabilité partielle. Des expériences complémentaires sur les benchmarks RoboCasa GR1 et SimplerEnv confirment l'efficacité du design mémoire en contexte pleinement observable. Ce travail s'attaque à un verrou souvent ignoré dans la littérature VLA : l'hypothèse implicite que tous les objets pertinents sont dans le champ de vision au moment de l'action. Cette hypothèse rend les systèmes actuels fragiles dès qu'on sort des configurations de démonstration. Le fait que SOMA induise des comportements qualitativement différents, et non de simples gains de score, est notable : une localisation en quasi-une-passe sous observabilité partielle est un résultat concret pour tout intégrateur robotique travaillant en environnement non structuré. Cela suggère que la mémoire spatiale persistante peut s'ajouter comme couche modulaire à un VLA existant, sans refonte complète de l'architecture, ce qui abaisse le seuil d'adoption. Les VLAs ont émergé comme approche dominante en robotique de manipulation depuis fin 2023, portés par Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, et OpenVLA issu de Stanford et Berkeley. Ces modèles héritent de l'architecture vision-langage mais restent fondamentalement réactifs : ils traitent un flux visuel instantané sans mémoire de scène. Des travaux parallèles sur la mémoire épisodique existent en navigation mobile (méthodes SLAM-like, NeRF tactique), mais leur intégration dans des pipelines VLA de manipulation reste peu explorée. SOMA comble ce gap sur une plateforme à bras réel. Le code n'est pas encore disponible au moment de la publication, ce qui limite la reproductibilité immédiate ; son déploiement sur d'autres plateformes humanoïdes, au-delà de GR1, constituera l'étape de validation industrielle clé.

RechercheOpinion

1 source

2arXiv cs.RO

Cohérence sélective entre points de vue pour les modèles d'action du monde, sans information caméra au test

Des chercheurs publient un article arXiv (2608.21402v1) consacré aux modèles monde-action (World Action Models, WAM), ces architectures qui débruitent conjointement les futures images vidéo et les actions du robot à partir d'un même signal prédictif. Le papier pose une question précise : lors de l'entraînement avec des paires d'images de même état capturées sous des points de vue caméra différents, sur quelles sorties faut-il imposer une contrainte de cohérence entre vues ? Les auteurs montrent que la cible de débruitage d'un WAM mélange des coordonnées covariantes au point de vue (la scène future prédite) et des coordonnées invariantes (le segment d'actions, la proprioception future, la valeur). Appliquer une cohérence sur le bloc covariant s'avère mathématiquement néfaste : elle réduit le contenu spécifique à la vue à une fraction 1/(1+4λ) de sa valeur réelle, un effet vérifié expérimentalement. Leur méthode, la cohérence croisée sélective (SCVC), ne contraint que le bloc invariant, sans nécessiter d'étiquettes caméra, de paramètres extrinsèques, de profondeur ou de synthèse de vue, ni à l'entraînement ni au déploiement. Sur le protocole d'évaluation LIBERO-Plus, avec des points de vue orbitaux tenus à l'écart de l'enveloppe d'entraînement, SCVC améliore le taux de succès en boucle fermée de 12,2 points par rapport à un contrôle apparié (intervalle de confiance à 95 % [7,4 ; 17,0]), et de 15,5 points sur une seconde graine aléatoire indépendante, un gain répliqué sur deux autres axes caméra. Cette avancée cible un point faible connu des modèles vision-langage-action déployés en usine ou en environnement réel : la sensibilité au positionnement exact de la caméra, qui oblige souvent à recalibrer ou réentraîner lorsqu'un intégrateur change de configuration matérielle. En démontrant qu'un simple choix de coordonnées de perte peut faire la différence entre un gain réel d'extrapolation et une simple mémorisation des vues d'entraînement, l'étude questionne aussi la fiabilité de chiffres de robustesse déjà publiés par d'autres équipes, en révélant qu'ils sont souvent biaisés par la stabilité de pose des caméras poignet plutôt que par une réelle généralisation du modèle. Le travail s'inscrit dans la lignée des modèles de fondation robotiques combinant prédiction vidéo et politique d'action, une famille en expansion rapide où la robustesse au changement de point de vue reste un angle mort récurrent entre démonstrations en laboratoire et déploiement terrain. En isolant l'effet de la cohérence croisée de celui de la simple exposition à des paires de vues via un contrôle apparié, et en séparant un plafond intra-distribution d'une véritable extrapolation vers des vues inédites, les auteurs proposent un protocole d'évaluation, le carve-and-hold-out, potentiellement réutilisable par d'autres laboratoires pour auditer leurs propres modèles avant tout déploiement industriel.

UECette contribution méthodologique sur la robustesse des modèles action-monde aux changements de camera pourrait intéresser les intégrateurs robotiques européens sans impliquer directement d'acteur France/UE identifie.

RechercheOpinion

1 source

3arXiv cs.RO

ManiPhysicsBench : évaluation physique de la préservation des objets dans la manipulation par modèles VLA

Une équipe de chercheurs publie sur arXiv (référence 2610.02802) ManiPhysicsBench, un banc d'essai qui mesure si les modèles vision-langage-action (VLA) préservent les objets qu'ils manipulent, et pas seulement s'ils terminent la tâche. Il repose sur ManiPhysicsZoo, une bibliothèque d'objets réutilisables. Chaque objet y associe des propriétés matérielles tirées de la littérature, un maillage 3D et des références justificatives. Un solveur calcule ensuite, pour chaque saisie, des seuils de dommage à partir de la géométrie, du matériau et des conditions de préhension enregistrées. Ces seuils sont comparés aux forces de contact relevées en simulation, afin d'estimer une déformation ou une fracture potentielle. Le benchmark s'exécute dans LIBERO et SimplerEnv, selon trois axes physiques et trois niveaux de difficulté. Les checkpoints VLA publics testés montrent un écart important entre le succès de tâche et le « succès sûr », c'est-à-dire la tâche accomplie sans abîmer l'objet. Les auteurs ne donnent pas de chiffres précis dans le résumé. Leur analyse pointe la commande de pince. Elle se concentre près de l'ouverture totale ou de la fermeture totale. Les distributions agrégées sont à peu près identiques d'un objet à l'autre, ce qui correspond à une supervision binaire de la pince lors de l'entraînement. Pour tester cette explication, l'équipe a réentraîné un modèle VLA avec des étiquettes de pince continues, propres à chaque objet. Le modèle réentraîné serre de façon plus dépendante de l'objet et obtient un meilleur succès sûr. En contrepartie, son succès de tâche baisse, et l'objet-préservation généralise mal à de nouveaux objets. L'enjeu est direct pour les intégrateurs et les décideurs industriels. Les métriques actuelles, centrées sur le succès de tâche en corps rigides, surestiment la préparation des VLA pour des objets fragiles ou déformables : produits alimentaires, verrerie, emballages, composants électroniques. Un modèle qui réussit 90 % des saisies peut en abîmer une partie notable sans que le benchmark le voie. Le résultat suggère aussi une limite structurelle. Tant que les données de téléopération codent la pince en ouvert ou fermé, l'adaptation de la force à la fragilité n'a pas de signal à apprendre. Le compromis observé entre succès de tâche et succès sûr indique que cette correction coûte des performances et qu'elle ne se généralise pas encore. Il s'agit d'un travail de simulation. Les seuils reposent sur des modèles de matériaux et sur des forces de contact simulées, et leur transfert au réel n'est pas démontré. Ce travail s'inscrit dans la série de benchmarks qui a fait de LIBERO et SimplerEnv des références pour comparer les VLA. Ces bancs évaluent surtout l'accomplissement de la tâche. Il arrive à un moment où les VLA généralistes cherchent à passer des démonstrations aux déploiements en entrepôt et en usine, où l'intégrité des produits pèse sur le coût. Le résumé ne cite aucun modèle ni aucune entreprise, et ne annonce ni pilote ni calendrier. Les prochaines étapes probables sont une validation sur robot réel avec capteurs de force ou tactiles, et l'adoption de la métrique de succès sûr par d'autres benchmarks.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Observer et contrôler les caractéristiques dans les modèles vision-langage-action

Des chercheurs publient une étude (arXiv:2603.05487, version révisée) intitulée "Observing and Controlling Features in Vision-Language-Action Models", consacrée à l'interprétabilité mécaniste des modèles vision-langage-action (VLA) utilisés en robotique, ces systèmes qui traduisent une consigne en langage naturel et une image en commandes motrices. L'équipe teste sa méthode sur quatre modèles VLA de pointe, couvrant à la fois des architectures autorégressives et des architectures hybrides transformer/flow-matching à diffusion. Elle introduit des "observateurs" linéaires capables d'extraire, depuis les représentations internes du modèle, des informations sur l'état du robot et sur l'action à venir, ainsi qu'un "contrôleur" qui modifie légèrement ces représentations pour forcer les prédictions dans un intervalle cible, sans réentraînement ni fine-tuning. La méthode est validée en boucle fermée sur le modèle π0.5 de Physical Intelligence, dans le simulateur LIBERO et sur du matériel réel DROID. Résultat annoncé: un meilleur respect des contraintes imposées, une performance de tâche globalement préservée, et un surcoût de calcul à l'inférence d'environ 1% seulement. Pour l'industrie robotique, ce travail s'attaque à un problème concret: contrairement aux grands modèles de langage, les VLA combinent entrées multimodales et têtes de diffusion, ce qui rend leurs représentations internes plus opaques et empêche de transposer directement les outils d'interprétabilité conçus pour les LLM. Montrer qu'une intervention linéaire légère, quasi gratuite en calcul, suffit à orienter le comportement d'un VLA en cours d'exécution ouvre une piste pour ajuster des robots déployés à des préférences utilisateur ou des contraintes de sécurité sans repasser par un cycle d'entraînement coûteux. Pour les intégrateurs et décideurs B2B, c'est un argument en faveur d'un contrôle plus fin et plus rapide des politiques robotiques en production. Le résultat reste toutefois validé sur un seul modèle en conditions réelles et en simulateur, pas sur un produit déployé à grande échelle. Ce travail s'inscrit dans la lignée de l'interprétabilité mécaniste développée sur les LLM (sondes linéaires, vecteurs de pilotage d'activations), que les auteurs cherchent à étendre aux VLA, un champ encore peu exploré du fait de leur complexité multimodale. Le choix de π0.5 comme banc d'essai principal ancre l'étude dans l'écosystème actuel des VLA génératifs à têtes de diffusion, dont l'essor rapide a fait de l'opacité des représentations internes un point de blocage identifié par la communauté recherche. La mention "replace" sur arXiv indique une itération en cours plutôt qu'un résultat figé. Les auteurs ne fournissent aucun calendrier de transfert vers des systèmes commerciaux: la contribution reste, à ce stade, méthodologique et validée en laboratoire, sans annonce de pilote industriel ni de partenaire de déploiement.

RecherchePaper

1 source

CoRe-VLA : préserver la coordination entre vues dans les modèles VLA lors de changements de caméra

À lire aussi

Mémoire spatiale pour la manipulation hors champ de vision dans les modèles VLA

Cohérence sélective entre points de vue pour les modèles d'action du monde, sans information caméra au test

ManiPhysicsBench : évaluation physique de la préservation des objets dans la manipulation par modèles VLA

Observer et contrôler les caractéristiques dans les modèles vision-langage-action