RecherchearXiv cs.RO 19 octobre 2026

Regarder avant d'agir : relier perception active et modèles vision-langage-action (VLA) par l'adaptation de données alignées sur les observations

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent ActiveAlign, un cadre d'adaptation de données qui relie la perception active (déplacer la caméra pour voir une cible occultée) aux modèles Vision-Language-Action (VLA). Le problème identifié, baptisé « sensibilité à la distribution de la première image », est mesuré sur le benchmark de simulation LIBERO : lorsqu'on ajoute naïvement une phase de repositionnement de caméra devant pi0.5, le taux de succès chute de 46,3 % à 11,5 % sous départs perturbés. ActiveAlign procède en trois temps. Un module de point de vue génère d'abord une trajectoire de caméra. Hors ligne, un alignement en boucle fermée raccorde ensuite le point d'arrivée de cette trajectoire à une démonstration existante, rejoue la suite de la manipulation et ne conserve que les continuations réussies pour le fine-tuning. Au déploiement, le même module précède le VLA adapté, dont l'architecture reste inchangée. Sur 40 tâches LIBERO, la méthode atteint 70,7 % de succès avec pi0 et 72,7 % avec pi_0.5, soit +40,0 et +26,4 points face à l'entraînement standard. En conditions réelles d'occultation physique, le succès passe de 35/90 à 83/90.

Le résultat compte parce qu'il isole une cause précise d'échec que beaucoup d'équipes rencontrent sans la nommer : brancher une caméra active sur une politique de manipulation préentraînée ne suffit pas, car le mouvement de caméra place le robot dans des états initiaux hors de la distribution d'entraînement. Le gain ne vient donc pas de la perception active seule, mais de l'alignement entre les données d'entraînement et les états où la recherche de point de vue s'arrête. Pour les intégrateurs travaillant sur du bin-picking ou des étagères encombrées, c'est une piste pragmatique : elle réutilise des démonstrations existantes sans changer l'architecture du VLA ni collecter de nouvelles téléopérations. Les contrôles à états appariés et à données appariées écartent l'explication par un simple raccourcissement des trajectoires ou par une augmentation générique de points de vue. La même tendance apparaît avec OpenVLA et GR00T N1, ce qui suggère une portée plus large que la seule famille pi.

Quelques réserves s'imposent. Les chiffres principaux proviennent de LIBERO, un benchmark simulé aux scènes relativement standardisées, et l'évaluation réelle (90 essais) reste limitée en taille, sans indication ici sur la diversité des objets ni des scènes. Le travail s'inscrit dans la course aux VLA généralistes (pi0 et pi0.5 de Physical Intelligence, GR00T de NVIDIA, OpenVLA), qui supposent le plus souvent des caméras fixes ou montées au poignet. ActiveAlign montre qu'un levier de robustesse se situe dans l'adaptation des données plutôt que dans l'agrandissement des modèles. Les suites naturelles seraient des tests sur des plateformes mobiles, des scènes plus denses et des modèles plus récents que GR00T N1, ainsi qu'une mesure du coût en temps de cycle du repositionnement, que l'étude ne chiffre pas ici.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

SAM3D pour aligner les représentations centrées sur l'objet dans les modèles vision-langage-action

Cette recherche présente un cadre d'alignement de représentations 3D centré sur l'objet, appliqué au modèle vision-langage-action (VLA) $\pi0$. Les auteurs utilisent SAM3D, un modèle 3D figé servant de "professeur", pour injecter des connaissances géométriques sur les objets cibles pendant l'entraînement : les objets pertinents pour la tâche sont localisés via des modèles de reconnaissance, des masques sont générés, puis SAM3D en extrait des représentations 3D denses alignées avec les caractéristiques visuelles intermédiaires de $\pi0$. Fait notable, ce module 3D n'intervient qu'à l'entraînement : au moment de l'inférence, le pipeline reste purement RGB-langage-vers-action, sans besoin de profondeur, nuage de points, masques ou calculs SAM3D supplémentaires. Les résultats en simulation atteignent 99,1% de réussite sur le benchmark LIBERO et une longueur moyenne de tâches de 4,11 sur CALVIN, avec des gains confirmés en conditions réelles, notamment sur des scénarios de manipulation longue durée impliquant plusieurs sous-tâches et objets cibles différents. L'enjeu pour l'industrie robotique est la résolution d'un point faible connu des modèles VLA actuels : leur dépendance à des backbones vision-langage 2D qui peinent face à l'occlusion, aux variations de pose ou d'échelle, et aux interactions spatiales précises. En démontrant qu'on peut internaliser une compréhension 3D fine sans alourdir le pipeline de déploiement, ce travail répond à une critique récurrente du secteur : les architectures VLA génériques marchent bien en démo contrôlée mais échouent sur des tâches de manipulation fine en conditions réelles. Pour les intégrateurs et décideurs B2B, cela suggère une voie pour améliorer la robustesse des politiques de manipulation sans complexifier ni ralentir le matériel embarqué, un compromis critique pour le déploiement industriel à grande échelle de bras robotiques et de robots humanoïdes. Ce travail s'inscrit dans la lignée des modèles VLA construits sur $\pi_0$ (Physical Intelligence), déjà positionné comme concurrent direct des approches comme GR00T N2 de NVIDIA ou Helix de Figure AI dans la course à des politiques de manipulation généralistes. L'apport spécifique ici est méthodologique plutôt qu'un nouveau produit ou déploiement terrain : il s'agit d'une technique d'entraînement, testée pour l'instant en simulation (LIBERO, CALVIN) et en expérimentations réelles limitées, sans annonce de déploiement commercial ni de partenariat industriel. Les prochaines étapes attendues porteraient sur l'extension à d'autres backbones VLA et sur la validation à plus grande échelle en environnement réel, au-delà des bancs d'essai académiques actuels.

RecherchePaper

1 source

2arXiv cs.RO

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper

1 source

3arXiv cs.RO

UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (référence 2602.18020v2) une méthode baptisée UAOR (Uncertainty-aware Observation Reinjection), conçue pour améliorer les modèles VLA (Vision-Language-Action) sans nécessiter de réentraînement ni de données supplémentaires. Le principe repose sur la mesure de l'entropie d'action à chaque couche du modèle de langage sous-jacent : lorsqu'une couche présente une incertitude élevée, le module réinjecte les informations d'observation clés dans le réseau Feed-Forward (FFN) de la couche suivante, via un mécanisme d'attention retrieval. Les auteurs exploitent ici une propriété connue des transformeurs où les FFN se comportent comme des mémoires clé-valeur, et l'appliquent de façon adaptative et conditionnelle à l'état d'incertitude du modèle. Les expériences couvrent à la fois des environnements simulés et des tâches de manipulation réelle, sans précisions chiffrées sur les volumes ou les délais de cycle dans l'abstract publié. L'intérêt pratique est réel pour les équipes qui cherchent à améliorer des pipelines VLA existants : la plupart des approches actuelles exigent l'ajout de capteurs (nuages de points, cartes de profondeur) ou de modules auxiliaires (détecteurs d'objets, encodeurs spécialisés), impliquant collecte de données et phases d'entraînement coûteuses. UAOR se branche en plug-and-play sur des modèles déjà entraînés, ce qui réduit significativement le coût d'intégration. Cette approche "training-free" est particulièrement pertinente dans un contexte industriel où le fine-tuning sur données propriétaires reste un frein. Cela dit, l'abstract ne communique pas de métriques précises (taux de succès, amélioration relative), ce qui rend l'évaluation de l'amplitude des gains difficile avant lecture complète du papier. Les VLA sont devenus un axe central de la robotique de manipulation généraliste depuis 2024, portés par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). UAOR s'inscrit dans une dynamique de recherche qui cherche à extraire davantage de performance des architectures existantes plutôt qu'à en construire de nouvelles, une tendance d'optimisation à moindre coût computationnel. La prochaine étape naturelle serait une évaluation comparative sur des benchmarks standardisés comme RLBench ou FurnitureBench, et un test d'intégration sur des modèles open-source populaires tels qu'OpenVLA ou Octo.

RechercheOpinion

1 source

4arXiv cs.RO

Reformule avant d'agir : caractérisation et atténuation de la sensibilité au langage des modèles vision-langage-action (VLA)

Les modèles vision-langage-action (VLA) ne tiennent pas la promesse de robustesse linguistique de leurs modèles vision-langage d'origine, selon une étude (arXiv 2610.10526) qui chiffre cette fragilité sur LIBERO, un banc d'essai de manipulation en simulation. Sur ce benchmark, π0.5 allume la cuisinière dans 100 % des essais avec « switch on the stove », mais seulement 2 % avec « switch on the hot plate ». Un checkpoint π0 finetuné avec de l'augmentation par reformulation affiche encore des écarts allant jusqu'à 61 points pour une simple variation de phrasé. Les auteurs mesurent ces variations par des tests statistiques d'écarts à une seule édition, puis par une recherche « oracle » de la meilleure formulation. Celle-ci montre que le phrasé seul comble presque entièrement l'écart de 21 points entre tâches in-distribution et hors distribution. Leur correctif ne touche pas à la politique. Ils évaluent de nombreuses formulations sur quelques tâches d'entraînement, puis un grand modèle de langage distille ces résultats en dix à vingt règles de reformulation. Au déploiement, chaque consigne entrante est réécrite une seule fois selon ces règles, sans réentraînement ni vérification à chaque pas de temps. Sur un π0 gelé, le gain relatif est de 16 à 27 % sur douze tâches tenues à l'écart, avec des phrasés adversariaux, générés par VLM et rédigés par des humains. Les progrès se concentrent sur les tâches hors distribution. Sur π0.5 et LIBERO, le taux de succès « in-finetune » passe de 93,6 % à 97,8 %. Il s'agit de résultats de simulation et de benchmark. Rien n'est annoncé en déploiement physique ni sur un produit livré. Pour les intégrateurs et les équipes qui évaluent des VLA, le résultat remet en cause l'idée que la compréhension du langage hérite telle quelle du préentraînement du VLM. Un opérateur qui dit « plaque chauffante » plutôt que « cuisinière » peut faire échouer la tâche presque à coup sûr. Les scores moyens des benchmarks, mesurés avec les formulations canoniques, risquent donc de surestimer la fiabilité en atelier ou en entrepôt, où les consignes varient selon les personnes. Le travail propose aussi une réponse peu coûteuse, puisqu'une couche de réécriture en amont s'ajoute à une politique figée sans nouvelle collecte de données. Reste à voir si cela tient sur robot réel, avec des consignes plus longues et du bruit de reconnaissance vocale. Le coût d'un appel LLM supplémentaire par consigne est faible, mais il ajoute une dépendance et de la latence au démarrage de la tâche. Ce travail s'inscrit dans la série des politiques généralistes de Physical Intelligence (π0, puis π0.5), devenues des références open source. Celles-ci côtoient des approches concurrentes comme GR00T chez NVIDIA ou Helix chez Figure, dont la robustesse linguistique n'est pas documentée publiquement dans des termes comparables. LIBERO est un benchmark commode mais limité, et la plupart des publications sur les VLA le saturent déjà avec des consignes fixes. Les prochaines étapes naturelles sont des tests sur matériel physique et sur d'autres familles de VLA. Les auteurs publient une page de projet, sttawm.github.io/rephrase-before-you-act.

RecherchePaper

1 source