IA physiquearXiv cs.RO 4 juin 2026

VISTA : adaptation des données UMI fondée sur la vision et validée par la physique pour l'entraînement de modèles VLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie VISTA (Vision-grounded and Physics-Validated Adaptation), un framework visant à entraîner des modèles Vision-Language-Action (VLA) à partir de données collectées via l'Universal Manipulation Interface (UMI). L'UMI permet une collecte robotique à grande échelle sans téléopération hardware-spécifique, mais son exploitation pour les VLA bute sur deux incompatibilités identifiées par les auteurs : les caméras fisheye montées au poignet génèrent une distorsion radiale sévère, hors distribution pour les modèles de vision pré-entraînés ; et les trajectoires humaines enregistrées violent fréquemment les limites cinématiques du robot ou dépassent la bande passante du contrôleur, enseignant ainsi des actions physiquement irréalisables. VISTA répond avec trois composants : UMI-VQA, un premier dataset VQA à grande échelle conçu spécifiquement pour les vues fisheye au poignet ; un pipeline de validation physique scorant chaque trajectoire sur la continuité, le risque d'auto-collision et la fidélité d'exécution ; et une recette d'entraînement en deux étapes combinant ancrage vision-langage et prédiction d'actions. Le modèle, les données et le pipeline sont publiés en open source sous forme de preprint arXiv.

L'enjeu est directement opérationnel : les VLA actuels souffrent d'un écart persistant entre démonstration et déploiement réel. VISTA apporte une réponse méthodologique en filtrant les trajectoires défectueuses avant l'entraînement, plutôt qu'en espérant que le modèle les absorbe. Les auteurs montrent que les scores de validation physique sont fortement prédictifs du succès en déploiement, ce qui plaide pour une approche data-quality-first plutôt que data-volume-first, un argument qui contredit la logique dominante du secteur. En simulation et sur des tâches réelles de manipulation, VISTA surpasse des baselines solides incluant π0.5 (Physical Intelligence), LingBot-VLA et Wall-X. Pour un intégrateur ou un décideur industriel, cela valide une voie vers des pipelines de collecte scalables via UMI, compatibles avec les VLA modernes, sans recourir à un hardware propriétaire coûteux.

L'UMI avait été conçu initialement pour découpler la collecte de données du hardware robotique spécifique, mais son intégration aux VLA restait largement non documentée à grande échelle. Physical Intelligence a popularisé l'approche VLA avec π0 et π0.5 ; Figure AI, 1X et Apptronik misent sur des architectures concurrentes. VISTA s'attaque à un goulot d'étranglement rarement traité en publication : la qualité intrinsèque des données d'entraînement avant qu'elles n'entrent dans le pipeline. En libérant pipeline de validation, dataset UMI-VQA et modèle pré-entraîné, les auteurs positionnent VISTA comme un outil d'infrastructure pour la communauté robotique cherchant à industrialiser la collecte et le filtrage de données manipulation, en amont des choix d'architecture VLA.

Dans nos dossiers

Figure Apptronik Apollo Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

LaST-R1 : renforcement de l'action par raisonnement latent physique adaptatif pour les modèles VLA

Des chercheurs ont publié le 29 avril 2026 sur arXiv (2604.28192) un nouveau cadre pour les modèles Vision-Langage-Action (VLA) baptisé LaST-R1, accompagné d'un algorithme d'apprentissage par renforcement inédit appelé LAPO (Latent-to-Action Policy Optimization). Le système atteint un taux de succès moyen de 99,8 % sur le benchmark de manipulation robotique LIBERO, après un unique épisode d'imitation supervisée en guise d'amorçage. En déploiement réel sur quatre tâches complexes, dont des configurations monobranche et bras-double, LAPO améliore les performances de 44 % par rapport à la politique issue de cet amorçage initial. L'apport central de LaST-R1 est de relier explicitement le raisonnement sur la physique à la génération d'actions, là où les approches existantes traitaient ces deux étapes séparément. Les VLA actuels raisonnent soit en langage naturel (coûteux en latence et discret), soit dans un espace latent continu, mais dans les deux cas par imitation statique, sans capacité d'adaptation par essais-erreurs. LAPO co-optimise simultanément le processus de raisonnement latent et la production d'actions via du renforcement en ligne, ce qui améliore la modélisation du monde physique et la robustesse en environnement interactif. Un mécanisme de "latent Chain-of-Thought adaptatif" permet en outre au modèle d'ajuster dynamiquement son horizon de raisonnement selon la complexité de la situation, sans coût fixe à chaque pas. Il s'agit d'une annonce académique sous forme de preprint, pas encore d'un produit embarqué sur robot commercial. Ce travail s'inscrit dans la course à la généralisation des VLA, portée ces derniers mois par des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA. L'un des verrous récurrents du secteur est l'écart simulation-réalité (sim-to-real gap) et la difficulté à faire converger rapidement un modèle en conditions réelles sans millions d'épisodes supervisés. LaST-R1 revendique une convergence significativement accélérée grâce à l'optimisation jointe du raisonnement latent, une piste que suivent aussi des équipes européennes travaillant sur l'apprentissage par renforcement pour la manipulation, notamment dans l'orbite des laboratoires universitaires français. Les prochaines étapes naturelles seront la validation sur des benchmarks plus diversifiés (AgiBot World, RLBench) et l'intégration dans des plateformes matérielles commerciales.

UELes laboratoires français et européens travaillant sur la manipulation robotique par apprentissage par renforcement peuvent s'appuyer sur l'approche LAPO pour réduire leur dépendance aux grandes quantités de données supervisées, accélérant potentiellement leurs cycles de recherche.

IA physiqueOpinion

1 source

2arXiv cs.RO

VLA Foundry : un cadre unifié pour l'entraînement des modèles vision-langage-action

Le laboratoire TRI-ML (Toyota Research Institute Machine Learning) publie VLA Foundry, un framework open-source qui unifie dans une seule base de code l'entraînement des modèles LLM, VLM et VLA (Vision-Language-Action). Jusqu'ici, la majorité des pipelines open-source de robotique apprenante se concentraient exclusivement sur l'étape d'entraînement à l'action, assemblant à la hâte des briques de préentraînement incompatibles entre elles. VLA Foundry propose à la place un continuum de bout en bout: du préentraînement linguistique jusqu'au fine-tuning spécialisé pour le contrôle moteur. Deux familles de modèles sont publiées simultanément: la première entraînée intégralement depuis zéro via le pipeline LLM→VLM→VLA, la seconde construite sur le backbone Qwen3-VL d'Alibaba. Les deux sont évalués en boucle fermée sur LBM Eval, un simulateur open-source et open-data de manipulation sur table. Sur les tâches multi-objets, le modèle fondé sur Qwen3-VL dépasse la baseline de façon significative, sans que TRI-ML ne quantifie précisément l'écart dans le résumé publié. Le code est disponible sur GitHub (TRI-ML/vla_foundry) et les poids sont libérés sur HuggingFace. Ce que VLA Foundry prouve concrètement, c'est que le choix du backbone VLM est un levier critique: partir d'un modèle vision-langage préentraîné et performant comme Qwen3-VL, plutôt que de construire une architecture robotique ad hoc, améliore substantiellement la politique de contrôle multi-tâches. Pour les équipes d'intégration et les chercheurs, cela valide une stratégie de transfert: exploiter les représentations génériques des grands VLMs commerciaux ou open-weights plutôt que de repartir de zéro. Par ailleurs, le fait que le modèle from-scratch atteigne les performances des travaux closed-source antérieurs de TRI-ML constitue un signal positif pour la reproductibilité de cette classe de modèles, souvent opaque dans la littérature. TRI-ML est l'un des laboratoires de robotique académique les plus actifs, avec une longue historique en apprentissage par renforcement et en manipulation. Dans la course aux VLA, il affronte désormais Physical Intelligence et son modèle pi0, Figure AI avec Helix, Google DeepMind (RT-2, et ses successeurs), ainsi que plusieurs startups émergentes. L'appui sur Qwen3-VL, un modèle produit par l'équipe Qwen d'Alibaba, illustre la tendance croissante à hybrider les avancées du monde NLP avec les contraintes du monde physique. Les prochaines étapes mentionnées incluent des améliorations d'outillage pour le simulateur LBM Eval et l'outil d'analyse STEP, deux contributions qui pourraient aider la communauté à standardiser l'évaluation des politiques robotiques en boucle fermée.

IA physiqueOpinion

1 source

3arXiv cs.RO

AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif

Des chercheurs ont publié fin août 2026 sur arXiv (référence 2608.29208v1) une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, baptisée AdaVLA. Les VLA, construits à partir de modèles vision-langage (VLM), souffrent d'un coût de calcul élevé qui freine leur déploiement embarqué et empêche des réponses en temps réel aux changements d'environnement. Contrairement aux techniques d'accélération existantes, qui nécessitent souvent un fine-tuning ou un accès aux données d'entraînement, rarement disponibles pour des raisons de confidentialité ou de propriété industrielle, AdaVLA fonctionne en ligne et sans données d'entraînement. La méthode introduit une métrique dérivée de la courbure de la trajectoire de flow matching pour estimer la confiance du modèle dans la génération d'action à chaque étape d'inférence. Cette métrique permet de réduire dynamiquement le nombre d'étapes d'inférence et d'ajuster le taux d'élagage des couches MLP via une évaluation d'importance calculée efficacement. Testée sur le benchmark LIBERO avec un module embarqué Jetson AGX Orin, la méthode obtient une accélération de 1,87x pour le modèle pi-0.5 et de 2,24x pour X-VLA, avec une dégradation jugée négligeable des taux de réussite des tâches. Les auteurs indiquent avoir aussi validé la robustesse de leur approche sur des tâches robotiques réelles avec SmolVLA, un modèle VLA compact développé par Hugging Face. Pour les intégrateurs et les équipes robotique, ce travail cible un goulot d'étranglement précis et jusqu'ici peu traité : la plupart des efforts d'accélération des VLA portent sur le coût d'inférence du VLM, la partie perception et raisonnement, et non sur le processus itératif de résolution d'équation différentielle propre au flow matching, qui génère les actions du robot. Si ces résultats se confirment à plus grande échelle, une méthode sans réentraînement ni accès aux données change la donne pour le déploiement en production, car elle peut s'appliquer à des modèles propriétaires sans toucher au pipeline d'entraînement, un frein courant chez les fournisseurs commerciaux de VLA. Cela conforte aussi l'idée que le flow matching, déjà présenté comme alternative plus légère aux modèles de diffusion classiques pour le contrôle robotique, peut être compressé davantage sans réentraînement lourd, un argument clé pour l'embarqué face aux contraintes de latence et d'énergie des humanoïdes et bras robotiques actuels. AdaVLA s'inscrit dans la vague de modèles VLA apparue avec des architectures comme pi-0 et sa variante pi-0.5, développées par Physical Intelligence, X-VLA, ou SmolVLA, conçu par Hugging Face, qui exploitent des VLM pré-entraînés à l'échelle d'internet pour doter les robots de capacités de raisonnement multimodal. Le flow matching s'est imposé ces derniers mois comme alternative aux processus de diffusion standards pour générer des trajectoires d'action, mais restait coûteux en inférence du fait des multiples étapes de résolution ODE. L'article, encore un simple dépôt arXiv non revu par les pairs à ce stade, ne précise ni calendrier d'intégration industrielle ni partenariat annoncé avec un fabricant de robots, et ses résultats reposent sur un seul jeu de benchmarks simulés complété par des essais réels limités sur SmolVLA. La suite logique, non détaillée dans le résumé des auteurs, serait une validation sur des VLA plus volumineux ou multi-tâches et sur du matériel robotique commercial plus large que le seul Jetson AGX Orin utilisé pour les tests.

IA physiqueOpinion

1 source

4arXiv cs.RO

CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique

Un article publié sur arXiv (2608.30289v1) fin août 2026 présente CometVLA, un nouveau modèle vision-langage-action (VLA) pour la manipulation robotique. Le constat de départ : les jeux de données de question-réponse visuelle (VQA) physique sont désincarnés, mal alignés avec les données d'action réelles des robots, et les vidéos égocentriques ne servent qu'à un pré-entraînement auxiliaire, sans preuve claire que la compréhension physique du VLM améliore la génération d'actions en aval. Les auteurs construisent donc CometData et CometBench, un corpus et un benchmark de VQA physique alignés sur l'embodiment et les données d'action du robot, puis introduisent les "Global Action Prior" (GAP), des tokens formant un goulot d'étranglement appris qui isole les régularités de mouvement indépendantes de la tâche pour nourrir la tête d'action sans corrompre le backbone VLM pré-entraîné. Co-entraîné sur une "pyramide de données incarnées" (téléopération, simulation, trajectoires égocentriques, VQA), CometVLA surpasse de façon constante des baselines VLA solides sur des tâches de manipulation réelle et sur le simulateur RoboTwin. Le résultat clé est une corrélation directe entre les scores sur CometBench et le taux de succès en manipulation réelle : la compréhension physique du VLM se traduit en de meilleures actions, et non en un simple gain cosmétique sur des benchmarks de langage déconnectés du terrain. Pour les laboratoires et intégrateurs qui bâtissent des modèles fondation pour la manipulation, ce travail suggère que l'alignement strict entre données perception-langage et données d'action pèse plus lourd que le volume de VQA générique ajouté au pré-entraînement, une piste transposable à des architectures comme Pi-0, GR00T ou Helix. Ce travail prolonge la lignée des VLA qui, depuis RT-2 et OpenVLA, cherchent à fusionner compréhension visuelle et génération de mouvements, avec pour écueil récurrent la désynchronisation entre corpus de pré-entraînement et données de téléopération réelles. En s'appuyant sur RoboTwin, benchmark de simulation déjà établi pour la manipulation bimanuelle, et en publiant CometData et CometBench comme ressources réutilisables, les auteurs présentent CometVLA comme une contribution de recherche méthodologique, sans déploiement industriel, partenaire intégrateur ni date de mise sur le marché annoncés. La suite logique serait une extension à d'autres embodiments et une validation indépendante avant toute adoption commerciale.

IA physiqueActu

1 source