Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique
RecherchearXiv cs.RO 

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel.

Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles.

Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0Manipulation robotique

À lire aussi

Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo
1arXiv cs.RO 

Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo

Une équipe de recherche du HCP Lab de l'Université Sun Yat-sen (SYSU), en Chine, a publié la version 2 d'un article arXiv (2604.12908) proposant un nouveau modèle baptisé VGA, pour Vision-Geometry-Action. La thèse centrale : la manipulation robotique est fondamentalement un problème de correspondance entre vision et géométrie (f(v) → G), puisque les actions physiques reposent sur des positions 3D et des relations spatiales précises. Plutôt que de bâtir le contrôle sur des modèles vision-langage (VLA) ou vidéo, comme le font la plupart des systèmes actuels, VGA remplace ce socle par un modèle du monde 3D préentraîné, auquel s'ajoute une méthode nommée Progressive Volumetric Modulation et un entraînement conjoint de la génération d'actions et de la prédiction de propriétés 3D, pour préserver la cohérence géométrique. En simulation, VGA dépasse plusieurs références de l'état de l'art : pi-0.5, OpenVLA-OFT, GeoVLA et Motus. En conditions réelles, il surpasse pi-0.5 sur des points de vue inédits et suit correctement des instructions en langage naturel pour saisir des objets cibles. L'enjeu dépasse la simple compétition de benchmarks : ce travail interroge un présupposé dominant du secteur, à savoir que les grands modèles vision-langage-action, popularisés par des systèmes comme pi-0 ou GR00T N2, constituent la voie la plus prometteuse vers une intelligence physique généralisable. En montrant que des représentations 3D natives, plutôt que des priors sémantiques 2D hérités du texte-image, améliorent la précision géométrique des saisies, l'étude fournit un argument concret pour les intégrateurs et laboratoires qui évaluent quel type de backbone privilégier dans leurs futures piles logicielles de manipulation. Ce résultat s'inscrit dans une compétition architecturale plus large entre approches VLA classiques, modèles vidéo prédictifs et approches 3D-VLA, incluant des systèmes comme GeoVLA et Motus déjà cités comme références de comparaison. Il s'agit à ce stade d'un article de recherche évalué en simulation et sur un nombre limité de déploiements réels en laboratoire, assorti d'une page projet dédiée, et non d'un produit commercial ou d'un déploiement industriel à grande échelle.

RechercheOpinion
1 source
GaussianWAM : distiller la géométrie et la sémantique des champs gaussiens 3D en modèles monde-action
2arXiv cs.RO 

GaussianWAM : distiller la géométrie et la sémantique des champs gaussiens 3D en modèles monde-action

Un article publié sur arXiv (2608.24714) présente GaussianWAM, une méthode d'entraînement qui renforce les World-Action Models (WAM), des architectures qui apprennent conjointement à prédire les images futures et à générer des actions robotiques à partir de la dynamique vidéo. À partir d'observations multi-vues synchronisées, des modèles de fondation gelés fournissent profondeur, paramètres de caméra et caractéristiques sémantiques denses, reliés à des primitives de champ Gaussien 3D communes puis distillés dans les représentations du WAM ; tous les composants auxiliaires sont retirés après l'entraînement, sans changement du chemin d'inférence. Sur le benchmark LIBERO-Plus, GaussianWAM fait passer le taux de réussite de FastWAM de 52,05% à 71,29%, et celui de Cosmos Policy de 71,52% à 77,30%. Une base combinant distillation CLIP et VGGT atteint déjà 69,37%, portée à 71,29% par l'unification via champ Gaussien. Des gains sont aussi rapportés sur LIBERO standard, avec des tendances de transfert positives sur RoboTwin et en manipulation réelle. Ce résultat cible une limite connue des WAM : leurs représentations vidéo, optimisées pour la prédiction visuelle, ne captent pas explicitement la structure géométrique inter-vues ni la sémantique localisée des objets manipulés, ce qui plafonne la précision en manipulation fine. Un gain de près de 20 points sur FastWAM sans modifier l'architecture de déploiement ni ajouter de calcul à l'inférence suggère que l'écart entre politiques généralistes de type VLA et politiques spécialisées peut se combler par un enrichissement de la supervision à l'entraînement plutôt que par des modèles plus lourds au runtime, un point clé pour les intégrateurs évaluant des systèmes comme Pi-0, GR00T N2 ou Helix sur des tâches industrielles à budget de calcul limité. GaussianWAM s'inscrit dans les travaux récents combinant modèles de fondation en vision (CLIP, VGGT) et représentations 3D explicites pour améliorer l'apprentissage de politiques robotiques, face aux World-Action Models comme Cosmos et aux architectures FastWAM utilisées ici comme références. L'évaluation combine des benchmarks de simulation établis (LIBERO, LIBERO-Plus, RoboTwin) avec de premiers essais en manipulation réelle, une combinaison encore rare dans la littérature que les auteurs avancent pour appuyer la généralité de la méthode au-delà de la simulation. Le papier ne mentionne aucun partenariat industriel ni plan de commercialisation : il s'agit à ce stade d'une contribution de recherche, sans indication de code source ouvert ni de calendrier de suite.

RecherchePaper
1 source
Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique
3arXiv cs.RO 

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu
1 source
4arXiv cs.RO 

FLARE : un cadre conscient des échecs pour la correction et la récupération autonomes en manipulation robotique vision-langage

Des chercheurs proposent FLARE (Failure-Aware framework for Autonomous Correction and Recovery), publié sur arXiv sous la référence 2608.26645v1, une méthode destinée aux modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le système repose sur deux mécanismes complémentaires baptisés « Retry » et « Reset ». Le mécanisme Retry injecte des perturbations et des segments de transition dans les démonstrations d'entraînement, en dissociant la pose du robot de l'état de l'environnement, afin que la politique apprenne à gérer seule les écarts d'exécution mineurs comme une prise ratée ou un objet qui glisse. Le pipeline Reset s'attaque aux échecs plus graves, dits hors distribution (OOD), qui rompent l'état de la tâche : un grand modèle multimodal (MLLM) analyse hors ligne des vidéos d'exécution pour repérer automatiquement ces états OOD, ce qui permet de constituer une petite bibliothèque ciblée de compétences de récupération centrées sur les objets. En inférence, un moniteur MLLM en ligne arbitre en temps réel entre poursuite de la tâche et déclenchement d'une compétence Reset. Les auteurs annoncent des gains de taux de réussite et de robustesse sur des tâches de manipulation complexes et riches en contacts, sans toutefois détailler dans le résumé les chiffres précis ni la plateforme robotique testée. L'enjeu touche un point faible connu des VLA : entraînés sur des démonstrations « parfaites », sans échec, ils peinent souvent à se rattraper en conditions réelles, un écart classique entre démonstration et déploiement. Pour les intégrateurs et les équipes robotique industrielles, la capacité à détecter et corriger automatiquement une erreur d'exécution, sans intervention humaine ni réinitialisation manuelle du poste de travail, conditionne directement la viabilité de cellules de manipulation autonomes en production. FLARE s'inscrit dans une tendance de recherche qui cherche à combler l'écart entre les démonstrations vidéo souvent présentées par les laboratoires et la réalité d'une ligne de production où objets glissent, collisions surviennent et préhenseurs ratent leur prise. Le travail s'inscrit dans la lignée des modèles VLA génériques récemment mis en avant dans le secteur, comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser la manipulation à partir d'un apprentissage à grande échelle mais partagent la même limite de données d'entraînement sans échec. FLARE reste à ce stade une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel ni de partenariat commercial associé ; sa validation repose sur des expériences en laboratoire, et son adoption dépendra de tests indépendants et d'une éventuelle intégration dans des piles logicielles de manipulation existantes.

RechercheActu
1 source