RecherchearXiv cs.RO 6 août 2026

BridgeVLA++ : un cadre vision-langage-action économe en données, généralisable et à mémoire augmentée pour la manipulation en 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

BridgeVLA++, une évolution du framework vision-langage-action (VLA) BridgeVLA pour la manipulation robotique en 3D, fait l'objet d'un nouveau papier de recherche publié sur arXiv (référence 2608.05042v1). La méthode d'origine projette les nuages de points en images multi-vues et prédit des cartes de chaleur intermédiaires avant de générer les actions du robot, en préservant l'alignement entrée-sortie d'un modèle vision-langage pré-entraîné afin de limiter le besoin en données d'entraînement. BridgeVLA++ y ajoute une architecture de mémoire spatio-temporelle unifiée, combinant contexte spatial persistant et historique des interactions, permettant au système de raisonner sur des séquences d'observations. Le framework a été testé en manipulation bimanuelle et validé sur une plateforme robotique réelle supplémentaire, en plus des benchmarks de simulation. Ni les auteurs, ni le laboratoire ou l'entreprise à l'origine des travaux, ni de chiffres de performance précis ne figurent dans le résumé ; les détails quantitatifs sont renvoyés vers le site du projet, bridgevla-plus.github.io.

Ce travail cible un point faible connu des modèles VLA en manipulation 3D : ils restent gourmands en données, généralisent mal face aux changements de distribution, et surtout n'ont aucune mémoire explicite des observations passées, un manque bloquant pour toute tâche multi-étapes comme éviter de re-saisir un objet déjà placé ou retrouver un objet temporairement occulté. Pour un intégrateur industriel évaluant une pile VLA sur des tâches séquentielles, suivre un état dans le temps sans reconstruire l'intégralité des données d'entraînement est un prérequis pratique plus qu'un raffinement académique. BridgeVLA++ ne démontre pas de déploiement en production, mais suggère qu'une mémoire structurée reste compatible avec l'efficacité en données déjà obtenue par les architectures VLA bâties sur des VLM pré-entraînés, un compromis rarement tenu dans la littérature récente.

Le framework prolonge directement les travaux antérieurs sur BridgeVLA, en conservant son passage par des cartes de chaleur intermédiaires plutôt qu'une régression directe d'actions. Il s'inscrit dans un paysage VLA de plus en plus dense, aux côtés de familles comme Pi-0 de Physical Intelligence, GR00T de Nvidia ou Helix de Figure, qui visent chacune à leur manière une politique généraliste robuste aux changements de contexte. Le résumé ne mentionne aucun calendrier de commercialisation ni de partenariat industriel : il s'agit à ce stade d'un travail de recherche, code et résultats détaillés étant promis sur le site dédié du projet. Reste à voir si les benchmarks memory-dépendent utilisés pour la validation seront repris par d'autres équipes pour vérifier objectivement les gains de généralisation annoncés.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données

Résumé des faits établis en trois paragraphes, sans traitement d'outil nécessaire ici. Une équipe de recherche présente CAAT (Contact-Aware Attention scaling and Tactile masking), un framework léger conçu pour améliorer les politiques d'apprentissage visuo-tactile dans la manipulation robotique impliquant des contacts physiques. Le principe repose sur deux mécanismes explicites : une pondération dynamique de l'attention qui privilégie les informations visuelles avant le contact et bascule vers les informations tactiles pendant le contact, ainsi qu'un masquage qui supprime les tokens tactiles statiques de fond en comparant l'observation courante à une référence sans contact. CAAT s'intègre directement aux politiques Transformer existantes sans modifier leur décodeur d'action. En simulation, son association avec ACT (Action Chunking Transformer) améliore le taux de réussite moyen de 18,0 points de pourcentage par rapport à une fusion visuo-tactile directe, et de 10,0 points par rapport à un gating appris classique. En conditions réelles, sur une plateforme UMI visuo-tactile, CAAT atteint un taux de réussite moyen de 60,0% combiné à trois architectures différentes, ACT, Diffusion Policy et $\pi0$ (Pi-0), dépassant la meilleure référence de 21,1 points en moyenne. Ce résultat s'attaque à un problème concret pour les intégrateurs et chercheurs en manipulation robotique: les politiques Transformer actuelles traitent le signal tactile de façon peu efficace, soit en le concaténant brutalement aux tokens visuels, soit via un gating appris qui manque de prior explicite sur la physique du contact. En injectant une connaissance a priori simple, mais structurante, sur le moment où le tactile devient pertinent, CAAT permet d'apprendre des représentations plus efficaces à partir de moins de démonstrations, un enjeu central pour la manipulation contact-riche (insertion, assemblage, préhension délicate) où les données d'entraînement réelles restent coûteuses à collecter. Le fait que le gain se maintienne à travers trois architectures de politique différentes, y compris un modèle VLA comme $\pi0$, suggère que le mécanisme est généralisable plutôt que spécifique à une architecture, ce qui renforce sa valeur pratique pour les équipes qui expérimentent déjà avec différents backbones de politique. Le travail s'inscrit dans la lignée des recherches sur la fusion multimodale pour la manipulation robotique, où l'intégration du tactile aux pipelines visuo-moteurs reste un chantier actif depuis l'essor des politiques basées sur l'imitation (ACT, Diffusion Policy) et plus récemment des modèles vision-langage-action comme $\pi_0$. Les auteurs positionnent CAAT comme une brique modulaire, "plug-and-play", plutôt qu'une nouvelle architecture de politique concurrente, ce qui facilite son adoption par des équipes déjà investies dans ACT ou Diffusion Policy. L'article, disponible sur arXiv (2608.01102v1) avec une page de projet dédiée, ne mentionne pas de déploiement industriel ni de partenariat commercial à ce stade: il s'agit d'un travail de recherche validé en simulation et sur un banc de test UMI en laboratoire, sans indication de calendrier vers une intégration produit.

RecherchePaper

1 source

2arXiv cs.RO

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu

1 source

3arXiv cs.RO

MALLVI : un cadre multi-agents pour la manipulation robotique généralisée et intégrée

Une équipe de chercheurs a publié MALLVI (Multi-Agent Large Language and Vision Interface), un framework d'orchestration multi-agents pour la manipulation robotique généraliste, dont la cinquième révision vient d'être déposée sur arXiv (2602.16898). Le système prend en entrée une instruction en langage naturel et une image de la scène, puis génère des actions atomiques exécutables pour un bras manipulateur. L'architecture coordonne quatre agents spécialisés: un Decomposer chargé de découper la tâche en sous-étapes, un Localizer pour la détection et la localisation visuelle, un Thinker pour le raisonnement et la planification de haut niveau, et un Reflector dédié à la détection d'erreurs et à la récupération ciblée. Un cinquième agent optionnel, le Descriptor, maintient une mémoire visuelle de l'état initial de l'environnement. La boucle fermée est pilotée par un modèle de vision-langage (VLM) qui évalue les retours environnementaux après chaque action et décide si l'étape doit être rejouée ou si le robot peut passer à la suivante. Les expériences en simulation et en environnement réel indiquent des gains de taux de réussite sur des tâches de manipulation zero-shot par rapport aux approches classiques en boucle ouverte. Ce que MALLVI cherche à résoudre est un problème structurel bien documenté de la manipulation pilotée par LLM: les systèmes open-loop, qui n'interrogent pas l'état réel du monde après chaque action, accumulent les erreurs sans possibilité de correction en cours d'exécution. L'apport du Reflector est notable sur ce point, puisque plutôt que de déclencher une replanification complète en cas d'échec, il identifie les agents pertinents à réactiver, limitant la latence et la consommation de tokens. Pour les intégrateurs et les équipes R&D, l'intérêt réside dans la capacité zero-shot du système, sans fine-tuning ni prompt engineering spécifique à chaque tâche. Toutefois, les métriques de taux de succès restent difficiles à contextualiser faute d'indications précises sur le nombre de DOF du bras utilisé, la complexité des scènes de test, ou les conditions d'occultation. Le framework s'inscrit dans un courant très actif depuis 2023 autour de l'utilisation des grands modèles pour la planification robotique, avec des travaux fondateurs comme SayCan (Google DeepMind) et Code-as-Policies, et des architectures VLA (Vision-Language-Action) récentes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. La spécificité de MALLVI est son découpage en agents modulaires plutôt qu'un modèle monolithique, une approche qui facilite le débogage et la spécialisation par composant. Le code source est disponible publiquement sur GitHub (iman1234ahmadi/MALLVI). Aucun partenariat industriel ni déploiement commercial n'est annoncé à ce stade, ce qui en fait pour l'instant une contribution académique à suivre davantage qu'un produit opérationnel.

RechercheOpinion

1 source

4arXiv cs.RO

GSAM : un cadre robotique sûr et généralisable pour la manipulation d'objets articulés

Des chercheurs ont publié sur arXiv (référence 2605.30740) GSAM, un framework conçu pour la manipulation d'objets articulés (tiroirs, portes, robinets) par des robots de service. Le système combine quatre modules : un percepteur visuel qui extrait les paramètres cinématiques (axe de rotation, amplitude de mouvement), un raffineur basé sur un VLM fine-tuné utilisant le raisonnement par chaîne-de-pensée (CoT) pour corriger les estimations brutes, un générateur de contraintes d'interaction qui encode la géométrie de l'objet et l'évitement d'obstacles, et un planificateur cinématique qui vérifie l'atteignabilité avant exécution. Sur 50 tâches de type charnière réparties en 5 catégories d'objets et 50 configurations initiales aléatoires de l'effecteur, GSAM améliore le taux de succès de 36,0 % par rapport à la meilleure baseline existante, avec une réduction de l'écart-type de 3,1 % indiquant une meilleure consistance comportementale. Ce résultat s'attaque directement au fossé démo-réalité sur une sous-tâche souvent ignorée : les interactions avec des objets mécaniquement contraints impliquent des trajectoires curvilignes et une compréhension de la géométrie interne que ni les politiques end-to-end entraînées en simulation ni les planificateurs purement visuels ne gèrent correctement. L'usage du raisonnement CoT pour corriger des estimations cinématiques erronées plutôt que pour générer un plan de haut niveau constitue un usage pragmatique et inhabituel des VLM en robotique. Pour les intégrateurs sur des robots de service industriels ou hospitaliers, la réduction des collisions destructrices a une valeur opérationnelle directe : forcer mécaniquement un joint en production est un incident matériel, pas une métrique abstraite. Le problème de manipulation articulée est étudié depuis plusieurs années dans des équipes comme Stanford (projet Where2Act, 2021), ETH Zurich et CMU. Les approches concurrentes comprennent les frameworks VLA tels que pi0 (Physical Intelligence) ou OpenVLA, ainsi que les méthodes de perception articulée comme PARIS ou CatGrasp. GSAM se distingue en combinant explicitement un LLM pour la génération de contraintes et un VLM pour la perception raffinée, plutôt qu'une politique implicite entraînée bout-en-bout. Le travail reste un preprint arXiv non soumis à une conférence majeure (ICRA, IROS, CoRL) : les gains annoncés sont encourageants mais nécessitent une validation sur robot physique en conditions non contrôlées.

RecherchePaper

1 source