RecherchearXiv cs.RO 29 juillet 2026

SAM3D pour aligner les représentations centrées sur l'objet dans les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Cette recherche présente un cadre d'alignement de représentations 3D centré sur l'objet, appliqué au modèle vision-langage-action (VLA) $\pi0$. Les auteurs utilisent SAM3D, un modèle 3D figé servant de "professeur", pour injecter des connaissances géométriques sur les objets cibles pendant l'entraînement : les objets pertinents pour la tâche sont localisés via des modèles de reconnaissance, des masques sont générés, puis SAM3D en extrait des représentations 3D denses alignées avec les caractéristiques visuelles intermédiaires de $\pi0$. Fait notable, ce module 3D n'intervient qu'à l'entraînement : au moment de l'inférence, le pipeline reste purement RGB-langage-vers-action, sans besoin de profondeur, nuage de points, masques ou calculs SAM3D supplémentaires. Les résultats en simulation atteignent 99,1% de réussite sur le benchmark LIBERO et une longueur moyenne de tâches de 4,11 sur CALVIN, avec des gains confirmés en conditions réelles, notamment sur des scénarios de manipulation longue durée impliquant plusieurs sous-tâches et objets cibles différents.

L'enjeu pour l'industrie robotique est la résolution d'un point faible connu des modèles VLA actuels : leur dépendance à des backbones vision-langage 2D qui peinent face à l'occlusion, aux variations de pose ou d'échelle, et aux interactions spatiales précises. En démontrant qu'on peut internaliser une compréhension 3D fine sans alourdir le pipeline de déploiement, ce travail répond à une critique récurrente du secteur : les architectures VLA génériques marchent bien en démo contrôlée mais échouent sur des tâches de manipulation fine en conditions réelles. Pour les intégrateurs et décideurs B2B, cela suggère une voie pour améliorer la robustesse des politiques de manipulation sans complexifier ni ralentir le matériel embarqué, un compromis critique pour le déploiement industriel à grande échelle de bras robotiques et de robots humanoïdes.

Ce travail s'inscrit dans la lignée des modèles VLA construits sur $\pi_0$ (Physical Intelligence), déjà positionné comme concurrent direct des approches comme GR00T N2 de NVIDIA ou Helix de Figure AI dans la course à des politiques de manipulation généralistes. L'apport spécifique ici est méthodologique plutôt qu'un nouveau produit ou déploiement terrain : il s'agit d'une technique d'entraînement, testée pour l'instant en simulation (LIBERO, CALVIN) et en expérimentations réelles limitées, sans annonce de déploiement commercial ni de partenariat industriel. Les prochaines étapes attendues porteraient sur l'extension à d'autres backbones VLA et sur la validation à plus grande échelle en environnement réel, au-delà des bancs d'essai académiques actuels.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

LARA : alignement des représentations d'actions latentes pour les modèles vision-langage-action

Une équipe de recherche propose LARA (Latent Action Representation Alignment), un framework qui entraîne conjointement deux composants jusqu'ici séparés dans les modèles vision-langage-action (VLA) : le modèle d'action latente (LAM), qui apprend des représentations d'actions à partir de vidéos non annotées, et le modèle VLA lui-même. Jusqu'à présent, ces deux briques étaient optimisées indépendamment, ce qui limitait leurs bénéfices mutuels : le LAM restait déconnecté du contexte robotique réel, et le VLA était contraint par des représentations figées, sans possibilité d'ajustement. LARA aligne les deux via un mécanisme de représentation partagée, permettant au LAM d'apprendre à partir de trajectoires d'actions réelles pour éviter de capter de simples changements visuels sans pertinence (comme un déplacement de caméra), tandis que le VLA est régularisé par la dynamique prédictive du LAM pour réduire les hallucinations de trajectoires inefficaces. Les auteurs rapportent des gains moyens d'environ 10% en pré-entraînement, 5% en amélioration post-entraînement de modèles VLA déjà entraînés, et 15% en affinage du LAM seul, mesurés sur trois benchmarks de manipulation en simulation et un benchmark réel conçu spécifiquement pour l'évaluation. L'enjeu pour le secteur est la dépendance chronique des VLA à des jeux de données robotiques réels, coûteux et rares à grande échelle. Exploiter des vidéos humaines non étiquetées comme source de supervision, sans perdre en fiabilité, est une piste suivie par plusieurs laboratoires travaillant sur des modèles comme GR00T N2 ou Pi-0. Ce que suggère LARA, c'est que le goulot d'étranglement n'est pas seulement la quantité de données vidéo disponibles, mais la façon dont les représentations d'action apprises restent ou non ancrées dans la réalité physique du robot pendant l'entraînement conjoint. L'approche s'inscrit dans la lignée des travaux sur les Latent Action Models, qui cherchent depuis plusieurs années à combler l'écart entre l'abondance de vidéos web et la rareté des démonstrations robotiques annotées. Contrairement à une annonce produit, il s'agit ici d'un travail académique (version 2 d'un article déposé sur arXiv), sans déploiement industriel annoncé ni calendrier de commercialisation ; sa portée dépendra de sa reproductibilité et de son adoption par les équipes développant des VLA en conditions réelles.

RecherchePaper

1 source

2arXiv cs.RO

Lost dans la reconstruction : aligner les représentations d'action et le langage dans les modèles vision-langage-action

Un article publié le 12 août 2026 sur arXiv (2608.10484) s'attaque à la tokenisation des trajectoires de mouvement dans les modèles vision-langage-action, ou VLA. Sur le jeu de données BridgeV2, les auteurs montrent que ces trajectoires portent des informations liées au sens des verbes d'instruction, au-delà des simples changements d'état visuel, et que les tokenizers classiques, entraînés à reconstruire le geste via des pertes L1/L2, effacent systématiquement cette information linguistique. Leur méthode, baptisée SALT pour Semantically ALigned action Tokenizer, ajoute à un tokenizer de type VQ-VAE un objectif auxiliaire: un modèle vision-langage figé doit retrouver l'instruction textuelle de l'épisode à partir des seuls latents d'action quantifiés. Sur le benchmark de simulation SimplerEnv, les politiques entraînées avec SALT atteignent 71,9% de réussite moyenne, contre 42,7% pour un VQ-VAE classique et 31,2% pour FAST. Ce résultat touche un choix de conception central pour toute la famille des VLA, celle qui sous-tend des systèmes comme Pi-0, GR00T ou Helix: comment découper des actions continues en tokens discrets avant l'entraînement. Jusqu'ici, la priorité allait à la fidélité de reconstruction du geste, sous l'hypothèse que minimiser l'erreur numérique suffisait à préserver le sens de l'instruction en langage naturel. L'écart de près de 30 points entre SALT et un VQ-VAE standard suggère qu'une part importante du sens se perd dès la tokenisation, indépendamment de la taille du modèle ou du volume de données. Pour les équipes qui construisent des politiques de contrôle conditionnées par le langage, obtenir un tel gain par un simple changement d'objectif d'entraînement du tokenizer, sans toucher à l'architecture principale, constitue un signal fort. Le travail s'inscrit dans le débat sur la tokenisation des actions robotiques, partagé entre les tokenizers de reconstruction type VQ-VAE et des approches comme FAST, développée par Physical Intelligence et utilisée dans la lignée Pi-0. SALT s'en distingue en conservant la fidélité de reconstruction tout en développant des codes discrets spécialisés par verbe d'action. Publié comme nouvelle soumission arXiv, le travail est validé uniquement en simulation via SimplerEnv, sans démonstration sur robot physique, laissant ouverte la question du transfert sim-to-real.

UEAucun acteur ni deploiement francais/europeen n'est implique; il s'agit d'un resultat de recherche generique pouvant interesser les equipes europeennes travaillant sur des modeles VLA.

RechercheOpinion

1 source

3arXiv cs.RO

Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action

Des chercheurs présentent Temporal Forcing, une méthode d'alignement de représentation 4D pour les modèles vision-langage-action (VLA), détaillée dans un article publié sur arXiv (2608.30643v1) le 30 août 2026 ou aux alentours. Le système ajoute une voie dédiée à l'historique des observations, permettant à un modèle VLA standard de condenser cet historique en représentations latentes tenant compte du temps. Ces représentations sont ensuite alignées avec les caractéristiques géométriques extraites par un modèle de fondation 4D préentraîné, capable de capturer l'évolution d'une scène 3D dans le temps de façon géométriquement cohérente. Sur le benchmark LIBERO, Temporal Forcing atteint un taux de réussite de 98,8%, soit 2,2 points de plus que son modèle de base. Sur une tâche physique de placement d'objet caché ("hidden-placement"), le taux de réussite complet de la tâche passe de 20,0% à 43,3%. Le code source doit être rendu public, sans date de disponibilité précisée dans l'article. Cette avancée cible un problème connu des VLA actuels: la confusion entre états visuellement similaires (observation aliasing) et la difficulté à gérer des manipulations longues, deux limites qui découlent du fait que les représentations 3D classiques ne capturent qu'un instant figé de la scène, sans mémoire de son évolution. En démontrant qu'ajouter une dimension temporelle à l'alignement géométrique améliore concrètement le taux de succès sur une tâche physique réelle, et pas seulement en simulation, ces résultats nuancent l'idée que l'alignement 3D seul suffirait à rapprocher les VLA d'une robustesse proche de l'humain. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'exploiter des modèles de fondation 4D préentraînés peut devenir un ingrédient standard pour améliorer la mémoire de contexte des politiques d'action, sans changer l'architecture de base du modèle VLA. Ce travail s'inscrit dans la lignée des méthodes récentes de VLA qui alignent leurs représentations internes sur la géométrie de scène 3D pour améliorer la manipulation, une approche qui a gagné du terrain mais bute sur les tâches à long horizon. Temporal Forcing se positionne comme une extension de ces approches géométriques plutôt qu'une rupture architecturale, en s'appuyant sur un modèle de fondation 4D externe déjà entraîné. Les auteurs annoncent la publication future du code, ce qui permettra à la communauté de valider les résultats sur d'autres benchmarks que LIBERO et la tâche physique testée, mais aucun calendrier de déploiement industriel ni de partenariat n'est mentionné à ce stade.

RechercheActu

1 source

4arXiv cs.RO

Mind-VLA : alignement de la représentation spatiale guidé par les instructions pour les modèles vision-langage-action

Publiée le 4 août 2026 sur arXiv (2608.04633), une méthode baptisée Mind-VLA corrige un défaut des modèles vision-langage-action (VLA) en robotique: les approches existantes alignent leur représentation avec la géométrie 3D de toute la scène de façon uniforme, sans isoler l'objet désigné par l'instruction, d'où des échecs en manipulation fine ou en cas d'occlusion. Mind-VLA identifie d'abord cet objet cible, en génère une vue à trois angles, en extrait des caractéristiques VAE et VGGT, puis aligne la représentation latente du modèle dessus. Avec un backbone compact de 345 millions de paramètres, le système atteint 93,9% de réussite sur LIBERO, 4,47 sur CALVIN, et 54% de succès moyen sur robot réel en situation d'occlusion, soit 32 points de plus que la meilleure méthode instruction-agnostique comparée. Le code sera publié en open source. Le résultat vise un problème concret pour les intégrateurs déployant bras manipulateurs ou humanoïdes: les démonstrations de laboratoire s'effondrent souvent dès que l'objet à saisir est partiellement caché par un carton, une pièce voisine ou l'angle de la caméra. En conditionnant la représentation 3D sur l'objet réellement visé plutôt que sur la scène entière, Mind-VLA cible directement l'écart entre démo et réalité industrielle. Le gain de 32 points obtenu sur robot réel, pas seulement en simulation, compte dans un domaine où les progrès annoncés reposent souvent sur des vidéos sélectionnées ou des métriques peu transposables. Mind-VLA s'inscrit dans la lignée des travaux sur l'alignement géométrique des VLA, qui injectent une compréhension 3D explicite dans des modèles entraînés sur images et texte, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, sans qu'aucun ne cible spécifiquement l'objet d'intérêt. Le résumé ne nomme pas la méthode instruction-agnostique servant de référence, ce qui invite à la prudence tant que l'article complet et le code promis ne sont pas vérifiables. La piste, aligner la représentation sur l'objet désigné plutôt que sur toute la scène, devrait néanmoins intéresser d'autres laboratoires travaillant sur la manipulation fine.

RechercheOpinion

1 source