Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Lift3D-VLA : élever les modèles VLA vers une manipulation intégrant géométrie 3D et dynamique
RecherchearXiv cs.RO 

Lift3D-VLA : élever les modèles VLA vers une manipulation intégrant géométrie 3D et dynamique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent Lift3D-VLA, un nouveau framework de type Vision-Language-Action (VLA) qui intègre un raisonnement 3D explicite pour la manipulation robotique. Construit sur leurs travaux antérieurs Lift3D, le système utilise une stratégie de projection 2D-vers-3D qui aligne géométriquement les nuages de points avec les embeddings positionnels 2D déjà pré-entraînés, ce qui permet d'encoder directement les données de profondeur dans l'encodeur visuel du modèle sans perte d'information spatiale. Les auteurs y ajoutent un module baptisé GC-MAE (Geometry-Centric Masked Autoencoding), qui apprend simultanément à reconstruire le nuage de points courant et à prédire son évolution géométrique future, ainsi qu'un mécanisme de modélisation temporelle des actions réparti sur plusieurs couches du modèle de langage, pour générer des séquences de gestes cohérentes dans le temps. Testé sur 22 tâches simulées et 8 tâches de manipulation réelles, Lift3D-VLA affiche des taux de réussite supérieurs de 10,8 points sur le benchmark MetaWorld et 11,1 points sur RLBench par rapport aux meilleures méthodes VLA existantes, avec un gain de 4 points de pourcentage face à la référence la plus solide en conditions réelles.

Ce résultat s'attaque à un angle mort connu des modèles VLA actuels: la plupart raisonnent en 2D et peinent à capturer la géométrie et la dynamique physique des scènes, ce qui limite leur capacité à généraliser hors des conditions d'entraînement, un problème central pour tout déploiement industriel de bras robotiques ou d'humanoïdes. En démontrant une meilleure robustesse face aux perturbations hors distribution, les travaux apportent un argument concret dans le débat sur la viabilité des architectures VLA à grande échelle, plutôt qu'une simple promesse marketing.

Le papier s'inscrit dans la lignée directe de Lift3D, projet antérieur des mêmes auteurs sur l'encodage 3D pour la robotique, et vient enrichir un champ de recherche déjà occupé par des modèles VLA généralistes comme GR00T N2, Pi-0 ou Helix. Publié sur arXiv comme prépublication, sans affiliation industrielle ni annonce de déploiement, Lift3D-VLA reste à ce stade une contribution académique dont l'impact réel dépendra de son adoption par les acteurs commerciaux du secteur.

Dans nos dossiers

NVIDIA GR00TManipulation robotiquearXiv cs.RO

À lire aussi

MVG-WAM : modélisation monde-action intégrant la géométrie multi-vues pour la manipulation robotique
1arXiv cs.RO 

MVG-WAM : modélisation monde-action intégrant la géométrie multi-vues pour la manipulation robotique

Des chercheurs publient MVG-WAM (Multi-View Geometry-Aware World-Action Model), un modèle monde-action pour la manipulation robotique, décrit dans le preprint arXiv 2609.37793. Il repose sur un modèle vidéo pré-entraîné qui prédit à la fois la dynamique visuelle et les actions. Le modèle atteint 99,1 % de réussite moyenne sur LIBERO et 92,07 % sur RoboTwin 2.0. En conditions réelles, il obtient 91,3 % de succès sur 150 essais répartis sur trois tâches, avec la plateforme bimanuelle Cobot Magic. Le résumé ne détaille ni les tâches, ni le nombre d'essais par tâche, ni la comparaison avec des modèles concurrents. Il ne s'agit ni d'un produit ni d'un déploiement, mais d'un résultat de recherche. Les World-Action Models (WAM) exploitent les connaissances visuelles des modèles vidéo pour piloter des bras robotiques. Leur point faible est l'interface multi-caméras. Les images synchronisées sont en général juxtaposées en mosaïque, ou leurs tokens sont concaténés. Les relations géométriques entre caméras restent donc implicites, ce qui complique le lien entre le contexte global de la scène et la géométrie locale nécessaire au contact. MVG-WAM traite les vues comme des projections d'un même monde physique. Il combine un état global contraint par la géométrie épipolaire avec des états géométriques propres à chaque vue. Un routage sensible aux caméras fournit à chaque région vidéo son contexte géométrique et l'état global partagé. Le modèle est aussi ancré à l'échelle métrique par une supervision de profondeur future à plusieurs horizons, sans décodage de profondeur pendant l'exécution des actions. Le coût d'inférence n'augmente donc pas. Ces résultats situent MVG-WAM dans la course aux politiques généralistes issues de modèles vidéo, face aux VLA (vision-langage-action) comme Pi-0 ou GR00T. Il faut relativiser les scores. LIBERO est quasi saturé, avec des performances proches de 99 % pour plusieurs méthodes, et il discrimine donc peu. RoboTwin 2.0 est un benchmark de simulation bimanuelle plus exigeant. Le test réel de 150 essais reste modeste, sur un seul robot, et sans détail sur les conditions ni les échecs. L'écart entre benchmark et terrain n'est donc pas mesuré. Pour les intégrateurs, l'intérêt est ailleurs. Les configurations multi-caméras sont la norme en atelier, et une représentation qui exploite explicitement la calibration pourrait améliorer la précision sans capteurs supplémentaires. Reste à savoir si le gain se confirme sur des scènes non vues et des cadences industrielles. Ce travail prolonge la vague des modèles monde-action, qui greffent la prédiction vidéo sur le contrôle robotique, en parallèle des VLA fondés sur des modèles vision-langage. Ces deux approches se disputent la position de fondation pour la manipulation. Le preprint n'annonce ni code, ni calendrier, ni pilote industriel, et n'a pas été relu par des pairs. La suite logique serait une évaluation sur d'autres plateformes, des tâches plus longues et des comparaisons directes avec les VLA et WAM de référence.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)
2arXiv cs.RO 

IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)

Des chercheurs présentent PhysMani, un framework qui couple un modèle du monde en Gaussiennes 3D fondé sur la physique avec un modèle de politique d'action anticipatif, pour la manipulation d'objets rapides et dynamiques en environnement 3D non structuré. Le modèle du monde apprend un champ de vitesse gaussien à divergence nulle par optimisation en ligne, ce qui permet une prédiction rapide et physiquement cohérente de la dynamique future de la scène. Le modèle de politique intègre ensuite ces prédictions via un module d'attention croisée à base de tokens appris. Les auteurs introduisent également PhysMani-Bench, un nouveau benchmark de manipulation dynamique composé de 16 tâches, et rapportent un taux de réussite supérieur à des baselines solides, aussi bien en simulation que lors d'expériences avec un robot réel. Le papier, publié sur arXiv (2607.01938), ne précise ni la plateforme robotique utilisée ni de métriques chiffrées exactes (taux de réussite, temps de cycle, charge utile), ce qui en fait à ce stade une contribution de recherche plutôt qu'un produit ou un déploiement commercial. Pour l'industrie robotique, ce travail s'attaque à un point faible connu des modèles vision-langage-action (VLA) et des world models existants: leur difficulté à représenter une géométrie 3D précise et à anticiper une dynamique physiquement plausible pour des objets en mouvement rapide. La manipulation de cibles dynamiques, objets qui tombent, glissent ou sont lancés, reste l'un des angles morts des démonstrations actuelles de bras robotiques et d'humanoïdes, la plupart des systèmes généralistes étant surtout validés sur de la manipulation quasi statique. Si les résultats de PhysMani se confirment au-delà du cadre académique, cela ouvrirait une piste pour réduire l'écart entre démonstration en laboratoire et usage réel en logistique ou en industrie, où la prise d'objets en mouvement est fréquente sur convoyeur ou en tri à cadence élevée. Mais tant que l'étude reste limitée à un benchmark maison et sans comparaison indépendante, il s'agit d'une preuve de concept à confirmer, pas d'une solution prête à intégrer. Ce travail s'inscrit dans la lignée des world models 3D construits sur des représentations en Gaussiennes, une technique héritée du rendu de scènes et de plus en plus utilisée en robotique pour modéliser des environnements denses. Ces approches se positionnent face aux modèles VLA de bout en bout entraînés sur de larges corpus de démonstrations, popularisés par des acteurs comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T N2, ainsi qu'aux world models déjà exploités par d'autres équipes de recherche en manipulation. Aucun partenaire industriel ni acteur français ou européen n'est mentionné dans l'abstract. La suite logique pour les auteurs serait d'étendre le benchmark, de tester la méthode sur des plateformes robotiques variées, et de la comparer directement aux VLA généralistes pour situer PhysMani face aux solutions déjà commercialisées.

RechercheOpinion
1 source
MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)
3arXiv cs.RO 

MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)

Un preprint déposé sur arXiv le 9 juin 2026 (arXiv:2606.08288) introduit MotionVLA, une interface de mémoire motrice conçue pour améliorer les modèles vision-language-action appliqués à la manipulation robotique longue portée. Le principe : plutôt qu'alimenter le modèle avec une séquence d'images passées traitées indépendamment, MotionVLA convertit une courte fenêtre vidéo récente en tokens de champ de trajectoire (trajectory-field tokens), compacts et temporellement continus. Ces tokens encodent le mouvement cohérent entre les observations, et les tokens visuels courants les interrogent pour extraire les informations de mouvement pertinentes à la tâche en cours. Le tout est réinjecté dans le flux VLA via une supervision ancrée sur les trajectoires. Les auteurs rapportent des améliorations sur des benchmarks de simulation ainsi que des essais préliminaires sur robot réel, avec des exécutions décrites comme plus fluides et plus directes. L'enjeu est théorique, mais les implications pratiques sont directes. Les VLA actuels -- pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure) -- cherchent à résoudre l'ambiguïté des tâches longues en injectant toujours plus de contexte : historique d'images, profondeur, features 4D. L'hypothèse implicite est "plus de contexte spatio-temporel équivaut à une meilleure politique". MotionVLA conteste cette hypothèse : un contexte incohérent en termes de mouvement introduit de la dérive géométrique, des indices temporels fragmentés et une génération d'actions instable. Reformuler la mémoire comme un champ de mouvement plutôt que comme un empilement de frames résout le problème à la source, ce qui intéresse directement les équipes cherchant à stabiliser des VLA en déploiement industriel sans exploser le budget de calcul. Ce travail s'inscrit dans une course intense à l'architecture VLA optimale. Les approches concurrentes incluent les modèles à base de profondeur (SpatialVLA), de features 4D (CogACT), ou de diffusion de trajectoires (pi-0). MotionVLA se rapproche davantage des travaux sur le flot optique dense et les représentations de mouvement continu. Deux mises en garde s'imposent : les résultats sur robot réel sont explicitement qualifiés de "préliminaires" par les auteurs, et aucun chiffre de benchmark précis n'est disponible dans la publication actuelle. À ce stade, il s'agit d'une contribution de recherche, non d'un produit industrialisé ni d'une démonstration validée à l'échelle.

RechercheOpinion
1 source
DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques
4arXiv cs.RO 

DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques

DynamicVLA est un modèle vision-langage-action (VLA) de 0,4 milliard de paramètres, conçu pour manipuler des objets en mouvement. Il s'appuie sur un encodeur visuel convolutif, choisi pour réduire la latence d'inférence. Un calendrier d'inférence continue fait chevaucher le raisonnement et l'exécution, ce qui rend le contrôle non bloquant. Un mécanisme baptisé Latent-aware Action Streaming écarte le début de chaque séquence d'actions prédite, devenu invalide à cause de la latence, et n'exécute que la fin encore valide. Les auteurs publient aussi le benchmark Dynamic Object Manipulation (DOM). Un pipeline de collecte automatisé y rassemble 200 000 épisodes synthétiques, répartis sur 2 800 scènes et 206 objets. Il a aussi permis de recueillir 2 000 épisodes réels sans téléopération. Le texte, publié sur arXiv en version 2 (2601.22153), est un article de recherche. Il ne décrit ni produit commercialisé ni déploiement industriel. Les résultats sont rapportés en simulation et sur robots réels. Le résumé ne donne ni taux de succès chiffrés ni plateforme robotique précise. Le problème visé est structurel pour les VLA. Ces modèles généralisent bien en manipulation statique, mais l'inférence prend du temps et l'objet continue de bouger pendant ce calcul. L'action prédite à partir d'une observation passée est donc périmée au moment où le robot l'exécute. Pour un intégrateur, cela touche les cas où la scène ne s'arrête pas pour le robot. C'est le cas des convoyeurs en mouvement, du tri à la volée ou des objets passés de main en main. La solution s'attaque à la latence plutôt qu'à la taille du modèle. Un modèle de 0,4 milliard de paramètres reste exécutable sur du matériel embarqué, contrairement aux grands VLA. L'alignement entre le temps de la prédiction et celui de l'action devient ainsi un critère de conception à part entière. Le choix de collecter des données réelles sans téléopération réduit aussi un coût important de la robotique d'apprentissage. Il faut toutefois attendre les chiffres détaillés. Les gains annoncés (mouvements variables, instructions riches en perception, trajectoires inédites) ne sont pas quantifiés dans le résumé. Le résumé ne dit pas non plus si les résultats réels reposent sur des essais nombreux ou sur quelques démonstrations choisies. Ces travaux s'inscrivent dans la vague des VLA généralistes comme Pi-0, GR00T ou Helix. Elle a surtout progressé sur la manipulation statique et les tâches longues, tandis que le contrôle réactif sur objets mobiles restait peu couvert. Le manque de données dynamiques standardisées freinait la comparaison entre méthodes, et c'est le vide que DOM veut combler. La suite dépendra de l'adoption du benchmark par d'autres laboratoires. Elle dépendra aussi de la reproduction des résultats sur des bras et des mains variés. Pour l'industrie, l'étape suivante est un test sur des cadences réelles, avec des charges et des vitesses de ligne de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source