Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo
RecherchearXiv cs.RO 

Robotique : la manipulation est une correspondance vision-géométrie, au-delà du langage et de la vidéo

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche du HCP Lab de l'Université Sun Yat-sen (SYSU), en Chine, a publié la version 2 d'un article arXiv (2604.12908) proposant un nouveau modèle baptisé VGA, pour Vision-Geometry-Action. La thèse centrale : la manipulation robotique est fondamentalement un problème de correspondance entre vision et géométrie (f(v) → G), puisque les actions physiques reposent sur des positions 3D et des relations spatiales précises. Plutôt que de bâtir le contrôle sur des modèles vision-langage (VLA) ou vidéo, comme le font la plupart des systèmes actuels, VGA remplace ce socle par un modèle du monde 3D préentraîné, auquel s'ajoute une méthode nommée Progressive Volumetric Modulation et un entraînement conjoint de la génération d'actions et de la prédiction de propriétés 3D, pour préserver la cohérence géométrique. En simulation, VGA dépasse plusieurs références de l'état de l'art : pi-0.5, OpenVLA-OFT, GeoVLA et Motus. En conditions réelles, il surpasse pi-0.5 sur des points de vue inédits et suit correctement des instructions en langage naturel pour saisir des objets cibles.

L'enjeu dépasse la simple compétition de benchmarks : ce travail interroge un présupposé dominant du secteur, à savoir que les grands modèles vision-langage-action, popularisés par des systèmes comme pi-0 ou GR00T N2, constituent la voie la plus prometteuse vers une intelligence physique généralisable. En montrant que des représentations 3D natives, plutôt que des priors sémantiques 2D hérités du texte-image, améliorent la précision géométrique des saisies, l'étude fournit un argument concret pour les intégrateurs et laboratoires qui évaluent quel type de backbone privilégier dans leurs futures piles logicielles de manipulation.

Ce résultat s'inscrit dans une compétition architecturale plus large entre approches VLA classiques, modèles vidéo prédictifs et approches 3D-VLA, incluant des systèmes comme GeoVLA et Motus déjà cités comme références de comparaison. Il s'agit à ce stade d'un article de recherche évalué en simulation et sur un nombre limité de déploiements réels en laboratoire, assorti d'une page projet dédiée, et non d'un produit commercial ou d'un déploiement industriel à grande échelle.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique
1arXiv cs.RO 

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel. Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles. Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

RechercheActu
1 source
GenVid2Robot : de la génération vidéo à la manipulation robotique par cohérence rigide-géométrique
2arXiv cs.RO 

GenVid2Robot : de la génération vidéo à la manipulation robotique par cohérence rigide-géométrique

Des chercheurs ont publié le 13 juillet 2026 sur arXiv (2607.09191v1) GenVid2Robot, un système qui transforme des vidéos générées par IA en trajectoires exécutables sur un robot manipulateur réel. Le problème de départ: une vidéo générée peut sembler visuellement plausible sans être physiquement exécutable, faute de géométrie métrique, d'ancrage de préhension, de faisabilité cinématique ou de retour d'exécution. GenVid2Robot part d'une observation RGB-D initiale et d'une instruction de tâche, échantillonne des ancres sémantiques pertinentes sur la première image réelle, puis suit ces ancres à travers les candidats vidéo générés. Un modèle SE(3) relatif et épars vérifie si le mouvement 2D observé est cohérent avec la géométrie 3D des ancres; seul le mouvement validé géométriquement est transféré au robot. Ce mouvement est ensuite appliqué à la pose réelle de l'organe terminal (TCP) au moment de la saisie, déterminée par une préhension contrainte par masque, et un module de compensation de profondeur borné corrige les erreurs locales dues au bruit RGB-D ou aux déplacements de contact. L'enjeu dépasse la démonstration technique isolée: les modèles de génération vidéo (type Sora, Veo ou Genie) sont de plus en plus présentés comme des sources de "priors" de mouvement pour la robotique, mais l'écart entre vidéo plausible et action exécutable reste l'un des obstacles majeurs à leur usage réel, aux côtés du problème classique du sim-to-real. En filtrant les hypothèses de mouvement par cohérence géométrique plutôt qu'en rejouant directement une trajectoire, GenVid2Robot répond directement au risque d'échec en conditions réelles que redoutent intégrateurs et équipes R&D travaillant sur les architectures vision-langage-action (VLA). Le travail s'inscrit dans la lignée des approches combinant modèles génératifs et politiques robotiques, aux côtés d'efforts comme Pi-0, GR00T N2 ou Helix qui cherchent à exploiter des priors visuels ou vidéo à grande échelle. À ce stade, il s'agit d'une publication de recherche avec expériences sur robot réel, non d'un produit commercialisé; les auteurs ne précisent pas de calendrier de déploiement industriel.

RecherchePaper
1 source
GEM-4D : modèles du monde vidéo enrichis par la géométrie pour la manipulation robotique
3arXiv cs.RO 

GEM-4D : modèles du monde vidéo enrichis par la géométrie pour la manipulation robotique

Une équipe en soumission anonyme (probablement ICCV ou NeurIPS 2025) publie GEM-4D sur arXiv, un modèle mondial vidéo ancré géométriquement pour la manipulation robotique. Le constat de départ est bien documenté : les VWM (Video World Models) génèrent des séquences futures visuellement plausibles à partir d'une instruction, mais ne maintiennent pas la cohérence du mouvement au niveau des points entre les images, ce qui les rend inutilisables pour l'exécution d'actions physiques fiables. GEM-4D résout cette limitation en injectant, pendant l'entraînement, une supervision de correspondances 4D denses distillée depuis un modèle de fondation géométrique pré-entraîné dans le backbone génératif vidéo, tout en conservant une architecture single-stream sans surcoût à l'inférence. Un module de dynamique inverse convertit ensuite les rollouts vidéo cohérents en trajectoires exécutables, déployables en simulation comme en réel. Sur la combinaison prédiction vidéo et cohérence géométrique, GEM-4D atteint l'état de l'art, et le taux de succès en manipulation réelle progresse de 61 % à 81 %, soit un gain de 20 points. Ce gain de 20 points sur des tâches réelles est le chiffre central : il valide l'hypothèse que la supervision géométrique suffit à combler le gap entre apparence visuelle et ancrage physique. Pour les intégrateurs et décideurs industriels, l'architecture single-stream représente un avantage concret, sans module géométrique séparé à maintenir en opération. Cela positionne les VWM comme une alternative sérieuse aux approches VLA (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, jusque-là perçues comme plus directement actionnables. La réserve habituelle s'applique : la soumission reste anonyme, les vidéos de la page projet ne permettent pas encore d'évaluation indépendante, et le protocole de test en environnement réel n'est pas détaillé dans le résumé disponible. Les VWM appliqués à la robotique constituent un axe de recherche actif depuis 2023, avec des travaux précurseurs comme UniSim (OpenAI) ou IRASim. GEM-4D s'y distingue en apportant la cohérence géométrique 3D+temporelle qui faisait défaut, en s'appuyant sur des modèles de fondation pour la reconstruction dense, domaine où l'INRIA Paris (à l'origine de DUSt3R et MASt3R) est un acteur européen de référence. La chaîne supervision géométrique → génération vidéo → action robotique apparaît ainsi viable à l'échelle d'un déploiement réel. Les prochaines étapes naturelles seront une validation sur des benchmarks standardisés comme RLBench ou LIBERO, et des tests hors des environnements de laboratoire contrôlés.

UELes modèles géométriques de fondation de l'INRIA Paris (DUSt3R, MASt3R) constituent la base de la supervision géométrique de GEM-4D, positionnant la recherche européenne en reconstruction dense comme un maillon clé de la prochaine génération de modèles de manipulation robotique.

RechercheOpinion
1 source
OC-VLA++ : cohérence multi-vue guidée par géométrie monoculaire pour une manipulation robotique robuste au point de vue
4arXiv cs.RO 

OC-VLA++ : cohérence multi-vue guidée par géométrie monoculaire pour une manipulation robotique robuste au point de vue

Le laboratoire à l'origine d'OC-VLA publie une extension baptisée OC-VLA++, qui vise à corriger un angle mort connu des modèles vision-langage-action (VLA) pour la manipulation robotique : la généralisation à des points de vue caméra non vus pendant l'entraînement. La méthode originale, OC-VLA, ancrait déjà les prédictions d'action dans le repère de la caméra plutôt que dans le repère robot, pour aligner la supervision avec l'observation visuelle. Mais les auteurs montrent que cet ancrage seul reste sujet au surapprentissage lorsque peu de points de vue sont couverts à l'entraînement. OC-VLA++ ajoute deux mécanismes : une supervision par paires de vues guidée par la géométrie, et un objectif explicite d'équivariance d'action inter-vues. Concrètement, le modèle reçoit des paires d'observations d'une même scène de manipulation, prises sous des angles géométriquement reliés, et apprend à produire des prédictions dans l'espace caméra qui correspondent à la même action une fois ramenées au repère du robot. Le papier, publié en preprint sur arXiv (2608.01066v1), rapporte des gains « substantiels » en généralisation à des vues inédites sous couverture caméra limitée, avec une dégradation plus progressive à mesure que le déplacement de caméra augmente, sans toutefois fournir de chiffres précis de taux de réussite dans le résumé, ce qui invite à rester prudent avant validation indépendante. Pour les intégrateurs et les équipes robotique, le sujet touche à un problème très concret : la plupart des déploiements industriels utilisent un nombre restreint de caméras fixes, et un modèle VLA entraîné sur ces angles précis échoue souvent dès qu'une caméra est repositionnée, remplacée ou que la cellule de travail change de configuration. Si l'équivariance d'action inter-vues tient ses promesses au-delà du cadre expérimental du papier, elle pourrait réduire le besoin de collecter des données massives multi-caméras pour chaque nouvelle installation, un poste de coût important dans le déploiement des VLA à grande échelle. Cela s'inscrit dans un débat plus large du secteur sur l'écart entre démonstrations en laboratoire et robustesse réelle : beaucoup de modèles VLA impressionnent sur les vues d'entraînement mais généralisent mal dès que l'environnement visuel bouge, un des obstacles cités au passage à l'échelle des humanoïdes et bras manipulateurs. Le travail se situe dans la lignée directe d'OC-VLA, dont il corrige une limite identifiée par ses propres auteurs plutôt que de proposer une architecture radicalement nouvelle. Le papier ne mentionne pas de comparaison directe avec les autres familles de VLA du moment comme Pi-0, GR00T N2 ou Helix, et ne précise pas si les expériences ont été menées en simulation, sur robot réel, ou les deux, une information qu'on aimerait voir clarifiée avant de juger de la portée réelle des résultats. Les auteurs présentent ces résultats comme un argument en faveur de l'équivariance d'action inter-vues comme complément à l'ancrage centré sur l'observation, en vue d'un déploiement robuste en conditions réelles, mais aucun calendrier de test terrain ni partenariat industriel n'est annoncé à ce stade. Le texte reste, pour l'instant, une contribution de recherche publiée en preprint, sans revue par les pairs ni suite commerciale connue.

RechercheActu
1 source