RecherchearXiv cs.RO 18 juin 2026

Manipulation dextérique à long horizon en zéro-shot par raisonnement VLM multi-vues ancré en 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 19 juin 2026 sur arXiv (référence 2606.19340) un framework zero-shot pour la manipulation dextre à longue séquence, capable d'exécuter des tâches en plusieurs étapes sur des objets inconnus sans entraînement spécifique. Le système prend en entrée des instructions en langage naturel et des images RGB multi-vues calibrées, sans capteur de profondeur, et utilise un modèle vision-langage (VLM) pour générer des points-clés 2D dans un référentiel de vue de référence. Ces points sont ensuite reconstruits en 3D par fusion multi-vues combinant triangulation et une technique de "ray voting" : le système parcourt le rayon optique de la caméra principale pour identifier les candidats géométriquement cohérents dans les vues adjacentes. Les points-clés 3D obtenus supportent deux modes d'exécution : saisie-dépose directe et utilisation d'outils via la récupération d'une trajectoire outil stockée à 6 degrés de liberté (6DoF), alignée sur la configuration de scène courante. Un module bras-main génère ensuite les paires grasping-mouvement faisables. Les expériences réelles montrent que le système surpasse des baselines RGB-D vue unique et des VLA fine-tunés en précision de grounding 3D et en fiabilité d'exécution.

L'enjeu central est la flexibilité de déploiement : un système zero-shot qui surpasse des VLA (Vision-Language-Action models) fine-tunés sur données spécifiques remet en question l'hypothèse dominante selon laquelle la manipulation dextre en environnement réel exige obligatoirement de larges datasets annotés et un réentraînement par tâche. Pour les intégrateurs industriels, cela signifie potentiellement des cycles de mise en production raccourcis, sans collecte systématique de démonstrations téléopérées pour chaque nouvel objet ou configuration. La boucle fermée de vérification d'état et de replanification (closed-loop replan) est particulièrement significative : elle distingue ce travail des approches open-loop qui accumulent les erreurs sur des séquences longues, un problème récurrent dans les démos de manipulation non supervisées. L'absence de capteur de profondeur réduit par ailleurs les contraintes matérielles à l'intégration sur des cellules robotiques existantes.

Ce travail s'inscrit dans la tension croissante entre deux paradigmes : les VLA de bout-en-bout, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA de Stanford, qui nécessitent supervision et données massives, et les approches modulaires exploitant les capacités de raisonnement de VLM existants sans réentraînement. Depuis 2023, les VLA dominent les benchmarks de manipulation dextre, mais leur coût en données et leur manque de généralisation zero-shot à de nouveaux objets freinent les déploiements industriels à grande échelle. À noter : ce preprint ne mentionne pas d'affiliation institutionnelle dans l'abstract disponible, ce qui limite l'évaluation de la maturité des résultats, et n'a pas encore été soumis à peer review. Aucun acteur européen n'est impliqué. Les suites naturelles seraient une validation sur les benchmarks standardisés DROID ou Open X-Embodiment, et une comparaison formelle avec les versions récentes de Pi-0 et GR00T N2 pour situer précisément les gains annoncés.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Vers un raisonnement procédural neuro-symbolique pour la manipulation VLA à long horizon

Un article publié sur arXiv (référence 2609.05369) début septembre 2026 présente un cadre neuro-symbolique destiné à corriger la fragilité des modèles vision-langage-action (VLA) sur les manipulations longues. Ces modèles exécutent bien des compétences courtes et isolées, mais peinent à maintenir un état de tâche persistant, à raisonner sur les dépendances entre actions et à gérer des décisions conditionnelles sur des séquences étendues. La méthode associe un contrôle VLA appris à des graphes de tâches explicites, qui encodent dépendances d'actions, transitions valides et conditions de branchement, ainsi qu'une mémoire procédurale multimodale qui suit l'étape active, les actions déjà accomplies, le contexte textuel et les preuves visuelles pertinentes. Des indices de regard humain, annotés en pseudo-regard sur des vidéos de téléopération vue robot, guident ensuite le fine-tuning et l'inférence du VLA. Deux domaines de test sont retenus: le débarrassage d'un espace de travail et la manipulation d'instruments chirurgicaux, évalués sur la sélection correcte d'objet et de destination, la complétion des sous-tâches et le taux de réussite complet de la procédure. Ce travail s'attaque à un angle mort du secteur: les modèles VLA de bout en bout, à l'image de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, généralisent bien sur des tâches courtes grâce au volume de données d'entraînement, mais leur fiabilité chute nettement sur des procédures longues et structurées, un écart entre démonstration et usage réel rarement exposé publiquement. En réintroduisant une couche symbolique explicite plutôt qu'en misant uniquement sur davantage de données et de paramètres, l'étude suggère que la fiabilité recherchée par l'industrie et la chirurgie assistée passera par des architectures hybrides, pas seulement par le scaling des réseaux de neurones. C'est un signal utile pour les intégrateurs qui évaluent la maturité réelle des VLA au-delà des vidéos de démonstration soigneusement sélectionnées. Il s'agit d'une étude de recherche exploratoire, pas d'un produit déployé. Pour isoler l'effet du guidage visuel sur l'apprentissage de la politique, les auteurs contournent volontairement, dans cette première phase, le transfert de regard entre vue humaine et vue robot, une simplification méthodologique qu'ils assument eux-mêmes. Aucun partenaire industriel, site pilote ni calendrier de commercialisation n'est mentionné dans le document. Les auteurs indiquent vouloir étendre l'approche au transfert de regard inter-vues comme prochaine étape, afin de généraliser ce guidage à des démonstrations non téléopérées et de renforcer la robustesse du raisonnement procédural sur des tâches encore plus longues.

RecherchePaper

1 source

2arXiv cs.RO

Raisonner en texte et en images : traces de raisonnement vision-langage entrelacées pour la manipulation robotique à long horizon

Des chercheurs ont publié sur arXiv (arXiv:2605.00438) un cadre de politique robotique appelé IVLR (Interleaved Vision-Language Reasoning), conçu pour la manipulation à horizon long. Le coeur du système est une représentation intermédiaire explicite, la "trace", qui alterne des sous-objectifs textuels avec des images-clés visuelles sur l'ensemble de la séquence de tâche. À l'inférence, un transformateur multimodal natif génère cette trace globale à partir de l'observation initiale et de l'instruction, la met en cache, puis conditionne un décodeur d'actions en boucle fermée. Sur le benchmark simulé LIBERO, IVLR atteint 95,5 % de taux de succès moyen, dont 92,4 % sur LIBERO-Long, et 59,4 % sur SimplerEnv-WidowX. L'absence de telles traces dans les jeux de données robotiques existants est contournée par une pseudo-supervision construite en segmentant temporellement des démonstrations et en les annotant automatiquement via un modèle vision-langage. Les ablations quantifient clairement la valeur de chaque modalité : sans trace, LIBERO-Long chute à 37,7 % ; une trace texte seule atteint 62,0 %, une trace visuelle seule 68,4 %, tandis que la trace entrelacée texte-image monte à 92,4 %. L'écart de 30 points entre la combinaison et les modalités isolées démontre que le raisonnement causal (texte) et les contraintes géométriques (image) sont complémentaires, pas substituables. C'est une contribution directe au débat sur la planification explicite versus latente dans les politiques VLA (Vision-Language-Action) : masquer la planification dans des états latents, comme le font la majorité des architectures actuelles, laisse une performance substantielle sur la table. IVLR s'inscrit dans un courant de politiques VLA à planification explicite, en concurrence avec des approches comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui intègrent également des capacités de raisonnement multimodal. La méthode de pseudo-supervision est potentiellement impactante pour les équipes académiques : elle permet de réutiliser des datasets existants sans annotations humaines supplémentaires, abaissant le coût d'entrée à la recherche sur les longues séquences. Les tests de robustesse indiquent une dégradation modérée face aux perturbations d'exécution et aux traces partiellement masquées, mais les auteurs reconnaissent une limite claire : lorsque le plan global est incorrect ou obsolète, le système reste fragile. La prochaine étape logique est la mise à jour dynamique de la trace en cours d'exécution, et la validation sur robots physiques hors simulation.

UELes laboratoires académiques européens (INRIA, CEA-List) travaillant sur les politiques VLA pourraient directement réutiliser la méthode de pseudo-supervision pour annoter leurs datasets existants sans coût humain supplémentaire.

RechercheOpinion

1 source

3arXiv cs.RO

TemporalFlow-VLA : un historique d'exécution physiquement ancré pour la manipulation robotique à long horizon

Des chercheurs ont publié en août 2026 sur arXiv (référence 2608.26821) un article présentant TemporalFlow-VLA, un modèle vision-langage-action (VLA) conçu pour la manipulation robotique multi-étapes de longue durée. Le système construit un flux temporel robot-surface à partir des états enregistrés du robot, de sa géométrie et de caméras calibrées, utilisé uniquement comme signal d'entraînement pour superviser deux requêtes temporelles alignées sur l'exécution qui fournissent un historique structuré à l'expert d'action du modèle. Sur le benchmark LIBERO, le système atteint un taux de réussite moyen de 97,63% (+/- 0,26 point), dont 96,60% (+/- 0,87) sur le sous-ensemble LIBERO Long dédié aux tâches longues. Sur RoboTwin, qui regroupe 12 tâches de manipulation, il obtient 85,5% de réussite en conditions propres et 84,2% en conditions randomisées. La voie de supervision géométrique n'intervient qu'à l'entraînement et n'est pas évaluée au déploiement, ce qui, combiné à une mise en cache asynchrone des caractéristiques, permet de conserver une latence d'inférence côté serveur équivalente à celle d'un traitement image par image, sans surcoût lié à l'encodage de l'historique. L'enjeu pointé par les auteurs est concret pour l'industrie: empiler simplement des images historiques dans un modèle VLA ne suffit pas à capter un changement physique récent, en particulier quand deux états visuellement quasi identiques appellent des actions différentes selon ce qui a été exécuté juste avant, un piège classique dans les tâches à plusieurs étapes comme l'empilement ou l'assemblage séquentiel. Des interventions contrôlées sur l'historique fourni au modèle montrent que la prédiction d'action dépend à la fois du contenu de cet historique et de son ordre temporel, confirmant que le raisonnement temporel agit comme un facteur causal de performance et non comme un simple bonus. Pour les intégrateurs et décideurs qui évaluent des piles VLA face à des offres comme Pi-0, GR00T N2 ou Helix, ce travail suggère qu'une part significative de l'écart de performance sur les tâches longues tient moins à la taille du modèle qu'à la façon dont l'historique d'exécution est structuré et injecté, sans alourdir la latence en production. Le papier s'inscrit dans une vague de recherches cherchant à combler l'écart entre démonstrations en laboratoire et généralisation réelle des VLA sur les tâches longues, un problème récurrent du secteur. Il se positionne explicitement en alternative aux approches qui nécessitent une estimation de mouvement ou un traitement géométrique explicite au moment de l'inférence, coûteux en calcul et en latence pour un déploiement en production. Aucun acteur industriel ni site de déploiement commercial n'est mentionné: il s'agit à ce stade d'un travail de recherche évalué uniquement sur les bancs d'essai en simulation LIBERO et RoboTwin, sans validation annoncée sur robot physique ni calendrier de mise en production. Reste à voir si cette approche de supervision temporelle sera reprise par des laboratoires ou fournisseurs de piles VLA commerciales pour la manipulation industrielle de longue durée.

RechercheOpinion

1 source

4arXiv cs.RO

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier. Sur les bancs d'essai LIBERO et VLABench, il depasse le système MemoryVLA sur les taches Goal et Long-10, et surpasse le modèle π0-FAST de 5,2 points sur la piste 1 et de 6,0 points sur la piste 6. Le problème vise est bien connu du secteur: les architectures vision-langage-action mémorisent généralement l'environnement de façon passive, sans distinguer ce qui compte pour la tache en cours, ce qui dégradé les performances des que les séquences de manipulation s'allongent. En unifiant mise a jour et lecture de la mémoire dans un seul mécanisme appris plutôt que des heuristiques écrites a la main, GaussMemory s'inscrit dans une tendance de fond visant a faire passer les VLA de démonstrations courtes en laboratoire vers des taches multi-étapes plus proches des besoins industriels réels. Pour les intégrateurs qui évaluent des piles VLA, des gains chiffres sur des benchmarks standardises comme LIBERO et VLABench offrent un point de comparaison plus solide qu'une simple vidéo de démonstration. Le travail se positionne explicitement face a deux références du domaine, MemoryVLA et π0-FAST, ce dernier dérivé du modèle π0 de Physical Intelligence, citées comme bases de comparaison directes plutôt que comme simples antécédents. Il s'inscrit dans la lignée des travaux sur le 3D Gaussian Splatting, technique de représentation de scènes issue de la vision par ordinateur, de plus en plus réutilisée comme mémoire de travail pour des agents robotiques. A ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation, sans déploiement matériel annonce ni partenaire industriel cite, et sans calendrier donne pour un transfert vers des robots physiques, ce qui distingue clairement cette contribution d'une annonce produit ou d'un pilote commercial.

RechercheActu

1 source