RecherchePandaily 15 septembre 2026

Zeva de Tsinghua AIR fait passer le taux de réussite en manipulation incarnée de 26 % à 73 % sans réentraînement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

L'Institute for AI Industry Research (AIR) de l'université Tsinghua, avec Domain Transform, a présenté Zeva, une méthode de manipulation robotique qui progresse pendant le déploiement sans toucher aux poids du modèle, via une mémoire causale en contexte. Le taux de réussite cumulé passe d'environ 26% à 73% sur plusieurs bancs d'essai, soit 47 points gagnés sans le cycle habituel de collecte de données et de réentraînement. Décrite dans l'article "Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation", signé notamment par Liu Yunxin et Cao Ting, la méthode s'appuie sur le backbone Cosmos3 : un encodeur relie chaque action au changement d'état qu'elle provoque, une mémoire à deux échelles sépare la tentative en cours de l'expérience accumulée, et ces indices sont injectés dans l'entrée du modèle figé sans mise à jour de gradient. Sur RoboCasa365-Atomic5, le taux moyen atteint 76,8% ; sur ChemLab-Evo (tâches de laboratoire de chimie), la prise d'un tube à essai passe de 65% à 100%, le placement d'un bécher de 25% à 70%, le versement d'eau de 30% à 80%, et une seule démonstration humaine ajoute environ 20 points sur le bécher et 15 sur le versement.

Pour les intégrateurs et décideurs industriels, l'intérêt est de transformer l'adaptation à un nouveau site en un problème d'ingénierie de contexte plutôt que de réentraînement : au lieu de semaines de calibration, il s'agit de gérer un contexte plus riche, au prix d'un coût d'inférence par étape qui décroît à mesure que la mémoire s'enrichit. Les auteurs reconnaissent que les gains sont plus marqués là où les performances de départ étaient faibles, ce qui relativise le progrès sur les tâches déjà maîtrisées ; le choix de la chimie tient aussi à des changements d'état propres et peu bruités, alors que des tâches déformables comme le linge s'annoncent plus difficiles. Aucune plateforme robotique indépendante du montage Cosmos3 n'a été testée, ce qui laisse les promesses de généralisation au stade de la publication tant que d'autres laboratoires n'auront pas reproduit cette architecture sur du matériel et des tâches différents.

Zeva s'inscrit dans une recherche qui cherche à contourner les coûts du réglage fin des modèles vision-langage-action classiques, à l'image de Pi-0, GR00T N2 ou Helix, généralement améliorés par des cycles coûteux de collecte et d'entraînement. En figeant le backbone et en reportant l'adaptation sur une mémoire en contexte, Tsinghua AIR et Domain Transform ciblent les sites dont l'environnement change souvent, tandis que les déploiements stables resteraient mieux servis par un réentraînement classique pour des raisons de coût. La démonstration reste pour l'instant limitée au backbone Cosmos3 et aux bancs RoboCasa365-Atomic5 et ChemLab-Evo, sans pilote industriel ni calendrier annoncés ; sa validation dépendra de sa reproduction sur d'autres plateformes et catégories de tâches, notamment celles à objets déformables où le signal causal est plus bruité.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique

À lire aussi

1arXiv cs.RO

ACE : contrôle à base d'agents pour la manipulation incarnée via raisonnement de flux de travail zéro-shot

Une équipe de recherche publie sur arXiv (arXiv:2607.04162v1) ACE, pour Agentic Control for Embodied Manipulation, un cadre de raisonnement en zero-shot destiné à la manipulation d'objets sur table à partir d'instructions en langage naturel. Plutôt que de faire correspondre directement le langage à des actions motrices bas niveau, comme le font la plupart des politiques VLA de bout en bout, ACE orchestre un raisonnement de type workflow agentique couplé à deux compétences robotiques réutilisables : une interface de repérage visuel et une primitive générique de saisie-dépose. Le sous-objectif actif est traduit en un masque visuel qui désigne à la fois l'objet cible et sa destination, masque qui est suivi dans le temps, exposé à la vérification humaine, puis transmis à une politique d'exécution indépendante de la tâche. Le système fonctionne en boucle fermée grâce à une mémoire multi-échelle temporelle qui vérifie après chaque action si le sous-objectif a réussi, avant de décider de poursuivre, réessayer, corriger ou replanifier. Sur des tâches longues et logiquement complexes, comme la formation d'équations avec des cubes numérotés ou la récupération d'objets sous contrainte, ACE atteint 50% de réussite pour la formation d'équations et 70% pour la récupération sous contrainte, quand les approches de bout en bout classiques échouent largement sur ces mêmes tâches. Ce résultat cible un point de friction précis du secteur : la capacité d'un système à généraliser à des scènes et contraintes sémantiques inédites sans réentraînement spécifique à la tâche, ce qui reste l'un des principaux écarts entre les démonstrations en laboratoire et un déploiement robuste en environnement réel. En montrant qu'un raisonnement explicite par étapes, combiné à un contrôle médié par masque, surpasse des politiques end-to-end sur des tâches à horizon long, ACE apporte un argument concret pour les intégrateurs et équipes de R&D qui cherchent des architectures de manipulation capables de gérer l'échec d'exécution et la correction humaine en cours de tâche, plutôt que de miser uniquement sur l'échelle des données d'entraînement. ACE s'inscrit dans la lignée des travaux récents sur les architectures agentiques pour la robotique, qui cherchent à combiner les capacités de raisonnement des grands modèles de langage avec des compétences robotiques modulaires et vérifiables, en alternative aux politiques VLA monolithiques comme Pi-0 ou GR00T. Les auteurs positionnent explicitement leur approche contre des baselines de bout en bout sur les mêmes bancs d'essai, mais l'évaluation reste limitée à des scénarios de manipulation tabletop en conditions contrôlées, sans indication de déploiement industriel ni de partenariat annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Au-delà des politiques simples : post-entraînement hiérarchique pour agents incarnés en manipulation robotique

Un preprint publié sur arXiv (2608.05999v1) présente HiRoC (Hierarchical Robotic Control), un cadre de post-entraînement hiérarchique pour les modèles vision-langage-action (VLA) en manipulation robotique. Le principe : séparer la planification de haut niveau de l'exécution des actions. Un module planificateur décompose une tâche complexe en sous-objectifs exécutables, tandis qu'un module exécuteur affine en continu la génération d'actions conditionnées à ces sous-objectifs par apprentissage par renforcement (RL). Avant cette phase de RL, les auteurs alignent d'abord l'exécuteur sur les sous-objectifs du planificateur, pour corriger le désalignement de distribution qui apparaît habituellement entre planification et exécution. Testé sur plusieurs benchmarks de manipulation, HiRoC surpasse de façon constante les méthodes de référence. Le problème est concret : la plupart des méthodes de post-entraînement traitent les VLA comme des politiques plates, ce qui limite la modélisation de la progression d'une tâche et la robustesse sur des manipulations à long horizon. Les approches hiérarchiques existantes reposaient surtout sur de l'apprentissage supervisé à partir de démonstrations hors ligne, sans capacité à s'améliorer par interaction en ligne. En combinant hiérarchie et RL, HiRoC permet au comportement du robot de continuer à s'affiner après l'entraînement initial plutôt que de rester figé aux données de démonstration. Pour les équipes de recherche et les intégrateurs, cela touche une question centrale du secteur : la capacité réelle des VLA à tenir des tâches multi-étapes sans dérive, point faible connu des politiques de bout en bout entraînées uniquement par imitation. Ce travail s'inscrit dans la vague des modèles VLA qui s'appuient sur des modèles vision-langage pré-entraînés pour piloter des bras ou des robots, une approche qui a gagné du terrain ces deux dernières années face aux politiques de contrôle entraînées de zéro. L'article ne mentionne ni déploiement sur robot physique hors simulation, ni partenariat industriel, ni concurrent commercial nommé : il s'agit d'une contribution méthodologique côté recherche. La suite logique passe généralement, pour ce type de méthode, par une validation sur des plateformes robotiques réelles et une comparaison directe avec les cadres hiérarchiques concurrents déjà publiés, un exercice que ce préprint ne couvre pas encore.

RechercheOpinion

1 source

3arXiv cs.RO

HarnessVLN : unifier la navigation incarnée sans entraînement grâce à un harnais d'agents

Des chercheurs ont publié HarnessVLN, un article arXiv (2609.15195, catégorie "new") qui présente un cadre zero-shot, sans entraînement spécifique, pour la navigation robotique incarnée guidée par instructions en langage naturel. Son composant central, l'Agent Harness, orchestre perception, récupération d'information, ancrage spatial, navigation, récupération d'erreurs et terminaison de tâche via une interface outil unifiée : il confronte chaque proposition du planificateur aux preuves spatiales disponibles, à la faisabilité géométrique et à la cohérence des sous-objectifs, avant de réinjecter ce retour structuré dans la décision suivante. Une mémoire d'événements hiérarchique suit la progression de la tâche et l'historique d'exécution, tandis qu'un graphe spatiotemporel persistant conserve les preuves spatiales réutilisables et les annotations d'échec pour vérification ultérieure. Un exécuteur de navigation interchangeable convertit les cibles validées en mouvements concrets, permettant au même protocole de couvrir à la fois le suivi d'instructions et la navigation vers un objet désigné. Sur les benchmarks R2R, RxR, HM3D-v2 et HM3D-OVON, le système atteint des taux de réussite respectifs de 60,8 %, 53,9 %, 76,0 % et 59,3 %, dépassant les meilleurs résultats "sans entraînement" publiés jusqu'ici. Un déploiement sur robot humanoïde en environnement réel est également démontré. L'intérêt tient au problème que le cadre cible directement : les grands modèles multimodaux (MLLM) savent générer des plans d'action plausibles à partir d'images, mais rien ne garantit qu'ils tiennent compte de la géométrie réelle du lieu, de l'avancement effectif de la tâche ou des échecs déjà survenus, ce qui produit des trajectoires incohérentes en pratique. En ajoutant une couche de vérification et de mémoire structurée autour du modèle de langage plutôt qu'en le réentraînant, HarnessVLN suggère que l'architecture de contrôle, davantage que le MLLM sous-jacent, conditionne la robustesse d'un agent de navigation. Le fait qu'un seul protocole couvre suivi d'instructions et navigation vers objet, et se transfère à un humanoïde réel, est un signal pertinent pour les intégrateurs évaluant des piles de navigation zero-shot avant d'investir dans du fine-tuning coûteux en données. Ce travail s'inscrit dans une vague de recherches qui exploitent des MLLM déjà entraînés comme alternative aux politiques VLN classiques, coûteuses à entraîner et peu généralisables hors de leur distribution d'origine. Les benchmarks utilisés, R2R et RxR pour le suivi d'instructions, HM3D-v2 et HM3D-OVON pour la navigation vers objet, sont des références standards du secteur issues des scans Matterport3D et de l'environnement Habitat. La nature exacte de la plateforme humanoïde testée et l'échelle du pilote ne sont pas précisées dans le résumé, ce qui invite à la prudence sur la portée réelle de cette démonstration. La page du projet est accessible à harnessvln.netlify.app.

RecherchePaper

1 source

4arXiv cs.RO

PACT : alignement de sécurité physique auto-évolutif pour les politiques de diffusion en manipulation incarnée

Une équipe de chercheurs publie PACT (Physical safety Alignment for Constrained Trajectories), un cadre d'alignement post-entraînement destiné à rendre les politiques de diffusion robotique conformes à des contraintes physiques strictes, sans accéder aux données de démonstration ni aux récompenses de tâche (arXiv:2606.08414). Les politiques de diffusion, qui génèrent des trajectoires motrices par débruitage itératif, ont connu des succès notables en manipulation robotique mais peinent à satisfaire des contraintes de sécurité fermes en déploiement réel. PACT projette les politiques pré-entraînées dans des régions faisables en distillant des gradients de contrainte via un objectif KL inverse, avec supervision dense à chaque pas de temps du processus de débruitage. Un curriculum progressif resserre graduellement les contraintes tout en maintenant un écart théoriquement borné par rapport à la politique d'origine, limitant l'oubli catastrophique. Sur des benchmarks de manipulation simulée et réelle, PACT réduit les violations de sécurité de 31,0% en moyenne et améliore simultanément le taux de réussite des tâches de 30,7%. Ces résultats interpellent directement les intégrateurs : sécuriser une politique robotique impliquait jusqu'ici soit de contraindre l'entraînement dès le départ, au prix de l'expressivité, soit d'ajouter des garde-fous externes à l'inférence, nuisant à la scalabilité. PACT propose une troisième voie, post-entraînement et sans données supplémentaires, qui permettrait en théorie d'aligner n'importe quelle politique de diffusion existante. Le fait que sécurité et performance progressent conjointement contredit l'hypothèse d'un compromis structurel entre les deux, pourtant largement admise dans le secteur. À noter : l'article ne précise pas les configurations matérielles ni les volumes de données des tests réels, ce qui limite la portée des comparaisons directes. Les politiques de diffusion ont connu une montée en puissance récente, portée notamment par Pi-0 (Physical Intelligence) et d'autres architectures VLA de grands laboratoires. PACT s'inspire des techniques d'alignement post-entraînement développées pour les LLM, de type RLHF, adaptées aux contraintes physiques plutôt qu'aux préférences humaines, et se positionne face aux approches par apprentissage par renforcement contraint et aux filtres CBF (Control Barrier Functions). Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit d'un résultat purement académique, sans pilote industriel annoncé. La validation sur des plateformes humanoïdes complètes et l'intégration dans des pipelines VLA de production restent à démontrer.

RecherchePaper

1 source