RecherchePandaily 15 septembre 2026

Zeva de Tsinghua AIR fait passer le taux de réussite en manipulation incarnée de 26 % à 73 % sans réentraînement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

L'Institute for AI Industry Research (AIR) de l'université Tsinghua, avec Domain Transform, a présenté Zeva, une méthode de manipulation robotique qui progresse pendant le déploiement sans toucher aux poids du modèle, via une mémoire causale en contexte. Le taux de réussite cumulé passe d'environ 26% à 73% sur plusieurs bancs d'essai, soit 47 points gagnés sans le cycle habituel de collecte de données et de réentraînement. Décrite dans l'article "Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation", signé notamment par Liu Yunxin et Cao Ting, la méthode s'appuie sur le backbone Cosmos3 : un encodeur relie chaque action au changement d'état qu'elle provoque, une mémoire à deux échelles sépare la tentative en cours de l'expérience accumulée, et ces indices sont injectés dans l'entrée du modèle figé sans mise à jour de gradient. Sur RoboCasa365-Atomic5, le taux moyen atteint 76,8% ; sur ChemLab-Evo (tâches de laboratoire de chimie), la prise d'un tube à essai passe de 65% à 100%, le placement d'un bécher de 25% à 70%, le versement d'eau de 30% à 80%, et une seule démonstration humaine ajoute environ 20 points sur le bécher et 15 sur le versement.

Pour les intégrateurs et décideurs industriels, l'intérêt est de transformer l'adaptation à un nouveau site en un problème d'ingénierie de contexte plutôt que de réentraînement : au lieu de semaines de calibration, il s'agit de gérer un contexte plus riche, au prix d'un coût d'inférence par étape qui décroît à mesure que la mémoire s'enrichit. Les auteurs reconnaissent que les gains sont plus marqués là où les performances de départ étaient faibles, ce qui relativise le progrès sur les tâches déjà maîtrisées ; le choix de la chimie tient aussi à des changements d'état propres et peu bruités, alors que des tâches déformables comme le linge s'annoncent plus difficiles. Aucune plateforme robotique indépendante du montage Cosmos3 n'a été testée, ce qui laisse les promesses de généralisation au stade de la publication tant que d'autres laboratoires n'auront pas reproduit cette architecture sur du matériel et des tâches différents.

Zeva s'inscrit dans une recherche qui cherche à contourner les coûts du réglage fin des modèles vision-langage-action classiques, à l'image de Pi-0, GR00T N2 ou Helix, généralement améliorés par des cycles coûteux de collecte et d'entraînement. En figeant le backbone et en reportant l'adaptation sur une mémoire en contexte, Tsinghua AIR et Domain Transform ciblent les sites dont l'environnement change souvent, tandis que les déploiements stables resteraient mieux servis par un réentraînement classique pour des raisons de coût. La démonstration reste pour l'instant limitée au backbone Cosmos3 et aux bancs RoboCasa365-Atomic5 et ChemLab-Evo, sans pilote industriel ni calendrier annoncés ; sa validation dépendra de sa reproduction sur d'autres plateformes et catégories de tâches, notamment celles à objets déformables où le signal causal est plus bruité.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique

À lire aussi

1arXiv cs.RO

Passage à l'échelle de la manipulation dextre par préentraînement de représentations d'actions

Une équipe de chercheurs propose ARPG (Action Representation Pretraining and Generation), une méthode qui sépare explicitement l'apprentissage des représentations d'actions de la génération d'actions pour la manipulation dextre. Dans un premier temps, un encodeur de représentation d'actions est pré-entraîné sur des données de manipulation humaine à grande échelle. Il est ensuite figé, puis un modèle génératif compact de 130 millions de paramètres apprend les distributions d'actions conditionnées par la tâche, directement dans l'espace de représentation de l'encodeur. Les auteurs annoncent des résultats de pointe sur le benchmark DexJoCo. Sur la manipulation dextre bimanuelle, le taux de succès moyen passe de 10,1 % pour π0.5 à 44,7 %. Des expériences de passage à l'échelle montrent aussi qu'une couverture plus large des comportements humains améliore les performances en aval. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu tient au goulot d'étranglement que le secteur rencontre sur la dextérité. Le pré-entraînement massif en vision, langage et vidéo a nettement amélioré la perception et la généralisation des modèles de manipulation. La génération d'actions complexes reste en revanche limitée par la rareté des démonstrations robotiques, qui doivent servir à apprendre à la fois la représentation des actions et leur distribution selon la tâche. En déplaçant le premier problème vers des données humaines, bien plus abondantes, ARPG suggère que la représentation d'actions constitue une dimension de passage à l'échelle indépendante, distincte de la taille du modèle ou du volume de démonstrations robot. Pour les intégrateurs et les équipes R&D, c'est une piste pour réduire le coût de collecte de téléopération. Un backbone de 130 millions de paramètres, très inférieur aux VLA de plusieurs milliards, pourrait aussi faciliter l'inférence embarquée. Une prudence s'impose toutefois : les chiffres proviennent d'un benchmark, probablement en simulation, et d'un article non encore évalué par les pairs. Le gain de 10,1 % à 44,7 % reste à confirmer sur matériel réel, et le taux de succès absolu demeure sous la barre de fiabilité qu'exige un usage industriel. Ce travail s'inscrit dans la course aux modèles généralistes de type VLA (vision-langage-action), dont π0.5 de Physical Intelligence sert ici de référence. Plusieurs acteurs exploitent déjà des vidéos et données humaines pour compenser le manque de données robotiques, notamment autour de GR00T chez NVIDIA ou de Helix chez Figure. Le texte ne précise ni code ni poids publiés, ni calendrier de validation sur robot physique. La suite logique serait des tests sur mains dextres réelles et une évaluation face à d'autres VLA récents. Il faudra aussi vérifier si la tendance se poursuit avec des corpus humains plus vastes et plus variés.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

De l'exécution passive à l'exploration active : la manipulation incarnée à base d'agents en environnements réalistes

Une équipe de recherche publie sur arXiv (référence 2609.29091, catégorie "new", soumission datée du 29 septembre 2026 selon le numéro d'article) un framework agentique de manipulation robotique baptisé approche d'exploration active, conçu pour dépasser les limites des systèmes actuels qui exécutent passivement des instructions prédéfinies. L'architecture repose sur trois modules collaboratifs : un module de planification pour le raisonnement de tâche à haut niveau, un module de perception pour la compréhension de la scène visuelle, et un module d'exécution pour la manipulation bas niveau. Les auteurs y ajoutent une stratégie d'entrelacement fin entre perception et exécution, qui couple étroitement le retour visuel à l'exécution des compétences motrices pour renforcer la robustesse de l'exploration. Le système est testé sur une tâche appelée Find-and-Place dans un environnement qualifié de réaliste, où l'objet cible n'est pas visible au départ et doit être activement localisé avant d'être saisi et déposé, en présence de distracteurs et d'indices sémantiques textuels. L'abstract ne fournit ni chiffres de performance, ni comparaison quantitative avec des méthodes concurrentes, ni détails matériels comme le payload ou les degrés de liberté du bras utilisé : il s'agit à ce stade d'une publication de recherche, pas d'un produit ou d'un déploiement commercial. L'intérêt pour l'industrie robotique tient au problème ciblé plus qu'aux résultats chiffrés. La plupart des architectures agentiques embarquées actuelles, y compris certains modèles vision-langage-action déployés en usine ou en entrepôt, restent conçues pour exécuter des instructions dans un environnement largement observable dès le départ. Ce travail pointe une limite réelle et documentée du secteur : dès qu'une cible est cachée, mélangée à des distracteurs ou seulement décrite par du texte, ces systèmes échouent faute de stratégie d'exploration active. Pour les intégrateurs qui visent des cas d'usage domestiques ou logistiques avec désordre et occlusions partielles, ce type de recherche indique que le sujet de l'autonomie perceptive sous observabilité partielle reste ouvert, contrairement à l'idée reçue que les pipelines VLA actuels suffiraient à généraliser à toute scène réelle. Ce papier s'inscrit dans la lignée des travaux récents sur les systèmes agentiques à long horizon pour la manipulation, un axe de recherche actif depuis l'essor des modèles vision-langage-action capables de planification multi-étapes. Il ne cite pas d'acteur industriel ni de robot commercial précis, se positionnant comme une contribution méthodologique plutôt qu'une annonce produit. Aucun calendrier de transfert vers un système déployé, ni partenariat industriel, n'est mentionné à ce stade ; les suites logiques attendues seraient une extension à d'autres tâches de manipulation et une évaluation comparative face aux frameworks agentiques existants.

RecherchePaper

1 source

3arXiv cs.RO

ACE : contrôle à base d'agents pour la manipulation incarnée via raisonnement de flux de travail zéro-shot

Une équipe de recherche publie sur arXiv (arXiv:2607.04162v1) ACE, pour Agentic Control for Embodied Manipulation, un cadre de raisonnement en zero-shot destiné à la manipulation d'objets sur table à partir d'instructions en langage naturel. Plutôt que de faire correspondre directement le langage à des actions motrices bas niveau, comme le font la plupart des politiques VLA de bout en bout, ACE orchestre un raisonnement de type workflow agentique couplé à deux compétences robotiques réutilisables : une interface de repérage visuel et une primitive générique de saisie-dépose. Le sous-objectif actif est traduit en un masque visuel qui désigne à la fois l'objet cible et sa destination, masque qui est suivi dans le temps, exposé à la vérification humaine, puis transmis à une politique d'exécution indépendante de la tâche. Le système fonctionne en boucle fermée grâce à une mémoire multi-échelle temporelle qui vérifie après chaque action si le sous-objectif a réussi, avant de décider de poursuivre, réessayer, corriger ou replanifier. Sur des tâches longues et logiquement complexes, comme la formation d'équations avec des cubes numérotés ou la récupération d'objets sous contrainte, ACE atteint 50% de réussite pour la formation d'équations et 70% pour la récupération sous contrainte, quand les approches de bout en bout classiques échouent largement sur ces mêmes tâches. Ce résultat cible un point de friction précis du secteur : la capacité d'un système à généraliser à des scènes et contraintes sémantiques inédites sans réentraînement spécifique à la tâche, ce qui reste l'un des principaux écarts entre les démonstrations en laboratoire et un déploiement robuste en environnement réel. En montrant qu'un raisonnement explicite par étapes, combiné à un contrôle médié par masque, surpasse des politiques end-to-end sur des tâches à horizon long, ACE apporte un argument concret pour les intégrateurs et équipes de R&D qui cherchent des architectures de manipulation capables de gérer l'échec d'exécution et la correction humaine en cours de tâche, plutôt que de miser uniquement sur l'échelle des données d'entraînement. ACE s'inscrit dans la lignée des travaux récents sur les architectures agentiques pour la robotique, qui cherchent à combiner les capacités de raisonnement des grands modèles de langage avec des compétences robotiques modulaires et vérifiables, en alternative aux politiques VLA monolithiques comme Pi-0 ou GR00T. Les auteurs positionnent explicitement leur approche contre des baselines de bout en bout sur les mêmes bancs d'essai, mais l'évaluation reste limitée à des scénarios de manipulation tabletop en conditions contrôlées, sans indication de déploiement industriel ni de partenariat annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Spark-0 : passage à l'échelle du pré-entraînement tactile aligné spatialement pour la manipulation dextre des robots

Spark-0, présenté sur arXiv (2610.22342) par l'équipe derrière xsparkai.com, est un modèle vision-toucher-langage-action (VTLA) conçu pour la manipulation dextre riche en contacts. Son principe repose sur un usage double du tactile. Pendant le pré-entraînement, des cartes de contact projetées dans l'espace image, issues de gants tactiles, ainsi que des caractéristiques d'un modèle « enseignant » 3D figé, supervisent les tokens visuels. Ces objectifs sont retirés à l'inférence. En parallèle, une voie tactile encode l'historique des forces par région et l'état 3D des taxels (capteurs tactiles individuels) pour conditionner l'« action expert », le module qui génère les commandes. Un seul checkpoint fonctionne donc en mode vision seule comme en mode tactile. Pour alimenter cette supervision, les auteurs ont constitué HumanTouch, un jeu de 1 000 heures de manipulation humaine avec gant tactile couvrant toute la main, combiné à de la vidéo égocentrique, des données robot et de la simulation. Ils publient aussi SparkArena, un banc d'essai associant des tâches simulées en vision seule et des tâches réelles avec tactile sur un même robot à main dextre. Spark-0 obtient le meilleur taux de succès moyen sur les deux volets et se classe premier sur les huit métriques agrégées de l'Ego Humanoid Manipulation Benchmark. Le résultat le plus parlant est une ablation à données et calcul identiques : conserver le toucher des 1 000 heures plutôt que le jeter fait passer le succès en vision seule sur Ego Humanoid de 52,5 % à 71,7 %, et le succès sur SparkArena-Real, où le tactile sert aussi au déploiement, de 44,0 % à 52,0 %. Pour les intégrateurs, l'enseignement est que le tactile n'est pas seulement une entrée supplémentaire coûteuse à câbler sur chaque robot : il peut servir de supervision à grande échelle et profiter à des machines déployées sans capteurs tactiles. Cela remet en question l'hypothèse selon laquelle le pré-entraînement purement visuel suffirait aux tâches où force, compliance et glissement naissant sont invisibles sur image. Il faut toutefois relativiser. Le gain en conditions réelles est modeste (+8 points, à 52 % de succès absolu), loin d'un niveau exploitable en production. Les benchmarks sont en partie introduits par les auteurs eux-mêmes, avec une seule plateforme dextre pour le volet réel, et aucun déploiement industriel ni temps de cycle n'est annoncé. Il s'agit d'un travail de recherche, pas d'un produit livré. Ce travail s'inscrit dans la lignée des modèles VLA généralistes (Pi-0, GR00T, Helix), très dépendants de la vision, et de la montée des données humaines égocentriques comme source bon marché de démonstrations. Le goulot restait l'absence de données tactiles à grande échelle, que les gants de capture comme HumanTouch cherchent à lever. La concurrence viendra des laboratoires et industriels qui misent déjà sur la dextérité, de Figure et Tesla aux acteurs asiatiques de la main tactile, sans qu'un acteur européen ne soit cité ici. Les suites logiques sont la publication des données et du code, la reproduction par des tiers sur d'autres mains robotiques, et l'extension à des tâches industrielles longues. Les auteurs ne communiquent à ce stade ni calendrier de pilotes ni partenaires de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source