IA physiquearXiv cs.RO 7 août 2026

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles.

Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier.

DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

TEMPO : apprendre le contexte temporel pour la manipulation robotique dynamique

Publié fin 2026 sur arXiv (2609.16864), un article de recherche présente TEMPO, une méthode destinée à corriger les limites des modèles vision-langage-action (VLA) en manipulation dynamique. Ces modèles ne traitant qu'une seule observation au moment de l'inférence, ils souffrent de deux défauts identifiés par les auteurs : l'ambiguïté de mouvement, qui empêche d'anticiper la trajectoire d'un objet en déplacement, et l'aliasing d'état, où des scènes visuellement identiques appellent des actions différentes selon le moment de la tâche. TEMPO ajoute à un VLA déjà entraîné deux signaux temporels, un résumé de mouvement issu d'un modèle de fondation vidéo figé et un historique proprioceptif compact, sans modifier le backbone ni alourdir sensiblement le calcul. Sur quatre tâches dynamiques testées, le taux de réussite du transfert de bouteille (Bottle Handover) passe de 44% à 74%, et les auteurs publient aussi TEMPO-Bench, plus de 50 000 images annotées pour évaluer la perception temporelle des robots, en formats régression et choix multiple. Le résultat touche un point sensible pour le secteur : la plupart des VLA actuels, de Pi-0 à GR00T N2 en passant par Helix, reposent sur une image instantanée et échouent typiquement sur les tâches impliquant des objets en mouvement ou des remises main à main, un scénario courant en logistique et en collaboration homme-robot. En montrant que ces échecs persistent quels que soient la taille du modèle et la latence d'inférence, les auteurs suggèrent que le verrou n'est pas la puissance de calcul mais l'absence de contexte temporel, ce qui nuance l'hypothèse répandue selon laquelle le simple passage à l'échelle suffirait à combler l'écart entre démonstrations en laboratoire et usage réel. Pour les intégrateurs, l'intérêt pratique est que TEMPO se greffe sur un modèle existant sans réentraînement du backbone. L'article, encore un preprint non revu par les pairs et sans affiliation précisée dans le résumé, s'inscrit dans les efforts académiques visant à combler les limites des VLA popularisés depuis 2024-2025 par des acteurs comme Physical Intelligence, Nvidia ou Figure AI. Il ne s'agit pas d'un déploiement commercial mais d'une contribution méthodologique assortie d'un benchmark ouvert, TEMPO-Bench, disponible sur le site du projet (tempo-robot.github.io). Conçue comme un module agnostique du backbone, la méthode devrait logiquement être testée sur d'autres familles de VLA et sur davantage de plateformes robotiques, au-delà des quatre tâches évaluées dans cette première étude.

IA physiqueOpinion

1 source

2arXiv cs.RO

Politique de force : apprentissage d'un contrôle hybride force-position en cadre d'interaction pour la manipulation en contact

Des chercheurs ont publié sur arXiv (2602.22088v2) "Force Policy", une architecture de contrôle pour la manipulation robotique en contact prolongé. L'approche repose sur une séparation architecturale nette entre deux régimes d'action : un module global guidé par la vision qui pilote les mouvements en espace libre, et un module local haute fréquence qui prend le relais dès qu'un contact est établi, en exploitant le retour d'effort pour exécuter un contrôle hybride force-position. Le coeur du système est ce que les auteurs appellent un "interaction frame" : un repère local instantané, récupéré automatiquement à partir de démonstrations humaines, qui découple la régulation de force de l'exécution du mouvement. Les expériences en conditions réelles couvrent plusieurs tâches à contact riche (assemblage, insertion, vissage) et démontrent des gains mesurables en stabilité de contact, précision de régulation de force et généralisation à des objets aux géométries et propriétés physiques variées. L'enjeu industriel est direct : la manipulation en contact riche reste le principal goulot d'étranglement des robots de production et d'assemblage. Les politiques d'apprentissage actuelles, qu'il s'agisse de Diffusion Policy, d'ACT ou des approches VLA, sont conçues pour l'espace libre et degradent significativement dès qu'un outil touche une pièce. En injectant le retour d'effort dans une boucle locale haute fréquence distincte de la boucle visuelle, Force Policy adresse structurellement ce découplage plutôt que de le noyer dans un réseau monolithique. La capacité à estimer le repère d'interaction à partir de démonstrations, sans hypothèse sur la structure de la tâche, réduit l'ingénierie manuelle nécessaire au déploiement. Ce travail s'inscrit dans une ligne de recherche active sur le contrôle hybride appris, aux côtés d'approches comme Pi-0 (Physical Intelligence) ou les travaux sur le compliance learning chez CMU et Stanford. Il reste à ce stade une démonstration académique, sans déploiement industriel annoncé ni partenariat constructeur mentionné. L'étape suivante naturelle serait une validation sur des cellules d'assemblage réelles, avec des volumes de cycle et des tolérances conformes aux standards industriels. Le code et les démonstrations vidéo sont disponibles sur force-policy.github.io.

IA physiquePaper

1 source

3arXiv cs.RO

Apprendre la physique à partir de modèles vidéo préentraînés : modèles du monde continus et séquentiels pour la manipulation robotique

Une équipe de chercheurs propose PhysGen, un cadre d'apprentissage publié en prépublication sur arXiv (réf. 2603.00110v2), qui exploite des modèles de génération vidéo pré-entraînés comme substituts de simulateurs physiques pour la manipulation robotique. L'idée centrale est de traiter la vidéo générée de manière autorégressive comme un proxy du monde physique, et d'y greffer des actions robotiques continues via une représentation unifiée baptisée "physical tokens", des jetons partagés qui fusionnent la modalité vidéo et les commandes motrices. Pour assurer la convergence, PhysGen intègre du masquage causal, de la cinématique inverse, une prédiction multi-tokens anticipative (L-MTP) et du cache clé-valeur (KV caching). Sur les benchmarks Libero et ManiSkill, le système surpasse OpenVLA de 13,8 points et WorldVLA de 8,8 points. Plus frappant : en conditions réelles, PhysGen atteint les performances de π₀ (Physical Intelligence) sur des tâches physiquement exigeantes, notamment la saisie d'objets transparents, sans avoir bénéficié d'un pré-entraînement spécifique aux données d'action. L'enjeu pour l'industrie est direct : la pénurie de données robotiques à grande échelle reste le principal frein à la généralisation des politiques de manipulation. PhysGen contourne ce goulot en recyclant des modèles vidéo entraînés sur des corpus massifs d'internet pour en extraire une intuition physique implicite, permanence des objets, dynamique de contact, sans collecter de trajectoires robot. Le fait de rivaliser avec π₀ sans son pré-entraînement propriétaire sur des données d'action est une validation partielle de l'hypothèse que le "sim-to-real gap" peut être réduit par la connaissance du monde visuel plutôt que par des démonstrations téléopérées. Cela dit, les résultats restent issus d'un papier de recherche avec des benchmarks sélectifs ; la robustesse sur des scènes industrielles non structurées reste à démontrer. PhysGen s'inscrit dans un courant actif qui voit les laboratoires de robotique piller les architectures de génération multimodale pour nourrir leurs politiques de contrôle : UniSim, Genie, et surtout WorldVLA avaient déjà exploré cette piste. Physical Intelligence (π₀) représente aujourd'hui la référence en termes de performances sur tâches réelles grâce à son pré-entraînement massif sur données d'action hétérogènes, ce qui rend la comparaison de PhysGen d'autant plus significative. OpenVLA (Berkeley) constitue le concurrent open-source direct. La prochaine étape logique pour les auteurs serait une évaluation sur des manipulateurs industriels multi-DOF en environnement non contrôlé, et une intégration avec des pipelines de données synthétiques pour réduire encore la dépendance aux démonstrations humaines.

IA physiqueOpinion

1 source

4arXiv cs.RO

Apprendre à sentir le futur : DreamTacVLA pour la manipulation riche en contacts

Des chercheurs ont publié DreamTacVLA, un framework qui dote les modèles Vision-Language-Action (VLA) d'un sens du toucher anticipatif. Ces architectures, parmi lesquelles Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, généralisent des comportements robotiques à partir de connaissances web-scale, mais restent aveugles à la physique du contact : force, texture et glissement. DreamTacVLA introduit une perception hiérarchique à trois niveaux : images tactiles haute résolution (micro-vision), caméra poignet (vision locale) et vue tierce (macro-vision), le tout aligné par une perte baptisée Hierarchical Spatial Alignment (HSA). Le système est ensuite affiné par un modèle de monde tactile prédisant des états de contact futurs, ce qui lui permet de conditionner ses décisions à la fois sur des observations réelles et sur des conséquences anticipées ; sur des benchmarks de manipulation contact-riche (vissage, pelage, textiles), il atteint jusqu'à 95 % de succès face aux baselines VLA état de l'art, appuyé par un dataset hybride combinant simulation haute-fidélité (digital twin) et expériences en monde réel. Ce résultat quantifie concrètement le "gap tactile" des VLA modernes : intégrer des signaux de contact haute résolution est discriminant pour des tâches industrielles entières, de l'assemblage de précision au conditionnement de composants déformables. Conditionner les décisions sur des conséquences tactiles anticipées, et non seulement sur des observations en temps réel, rapproche les VLA du raisonnement physique implicite des opérateurs expérimentés. Pour les intégrateurs B2B, cela laisse entrevoir une prochaine génération de politiques robotiques capables de manipulation fine sans capteurs de force-couple coûteux, à condition d'embarquer des capteurs tactiles conformes haute résolution. La démonstration reste cependant purement académique : aucun déploiement industriel ni partenariat de production n'est annoncé dans le papier. Le travail s'inscrit dans un mouvement d'enrichissement des VLA au-delà du seul canal vision-langage, aux côtés d'approches intégrant proprioception, retour de force ou audio. DreamTacVLA se distingue par l'application au domaine tactile de techniques issues des modèles de monde visuels (Dreamer, RSSM), une transposition méthodologiquement originale. L'article est à sa troisième révision arXiv (v3), signe d'une évaluation par les pairs active. Parmi les acteurs à surveiller : Sanctuary AI et Agility Robotics sur les politiques de manipulation, GelSight et Contactile sur les capteurs tactiles, et en Europe, Pollen Robotics qui explore des effecteurs sensoriellement enrichis.

UEPollen Robotics, identifié comme acteur européen explorant des effecteurs sensoriellement enrichis, est directement positionné pour intégrer ce type d'avancée tactile dans ses politiques de manipulation VLA.

IA physiqueOpinion

1 source