IA physiquearXiv cs.RO 7 août 2026

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles.

Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier.

DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X

À lire aussi

1arXiv cs.RO

TEMPO : apprendre le contexte temporel pour la manipulation robotique dynamique

Publié fin 2026 sur arXiv (2609.16864), un article de recherche présente TEMPO, une méthode destinée à corriger les limites des modèles vision-langage-action (VLA) en manipulation dynamique. Ces modèles ne traitant qu'une seule observation au moment de l'inférence, ils souffrent de deux défauts identifiés par les auteurs : l'ambiguïté de mouvement, qui empêche d'anticiper la trajectoire d'un objet en déplacement, et l'aliasing d'état, où des scènes visuellement identiques appellent des actions différentes selon le moment de la tâche. TEMPO ajoute à un VLA déjà entraîné deux signaux temporels, un résumé de mouvement issu d'un modèle de fondation vidéo figé et un historique proprioceptif compact, sans modifier le backbone ni alourdir sensiblement le calcul. Sur quatre tâches dynamiques testées, le taux de réussite du transfert de bouteille (Bottle Handover) passe de 44% à 74%, et les auteurs publient aussi TEMPO-Bench, plus de 50 000 images annotées pour évaluer la perception temporelle des robots, en formats régression et choix multiple. Le résultat touche un point sensible pour le secteur : la plupart des VLA actuels, de Pi-0 à GR00T N2 en passant par Helix, reposent sur une image instantanée et échouent typiquement sur les tâches impliquant des objets en mouvement ou des remises main à main, un scénario courant en logistique et en collaboration homme-robot. En montrant que ces échecs persistent quels que soient la taille du modèle et la latence d'inférence, les auteurs suggèrent que le verrou n'est pas la puissance de calcul mais l'absence de contexte temporel, ce qui nuance l'hypothèse répandue selon laquelle le simple passage à l'échelle suffirait à combler l'écart entre démonstrations en laboratoire et usage réel. Pour les intégrateurs, l'intérêt pratique est que TEMPO se greffe sur un modèle existant sans réentraînement du backbone. L'article, encore un preprint non revu par les pairs et sans affiliation précisée dans le résumé, s'inscrit dans les efforts académiques visant à combler les limites des VLA popularisés depuis 2024-2025 par des acteurs comme Physical Intelligence, Nvidia ou Figure AI. Il ne s'agit pas d'un déploiement commercial mais d'une contribution méthodologique assortie d'un benchmark ouvert, TEMPO-Bench, disponible sur le site du projet (tempo-robot.github.io). Conçue comme un module agnostique du backbone, la méthode devrait logiquement être testée sur d'autres familles de VLA et sur davantage de plateformes robotiques, au-delà des quatre tâches évaluées dans cette première étude.

IA physiqueOpinion

1 source

2arXiv cs.RO

Politique de force : apprentissage d'un contrôle hybride force-position en cadre d'interaction pour la manipulation en contact

Des chercheurs ont publié sur arXiv (2602.22088v2) "Force Policy", une architecture de contrôle pour la manipulation robotique en contact prolongé. L'approche repose sur une séparation architecturale nette entre deux régimes d'action : un module global guidé par la vision qui pilote les mouvements en espace libre, et un module local haute fréquence qui prend le relais dès qu'un contact est établi, en exploitant le retour d'effort pour exécuter un contrôle hybride force-position. Le coeur du système est ce que les auteurs appellent un "interaction frame" : un repère local instantané, récupéré automatiquement à partir de démonstrations humaines, qui découple la régulation de force de l'exécution du mouvement. Les expériences en conditions réelles couvrent plusieurs tâches à contact riche (assemblage, insertion, vissage) et démontrent des gains mesurables en stabilité de contact, précision de régulation de force et généralisation à des objets aux géométries et propriétés physiques variées. L'enjeu industriel est direct : la manipulation en contact riche reste le principal goulot d'étranglement des robots de production et d'assemblage. Les politiques d'apprentissage actuelles, qu'il s'agisse de Diffusion Policy, d'ACT ou des approches VLA, sont conçues pour l'espace libre et degradent significativement dès qu'un outil touche une pièce. En injectant le retour d'effort dans une boucle locale haute fréquence distincte de la boucle visuelle, Force Policy adresse structurellement ce découplage plutôt que de le noyer dans un réseau monolithique. La capacité à estimer le repère d'interaction à partir de démonstrations, sans hypothèse sur la structure de la tâche, réduit l'ingénierie manuelle nécessaire au déploiement. Ce travail s'inscrit dans une ligne de recherche active sur le contrôle hybride appris, aux côtés d'approches comme Pi-0 (Physical Intelligence) ou les travaux sur le compliance learning chez CMU et Stanford. Il reste à ce stade une démonstration académique, sans déploiement industriel annoncé ni partenariat constructeur mentionné. L'étape suivante naturelle serait une validation sur des cellules d'assemblage réelles, avec des volumes de cycle et des tolérances conformes aux standards industriels. Le code et les démonstrations vidéo sont disponibles sur force-policy.github.io.

IA physiquePaper

1 source

3arXiv cs.RO

Cloak : manipulation inter-incarnations sans apprentissage en masquant l'effecteur final au VLA

Une équipe de recherche a publié sur arXiv (référence 2606.22836v2, version révisée) une méthode baptisée Cloak, conçue pour permettre à un modèle Vision-Language-Action (VLA) de transférer ses compétences de manipulation vers de nouveaux robots sans aucune donnée d'entraînement supplémentaire, un transfert dit "zero-shot cross-embodiment". Le principe consiste à masquer l'effecteur terminal (la pince ou la main) dans le flux vidéo de la caméra poignet du robot, puisque cette partie occupe une portion large et systématique du champ visuel et diffère d'un robot à l'autre. Le masque est généré en simulation à partir de la géométrie connue du robot, en temps réel, sans recourir à des modèles de segmentation ou des modèles génératifs. Les chercheurs ont entraîné un modèle nommé Cloak-VLA en utilisant uniquement un jeu de données collecté sur une pince parallèle simple, puis ont vérifié que ce modèle exécute des tâches de manipulation sur des morphologies jamais vues à l'entraînement : une autre pince, un autre bras robotique, et une main à cinq doigts, sans avoir collecté la moindre donnée sur ces nouvelles configurations. Cette approche s'attaque à l'un des goulots d'étranglement les plus coûteux de la robotique apprenante : la nécessité de recollecter des données de démonstration pour chaque nouveau matériel, ce qui freine le déploiement rapide de modèles fondation type VLA (dans la lignée de Pi-0 ou GR00T) sur des flottes hétérogènes de robots. Si la méthode tient à plus grande échelle, elle laisse entrevoir la possibilité de découpler les jeux de données de manipulation du matériel sur lequel ils ont été enregistrés, un argument direct pour les intégrateurs qui gèrent plusieurs types de bras ou de pinces et veulent réutiliser un même corpus d'entraînement plutôt que de le dupliquer par robot. Cela nourrit aussi le débat sur la généralisation réelle des VLA, souvent démontrée sur des cas choisis plutôt que validée en conditions de production. Ce travail s'inscrit dans le courant de recherche actif autour des modèles VLA génériques pour la manipulation robotique, où plusieurs laboratoires cherchent à réduire la dépendance aux données spécifiques à chaque robot par des techniques d'augmentation ou d'abstraction visuelle. L'article, classé comme une soumission de type "replace" sur arXiv, ne précise pas d'partenaire industriel ni de calendrier de déploiement commercial ; il s'agit à ce stade d'une contribution de recherche évaluée en simulation et sur un nombre limité de plateformes robotiques, sans validation annoncée à grande échelle en environnement industriel.

IA physiqueActu

1 source

4arXiv cs.RO

EgoSteer : un système complet pour la manipulation dextre pilotable à partir de vidéos égocentriques

Des chercheurs publient EgoSteer, un système complet destiné à rendre les mains robotiques dextres pilotables par instructions en langage naturel, à partir de vidéos égocentriques humaines (arXiv:2607.09701). Le dispositif repose sur trois briques : EgoSmith, un pipeline de données qui a curé 9,6 mille heures de vidéos égocentriques filmées en conditions réelles pour constituer un corpus de pré-entraînement de haute qualité, avec un débit neuf fois supérieur et une précision meilleure que les méthodes précédentes ; une pile robotique unifiée gérant téléopération et correction humaine en boucle ; et EgoSteer lui-même, un modèle vision-langage-action (VLA) enrichi d'un modèle du monde, entraîné sur une infrastructure optimisée. Le système exécute des instructions en langage libre sur plus de 40 tâches distinctes, avec récupération après échec, dextérité fine et capacité de généralisation. Après un pré-entraînement sur données humaines suivi d'un ancrage par post-entraînement robotique et d'un raffinement DAgger, le modèle s'adapte en few-shot à des tâches longues et complexes comme le pliage de boîtes, avec un taux de réussite supérieur à 75% sur deux plateformes robotiques différentes. Le code, les données et le modèle sont mis en open-source sur egosteer.github.io. Ce travail s'attaque directement au principal goulot d'étranglement des mains robotiques dextres : l'absence de données de démonstration à grande échelle, alignées avec le langage et précises au niveau de l'action. En démontrant qu'un pré-entraînement massif sur vidéos humaines non robotiques peut ensuite être ancré efficacement sur robot réel avec relativement peu de données, l'équipe apporte un signal concret sur le transfert vidéo-vers-robot à l'échelle, un sujet central pour les intégrateurs et laboratoires qui cherchent à réduire le coût de collecte de démonstrations téléopérées. La généralisation cross-embodiment et la récupération après échec restent des points faibles connus des VLA actuels ; les résultats annoncés ici, à évaluer au-delà des tâches et conditions choisies par les auteurs, vont dans le sens d'un rapprochement entre démonstrations en laboratoire et usage réel. Le manque de données dextres de qualité freine depuis plusieurs années l'extension des architectures VLA, popularisées par des modèles généralistes comme Pi-0 ou GR00T, au-delà des bras et pinces simples vers des mains multi-doigts. EgoSteer s'inscrit dans cette course à l'échelle des données, aux côtés d'efforts similaires chez les acteurs de l'humanoïde et de la manipulation dextre. L'ouverture complète du code, du modèle et du jeu de données constitue la prochaine étape logique pour permettre une réplication indépendante des résultats annoncés.

IA physiqueActu

1 source