RecherchearXiv cs.RO 28 octobre 2026

Récupérer pour agir : recherche de graphes de primitives de mouvement pour une exécution robuste des modèles VLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent Retrieve to Act (R2A), un cadre de « test-time scaling » destiné à renforcer la robustesse des politiques Vision-Language-Action (VLA) face aux décalages visuels hors distribution, sans réentraîner le modèle de base. Le principe consiste à structurer les démonstrations réussies du jeu d'entraînement en un graphe hors ligne de primitives de mouvement spatio-temporelles. À l'inférence, un réseau de neurones sur graphe (GNN) dépendant de la requête localise l'exécution en cours dans ce graphe et récupère les primitives futures compatibles. Ces priors géométriques sont ensuite fusionnés avec les actions prédites par la VLA figée grâce à un mécanisme de gating appris, dimension par dimension, qui corrige les trajectoires spatiales erronées tout en préservant la réactivité locale de la politique. Les tests portent sur trois architectures, GR00T N1.7, π0.5 et StableVLA. Les gains absolus de taux de réussite atteignent jusqu'à +12 points en simulation (benchmarks LIBERO-Plus et RoboTwin2.0-Plus) et +40 points en déploiement réel, sans aucun finetuning des politiques.

L'intérêt tient à l'angle d'attaque. Les méthodes de test-time existantes cherchent à supprimer les indices visuels parasites. R2A contourne le problème en considérant que l'expérience d'entraînement de la politique contient déjà des informations cinématiques propres, non affectées par les perturbations de l'image. Pour un intégrateur, cela répond à une faiblesse bien connue des VLA : une bonne généralisation sémantique qui s'effondre dès que l'éclairage, l'arrière-plan ou la disposition de la scène changent par rapport à la démo. Le fait que le module s'applique à trois politiques différentes sans les modifier est un argument de praticabilité, car il se superpose à un modèle déjà validé. Les réserves sont nettes : l'écart entre +12 points en simulation et +40 points en réel suggère des conditions de test réelles peu détaillées, et l'abstract ne donne ni taux de base, ni nombre d'essais, ni tâches, ni coût de calcul ou latence ajoutés par la récupération dans le graphe. Il s'agit d'un préprint (arXiv), sans produit ni déploiement industriel.

Ces travaux s'inscrivent dans un contexte où les politiques généralistes (la famille GR00T de NVIDIA, π0.5 de Physical Intelligence) dominent la recherche, tandis que la fragilité face aux perturbations contextuelles motive des benchmarks dédiés comme LIBERO-Plus et RoboTwin2.0-Plus. R2A relève de l'approche par récupération, qui exploite les données d'entraînement au moment de l'exécution plutôt que de renforcer les encodeurs visuels ou de multiplier les données d'augmentation. Une limite probable est sa dépendance à la couverture des démonstrations : une tâche absente du graphe offre peu de primitives exploitables. La page projet est disponible à l'adresse retrieve2act.github.io/r2a. Il faudra surveiller la reproduction par d'autres équipes, la diffusion du code et des tests sur des robots et des tâches plus variés avant de juger de la portée réelle de la méthode.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

RoboGene : un cadre à base d'agents pour générer des tâches diversifiées en pré-entraînement de modèles VLA

RoboGene est un framework agentique de génération de tâches de manipulation, conçu pour alimenter le pré-entraînement de modèles VLA (vision-langage-action). Il cible trois types de robots : bras simple, bras double et plateformes mobiles. Le système repose sur trois briques : un échantillonnage orienté diversité pour couvrir largement objets, scènes et compétences, une auto-réflexion agentique qui évalue la qualité de chaque tâche proposée, et une mémoire de retours validés par des humains, qui sert à vérifier l'exécution réelle et à affiner le processus en continu. Les auteurs ont collecté 18 000 trajectoires réelles et introduit des métriques de faisabilité et de diversité des tâches. Ils affirment que RoboGene surpasse des modèles de fondation de pointe comme GPT-4o et Gemini 2.5 Pro pour proposer des tâches. Les VLA entraînés sur ces données obtiennent de meilleurs taux de succès et une meilleure généralisation. Le jeu de données est publié sur Hugging Face et ModelScope, sous le nom d'organisation X-Humanoid. Il s'agit d'un travail de recherche, sans produit commercialisé ni déploiement industriel. L'enjeu est de déplacer le goulot d'étranglement de la robotique généraliste. Contrairement aux données web, les données d'interaction physique coûtent cher en temps opérateur, en matériel et en supervision. Ajouter des démonstrations ne suffit donc pas : leur valeur dépend de la variété des comportements couverts. RoboGene traite la curation des tâches comme un levier à part entière, en amont de la téléopération. Pour un intégrateur ou un responsable de programme de collecte, cela revient à optimiser le budget de démonstrations plutôt que son seul volume. Le résultat va aussi à l'encontre d'une idée répandue : les grands modèles généralistes ne sont pas de bons planificateurs de tâches physiques, car ils proposent des consignes peu faisables ou redondantes sans ancrage dans l'exécution réelle. Le rôle de la validation humaine dans la boucle montre que l'automatisation complète n'est pas encore atteinte. Les gains sont mesurés avec les métriques maison des auteurs, sur 18 000 trajectoires, ce qui reste modeste face aux corpus des grands laboratoires. La portée à l'échelle reste donc à démontrer. Le contexte est celui d'une course aux modèles de fondation robotiques, où Pi-0, GR00T et Helix misent sur de gros volumes de démonstrations, de simulation ou de données humaines. Le travail s'inscrit dans l'écosystème X-Humanoid, structure de recherche chinoise en humanoïdes, et rejoint la tendance à publier des jeux de données ouverts. Cette version v3 de l'article remplace des versions antérieures. Les prochaines étapes à surveiller sont des comparaisons sur des benchmarks communs, une réduction de la part de validation humaine et une éventuelle adoption par les équipes qui constituent des corpus de pré-entraînement.

RecherchePaper

1 source

3arXiv cs.RO

Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotique

Des chercheurs du Collaborative Robotics Lab de Virginia Tech ont publié Language Movement Primitives (LMP), un framework qui relie les modèles de vision-langage (VLM) aux Dynamic Movement Primitives (DMP), une famille de contrôleurs de trajectoire établie en robotique depuis les années 2000. Le principe: les DMP définissent des trajectoires continues et stables via un faible nombre de paramètres interprétables, et les VLM configurent ces paramètres directement à partir d'instructions en langage naturel. Testé sur 31 tâches de manipulation de bureau en conditions réelles, LMP atteint un taux de succès de 65%, contre 35% pour le meilleur système de référence évalué. Le pipeline fonctionne en mode zéro-shot, sans fine-tuning spécifique aux tâches cibles. L'article est disponible sur arXiv (2602.02839, troisième révision) et accompagné de vidéos de démonstration. Le vrai problème que LMP cible est le "grounding" moteur: transformer un raisonnement abstrait en commandes physiquement cohérentes. Les VLM comme GPT-4V excellent à décomposer une tâche en étapes logiques, mais produire des trajectoires exécutables reste hors de leur portée native. À l'inverse, les modèles de fondation robotique tels que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou RT-2 de Google génèrent des actions directement, mais nécessitent généralement un fine-tuning coûteux en données in-domain pour s'adapter à de nouvelles tâches. LMP propose une troisième voie: les DMP servent d'interface structurée entre le raisonnement LLM et le contrôle bas niveau, préservant la stabilité dynamique sans apprentissage supplémentaire. Le gain de 30 points de pourcentage en zéro-shot sur des tâches réelles est notable, même si le choix des baselines et les conditions de test précises mériteront une vérification indépendante par la communauté. Les DMP ont été formalisés par Schaal et al. dans les années 2000 et restent un outil de référence pour la manipulation grâce à leur stabilité et leur capacité de généralisation. L'approche de LMP s'inscrit dans la lignée de SayCan (Google) et Code-as-Policies (Liang et al.), mais descend plus bas dans la pile de contrôle sans passer par un réseau de politique intermédiaire. Les concurrents directs sont les VLA bout-en-bout comme OpenVLA ou le récent Helix d'Figure AI, qui offrent plus de flexibilité mais restent tributaires de larges jeux de données de démonstration. Les prochaines étapes probables incluent l'extension à des environnements non-tabulaires et à des robots à plus haute dimensionnalité, notamment la manipulation dextre sur bras 7-DOF.

RechercheOpinion

1 source

4arXiv cs.RO

Marche, course et récupération unifiées pour robots humanoïdes via des priors de mouvement adversariaux adaptatifs

Une équipe de chercheurs a publié fin mai 2026 sur arXiv (arXiv:2605.18611) un framework d'apprentissage par renforcement unifié permettant à un seul contrôleur de faire marcher, courir et se relever après une chute le robot humanoïde Unitree G1, sans commande explicite de changement de mode au déploiement. L'approche étend les Adversarial Motion Priors (AMP) en remplaçant la distribution de référence globale par un mécanisme de routage conditionné à l'état : un seuil fixe sur la gravité projetée (|gz+1| > 0,6, soit environ 37° d'inclinaison du torse par rapport à la verticale) aiguille chaque transition d'entraînement soit vers un discriminateur dédié à la récupération, soit vers un discriminateur de locomotion conditionné par la vitesse commandée, qui couvre à la fois la marche et la course. Seuls trois clips de motion capture extraits du jeu de données LAFAN1 sont nécessaires pour régulariser l'ensemble du comportement. Sur hardware réel, la politique tourne à 50 Hz sous forme d'un fichier ONNX figé, sans aucune logique de mode à l'exécution, et valide des relevés réussis depuis les positions ventrale et dorsale ainsi que des transitions fluides marche-course. Ce résultat s'attaque directement à un problème d'intégration récurrent dans la robotique humanoïde commerciale : la fragmentation en contrôleurs spécialisés par mode, reliés par des automates à états qui génèrent des zones de transition fragiles et coûteuses à maintenir. Démontrer qu'une politique apprise par RL couvre ces régimes de façon continue sur hardware réel, et non uniquement en simulation, affaiblit l'argument du sim-to-real gap rédhibitoire pour les comportements complexes. Le coût d'annotation est lui aussi remarquablement bas : trois clips de reference suffisent là où d'autres travaux en exigent des dizaines, ce qui rend la méthode potentiellement transférable à d'autres plateformes avec un effort de données limité, qu'il s'agisse du PAL Robotics TALOS, du MIROKAÏ d'Enchanted Tools, ou de tout humanoïde léger à faible budget de motion capture. La publication s'inscrit dans une course dense à la locomotion humanoïde robuste, où Boston Dynamics (Atlas), Figure (Figure 03), Agility Robotics (Digit) et Tesla (Optimus Gen 3) investissent massivement, mais publient peu. Sur le plan académique, des approches concurrentes comme les VLA (Vision-Language-Action models) de Physical Intelligence ou les travaux de Berkeley visent des politiques encore plus générales, mais sacrifient souvent la robustesse physique au profit de la flexibilité sémantique. L'utilisation du Unitree G1, disponible à environ 16 000 dollars et largement répandu dans les laboratoires, confère à ces travaux une reproductibilité pratique supérieure aux publications sur plateformes fermées. L'article ne précise pas de timeline de déploiement industriel, mais la compatibilité ONNX et l'absence de logique embarquée à l'exécution réduisent la barrière à l'intégration pour un OEM ou un intégrateur souhaitant évaluer la méthode sur sa propre plateforme.

UELa méthode, compatible ONNX et nécessitant seulement 3 clips de motion capture, est explicitement identifiée comme transférable au MIROKAÏ d'Enchanted Tools (FR) et au TALOS de PAL Robotics (EU), réduisant le coût d'adaptation pour les équipes de recherche et les intégrateurs européens.

RecherchePaper

1 source