RecherchearXiv cs.RO 30 septembre 2026

Maîtriser les VLA face aux erreurs d'exécution du robot : autocompensation et tests de résistance

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode d'adaptation au déploiement, baptisée « self-compensating VLA », qui vise un défaut récurrent des politiques vision-langage-action (VLA) : elles échouent quand le mouvement réellement exécuté par le robot s'écarte de l'action commandée. Ces erreurs d'exécution viennent de la mécanique et des conditions d'usage, comme l'usure ou les changements de charge utile. La méthode met à jour la politique en ligne, sans récompense de tâche ni étiquette. Elle exploite uniquement le résidu entre l'action commandée par le VLA et le mouvement mesuré, ce qui permet à la politique de pré-compenser l'écart lorsqu'elle génère ses commandes. L'équipe publie aussi RoboStress, un banc d'essai en simulation qui combine des modèles articulaires établis de frottement, de jeu mécanique (backlash), de compliance et d'erreur de compensation de gravité. Il en tire sept scénarios de déploiement où l'erreur dépend de l'état du robot et de son historique de mouvement. Sur RoboStress, la méthode dépasse les politiques de base et les approches qui intègrent la robustesse à l'entraînement. Sur deux bras physiques aux historiques d'usage différents, le taux de réussite moyen gagne plus de 30 points de pourcentage sur chacun, y compris sur des objets absents des démonstrations.

L'enjeu touche un angle mort de la commercialisation. Les VLA sont surtout évalués sur des robots neufs, bien calibrés et proches de ceux qui ont servi à collecter les données. Une flotte en production est différente : les articulations s'usent, les réducteurs prennent du jeu, les outils changent la charge. Ces travaux suggèrent qu'une part des échecs attribués à la « généralisation » des modèles relève en réalité d'un décalage mécanique, ce qui élargit l'écart entre démonstration et réalité. Pour un intégrateur ou un COO industriel, une adaptation sans supervision, sans reprise de collecte de données ni réentraînement, est intéressante : elle pourrait réduire le coût de maintien d'une flotte hétérogène. Des réserves s'imposent. Les résultats physiques portent sur seulement deux bras, l'ampleur des gains dépend des politiques de base testées, et le banc de simulation reste une approximation de la dégradation réelle. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement.

Ce travail s'inscrit dans un courant qui cherche à rendre les VLA robustes après l'entraînement, alors que la course aux modèles généralistes, avec Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, se concentre surtout sur les données, l'échelle et la généralisation sémantique. Jusqu'ici, la réponse dominante à l'erreur d'exécution consistait à randomiser la dynamique en simulation ou à enrichir les données, ce que l'article prend justement pour référence. L'approche proposée relève plutôt du contrôle adaptatif classique, transposé aux politiques apprises. La suite logique serait de la tester sur davantage de plateformes, de la coupler à des modèles plus grands et de la valider sur des cycles longs, où l'usure évolue réellement. Le préprint (arXiv, v1) n'annonce ni code ni partenaire industriel.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Preuves d'interaction ancrées sur l'instance : ancrer les plans du robot dans les gestes de désignation et de manipulation humains

Des chercheurs proposent l'« instance-anchored interaction évidence » (IAE), une méthode qui permet à un robot d'agir sur ce qu'une personne a montré plutôt que dit : quel carton, parmi plusieurs identiques, a été désigné du doigt, ou quelle boîte a été manipulée. Le défaut à corriger est que le plan s'exécute à partir de la scène finale, alors que l'indice survient plus tôt, parfois sur des objets qui ont bougé depuis. L'IAE associe chaque objet de la scène finale à un identifiant public, conserve son identité tout au long de la vidéo par propagation arrière de masques, puis décrit chaque image par la géométrie entre mains, avant-bras et instances. Un réseau d'évidence, entraîné uniquement à partir des résultats des tâches, note les instances. Pour le pointage, un programme dynamique contraint par une grammaire, entraîné avec une perte structurée, décode des programmes objet-destination. Des programmes symboliques, sans apprentissage, traitent la désambiguïsation des références et les tâches épisodiques. Sur 1 255 requêtes du benchmark WatchAct, évaluées par exécution symbolique, l'IAE atteint 64,2 % de succès de plan sur les tâches à intention implicite, contre 27,5 % pour un modèle vision-langage de 32 milliards de paramètres (succès strict : 49,7 % contre 15,4 %). Sur la restauration, l'inversion et l'imitation, sans entraînement spécifique, elle obtient 46,4 % contre 27,0 %. Ces chiffres montrent que l'écart ne vient pas d'une meilleure perception brute, mais de la manière dont l'information est structurée. Les auteurs ont testé des contrôles avec les mêmes surcouches de perception, les mêmes 32 images, un suivi vers l'avant, ou un modèle de relations entraîné sur les mêmes étiquettes. Aucun n'explique le gain. Lorsque le même modèle de langage reçoit l'évidence de l'IAE sous forme de texte, avec sa signification expliquée, il monte à 57,4 %. L'essentiel du bénéfice vient donc de l'ancrage des preuves sur les instances, et les programmes explicites ajoutent 6,8 points à un coût bien moindre. Pour les intégrateurs et les équipes qui déploient des robots d'assistance en logistique ou en collaboration homme-robot, c'est un argument en faveur d'architectures hybrides (perception structurée plus exécution symbolique) plutôt que d'un grand modèle généraliste alimenté par des images brutes. Le pointage reste toutefois le cas le plus difficile, avec seulement 16,9 % de succès strict, ce qui rend la méthode inadaptée à un déploiement sans supervision pour ce type d'interaction. Il s'agit en outre d'un résultat de benchmark en laboratoire, et non d'un déploiement réel. Ce travail s'inscrit dans l'effort de rendre les modèles vision-langage-action et les planificateurs fondés sur des VLM capables de comprendre l'intention humaine dans des scènes encombrées, où l'identité des objets se perd quand ils sont déplacés. Les modèles généralistes de 32 milliards de paramètres restent la référence comparée ici, et leur faiblesse sur les objets identiques est mise en évidence. La publication est un preprint arXiv (v1), non évalué par des pairs, et le code est disponible sur GitHub (WeiZhou96/iae-watchact). Aucun calendrier de pilote industriel n'est annoncé. Les prochaines étapes probables concernent l'amélioration du pointage et la validation sur des robots réels, au-delà de l'évaluation par exécution symbolique.

RecherchePaper

1 source

2arXiv cs.RO

EIDA : adaptation de la dynamique d'exécution et d'interface pour la navigation de robots, du réel à la simulation puis au réel

Des chercheurs publient sur arXiv (2610.01219) EIDA, pour « Execution-Interface Dynamics Adaptation », une méthode qui vise à réduire l'écart entre simulation et robot réel en navigation. Le problème ciblé est précis. Une politique apprise en simulation échoue souvent parce que les commandes de vitesse produisent, sur la plateforme réelle, un mouvement et un retour de vitesse différents de ceux modélisés à l'entraînement. EIDA ajuste ces réponses à partir de données d'exécution recueillies sur la plateforme cible, sans reconstruire la dynamique des actionneurs. Un premier modèle, qui prédit les incréments de pose dans le repère du corps, met à jour la géométrie du simulateur. Un second modèle prédit le retour de vitesse que perçoit la politique, et un court historique de ce retour est ajouté à son entrée. Le tout tourne dans un simulateur léger parallélisé sur GPU. Sur les jeux de validation complets du Jackal (robot à roues) et du Unitree Go2 (quadrupède), les modèles ajustés réduisent les erreurs de position et de lacet par rapport au modèle de mouvement prédéfini du simulateur. Sur 100 environnements de navigation évalués dans un autre simulateur physique, EIDA obtient le meilleur taux de réussite et le meilleur score de navigation parmi les politiques apprises comparées, avec ou sans guidage global. Sur un Go2 réel, il atteint le but sans collision dans 20 essais sur 20 en scène statique, contre 4 sur 20 pour la base de référence. L'intérêt tient à l'approche. Beaucoup d'équipes cherchent à résoudre le « sim-to-real » en modélisant finement les moteurs, les couples et les frottements, ce qui est coûteux et propre à chaque machine. EIDA place l'adaptation à l'interface d'exécution, c'est-à-dire entre la commande de vitesse et le mouvement observé, et s'appuie sur des données collectées à l'exécution. Pour un intégrateur qui déploie des politiques de navigation sur plusieurs plateformes, un recalage à partir d'un jeu de données de conduite est plus réaliste qu'une identification complète de la dynamique. Le résultat sur les ablations est aussi instructif : l'écart ne vient pas seulement du mouvement réel, mais de la manière dont la politique estime sa propre vitesse, ce qui oblige à aligner ces estimations. Il faut toutefois relativiser. Il s'agit d'un préprint non évalué par des pairs. Le test physique porte sur un seul robot, en scène statique, avec 20 essais, et rien n'indique encore une tenue en environnement dynamique ou sur d'autres morphologies. Ce travail s'inscrit dans la lignée des méthodes « real-to-sim-to-real », qui vont des approches de randomisation de domaine à l'identification de systèmes et aux modèles de dynamique appris. La navigation par apprentissage par renforcement entraîné en simulation parallèle sur GPU est devenue courante pour les quadrupèdes comme le Go2, et la question du transfert reste son principal frein. Le choix du Jackal et du Go2 montre la volonté de couvrir un robot à roues et un robot à pattes, mais la validation en conditions réelles ne concerne que ce dernier. Les auteurs ne mentionnent ni pilote industriel ni calendrier. La suite logique serait des essais en scènes dynamiques, sur davantage de plateformes, et une comparaison avec des méthodes d'adaptation en ligne.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Les modèles VLA maîtrisent-ils les bases ? Évaluation de la rétention du sens commun et des connaissances du monde

Une équipe de recherche a publié sur arXiv (arXiv:2606.19297) un protocole d'évaluation baptisé Act2Answer, conçu pour mesurer objectivement combien de connaissances de sens commun et de savoirs factuels les modèles Vision-Language-Action (VLA) conservent après leur fine-tuning sur des données robotiques. Le protocole transforme les benchmarks classiques d'évaluation de modèles de langage visuels (VLM) en épisodes tabulaires courts : l'agent doit répondre à une question en plaçant physiquement un objet parmi plusieurs candidats sur une surface, ce qui ancre l'évaluation dans une action réelle plutôt que dans un output textuel. L'étude couvre 7 modèles VLA et 9 modèles VLM de référence, testés sur une suite de scénarios couvrant plusieurs catégories de connaissances. À cela s'ajoute une technique de sondage couche par couche (layerwise intent probing) pour localiser où l'information pertinente à la réponse est encodée dans le backbone VLM et la tête d'action. Les résultats révèlent une dégradation systématique, mais inégale, des connaissances après adaptation robotique. Les VLA maintiennent des performances solides sur les concepts simples, mais accusent des écarts significatifs sur les catégories sémantiquement plus riches par rapport à leurs VLM d'origine. Autrement dit, le fine-tuning robotique érode préférentiellement les représentations de haut niveau, celles qui portent le raisonnement nuancé. Le probing couche par couche montre que les signaux pertinents culminent dans les couches intermédiaires du réseau, puis s'atténuent dans les couches supérieures, ce qui suggère que la tête d'action interfère avec la propagation des connaissances sémantiques. Fait notable : l'entraînement conjoint avec des données VQA (Visual Question Answering) est associé à une meilleure rétention des connaissances, ouvrant une piste concrète pour les architectures futures. L'outil résout aussi un problème méthodologique persistant : il devient difficile de distinguer un échec dû à une connaissance absente d'un échec de contrôle moteur de bas niveau. Act2Answer s'inscrit dans un débat plus large sur le sim-to-real gap et la robustesse des VLA en déploiement industriel. Les modèles VLA actuels, comme Pi-0 (Physical Intelligence), OpenVLA, ou les architectures dérivées de modèles comme LLaVA et Qwen-VL, héritent de VLMs préentraînés sur des corpus massifs, puis sont spécialisés sur des datasets robotiques relativement restreints. La question de la rétention des connaissances est directement pertinente pour les intégrateurs qui misent sur ces modèles pour des tâches impliquant une compréhension contextuelle du monde réel, au-delà du simple pick-and-place. Aucun acteur européen n'est mentionné dans l'étude. Le code et les environnements Act2Answer sont disponibles publiquement, ce qui permettra à d'autres équipes de compléter les comparaisons avec d'autres architectures et de tester l'impact de stratégies d'entraînement alternatives.

UELes équipes de recherche et les intégrateurs européens travaillant sur les VLA peuvent exploiter le benchmark Act2Answer (code public) pour évaluer la rétention de connaissances de leurs modèles et tester la stratégie d'entraînement conjoint VQA.

RechercheOpinion

1 source

4arXiv cs.RO

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle. Partant d'une politique apprise par imitation (IL), les auteurs utilisent ces signaux pour guider un affinage par PPO sur des tâches de manipulation à long horizon non vues pendant l'entraînement. La récompense de progression s'impose comme le meilleur signal en ligne sans information privilégiée : elle améliore la politique IL de référence et réduit l'écart avec les récompenses « privilégiées » issues de l'état interne de l'environnement. Côté matériel réel, elle sert à pondérer un clonage comportemental (behavioral cloning) selon la progression, sur quatre tâches de manipulation et deux plateformes robotiques, avec un gain sur le fine-tuning supervisé (SFT) classique dans les quatre cas. Le résumé ne donne ni modèle de VLM, ni taux de réussite chiffrés, ni noms de robots. L'enjeu est celui d'un goulot d'étranglement bien connu : l'apprentissage par renforcement (RL) peut améliorer les politiques de manipulation, mais écrire une fonction de récompense à la fois sémantiquement pertinente et réutilisable d'une tâche à l'autre reste coûteux, et se fait aujourd'hui surtout à la main, tâche par tâche. Si ces résultats se confirment, un VLM spécialisé pourrait servir de récompense générique, ce qui réduirait l'ingénierie de récompense pour les intégrateurs et ouvrirait la voie à une auto-amélioration des robots en déploiement, sans instrumentation de la scène. Des réserves s'imposent : l'écart avec les récompenses privilégiées est réduit, pas comblé ; la validation réelle ne porte que sur quatre tâches, et sur du clonage comportemental pondéré plutôt que sur du RL en ligne sur robot physique. Le travail relève de la recherche (preprint arXiv, version 3), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la montée des modèles de fondation pour la robotique, des VLA (vision-langage-action) comme Pi-0 ou GR00T aux VLM utilisés comme juges ou générateurs de récompense. Les approches précédentes de récompense par modèle de langage ou de vision restaient souvent limitées à une évaluation après coup, ce que les LRM cherchent à dépasser avec un signal exploitable en ligne. La suite logique serait de tester ces récompenses en RL directement sur robot réel, sur un plus grand nombre de tâches, et de mesurer leur robustesse face aux erreurs d'estimation de progression, qui peuvent être exploitées par la politique. Le résumé ne cite aucun acteur européen ni partenaire industriel.

RecherchePaper

1 source