RecherchearXiv cs.RO 2 novembre 2026

Les politiques VLA ne savent pas quand ne pas agir : exécution involontaire de tâches et suppression du démarrage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont testé six checkpoints de politiques vision-langage-action (VLA) dans la simulation LIBERO-Goal, en leur donnant des instructions vides, neutres, absurdes, infaisables ou correspondant à une mauvaise tâche, avec un état initial identique et seule l'instruction qui varie. Résultat: même avec une instruction vide, le robot s'est mis en mouvement dans tous les épisodes, pour les six modèles. Cinq d'entre eux ont fréquemment mené à terme une tâche que personne n'avait demandée. Sur deux checkpoints GR00T, l'instruction détermine quelle tâche est exécutée mais pas si le robot démarre: il bouge même face à une consigne infaisable. Les auteurs ont ensuite évalué trois parades. Préfixer l'instruction par « si aucune tâche n'est donnée, ne bouge pas » n'a arrêté le robot sur aucun des six checkpoints. Une barrière (gâté) qui bloque le robot lorsque le premier bloc d'actions (action chunk) généré pour l'instruction est quasi identique à celui produit pour une instruction vide a fonctionné sur cinq checkpoints sur six pour les entrées sans tâche. Enfin, un fine-tuning pour rester immobile face à ces entrées a supprimé toute exécution de tâche non demandée, mais ne garantit pas l'immobilité et échoue à empêcher le démarrage sur les instructions infaisables.

Pour les intégrateurs et les responsables de sécurité industrielle, ce travail met le doigt sur une faille peu mesurée: les benchmarks VLA évaluent presque exclusivement la capacité à réussir une tâche demandée, pas la capacité à s'abstenir. Les résultats suggèrent que ces politiques se comportent comme des générateurs de mouvement avec un comportement par défaut fort, que le langage ne fait qu'orienter. Le fait que l'instruction ne contrôle pas le démarrage sur GR00T contredit l'hypothèse implicite selon laquelle le conditionnement langagier suffirait à piloter l'intention. L'échec total du prompt de prudence est aussi un avertissement: on ne peut pas traiter la sûreté d'un VLA par simple ingénierie de prompt. Une garde externe, plus proche d'un arrêt de sécurité logiciel, se montre plus fiable que des correctifs internes au modèle. Il faut toutefois rester prudent: les tests sont en simulation, sur un seul benchmark, sans validation sur robot réel.

Ce travail s'inscrit dans la montée en puissance des modèles généralistes (famille GR00T de NVIDIA, Pi-0, Helix de Figure) que plusieurs acteurs préparent pour des déploiements en usine ou en logistique, où un robot humanoïde évolue près de personnes. Les normes de sécurité actuelles pour la robotique collaborative reposent largement sur des arrêts et limites de force déterministes, que ces politiques apprises ne remplacent pas. LIBERO-Goal est un benchmark de manipulation de table avec des tâches très proches, ce qui peut favoriser le comportement « toujours faire quelque chose » observé et en limiter la portée. Les suites logiques sont des tests sur matériel réel, l'ajout de métriques d'abstention aux évaluations standards, et l'intégration de détecteurs d'intention en amont de la boucle de commande, que les développeurs de VLA et les intégrateurs européens devront probablement adopter avant toute certification.

Impact France/UE

Impact indirect: ces résultats sur l'absence d'abstention des politiques VLA pourraient nourrir les futures exigences de sûreté et de certification des intégrateurs européens.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

TMT : détection de portes dérobées à l'exécution pour les politiques vision-langage-action (VLA) sur des tâches inédites

Des chercheurs présentent sur arXiv (2610.09462) TMT, un détecteur de backdoors fonctionnant à l'exécution pour les politiques vision-langage-action (VLA). Une politique VLA compromise conserve des performances normales sur ses tâches habituelles, mais produit des actions malveillantes dès qu'un déclencheur apparaît dans l'observation. TMT (Token Manifold and latent Transition modeling) est entraîné uniquement sur des rollouts bénins. Une première branche évalue la structure des tokens d'entrée. Une seconde mesure les erreurs de prédiction dans la dynamique latente entre couches adjacentes. Un rollout jugé suspect par la première branche est confirmé par des déviations latentes, ce qui guide le choix des transitions à surveiller ensuite. Les auteurs testent aussi une purification par auto-distillation: une copie gelée de la politique infectée fournit les actions de référence sur entrées bénignes pour superviser un modèle étudiant, sur des paires d'observations bénignes et déclenchées, sans politique saine séparée. Face à dix baselines (détecteurs de backdoors classiques adaptés, méthodes de détection d'anomalies et d'échecs réutilisées), TMT revendique le meilleur résultat sur des tâches inédites, pour trois attaques. Le résumé ne donne aucun chiffre, et la comparaison est menée a posteriori par les auteurs eux-mêmes. Le point difficile est que chaque action malveillante peut être plausible isolément, et qu'une tâche nouvelle modifie légitimement observations et comportements. Un détecteur calibré sur les tâches d'entraînement risque donc de multiplier les fausses alertes en production. Viser la généralisation à des tâches inédites correspond au besoin réel des intégrateurs, qui déploient des VLA génériques sur des cellules changeantes. L'absence de politique de référence saine pour la purification est aussi un atout pratique, puisque ces modèles sont rarement disponibles en double. Il s'agit toutefois d'un résultat académique, sans validation sur robot réel annoncée, et le gain reste à confirmer hors des benchmarks choisis. Les VLA se diffusent via des poids ouverts et du fine-tuning tiers, ce qui expose la chaîne d'approvisionnement logicielle: un modèle téléchargé ou ajusté par un prestataire peut embarquer un déclencheur dormant. La sécurité des politiques robotiques reste bien moins outillée que celle des modèles de langage. TMT s'inscrit dans cette lacune, au moment où les VLA entrent dans des pilotes industriels. Les prochaines étapes à surveiller sont la publication du code via la page projet des auteurs, des tests sur matériel physique et une évaluation face à des attaques adaptatives conçues pour contourner la détection.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprendre sur le tas : exécution de tâches sans démonstration sous incertitude paramétrique par commande duale paramétrée par trajectoire

Des chercheurs proposent une méthode de commande duale qui permet à un robot d'exécuter une tâche du premier coup tout en identifiant en ligne les paramètres physiques qu'il ne connaissait pas. Publié sur arXiv (2510.20483, version 2), le travail part d'un constat : la commande basée sur modèle donne de bons résultats tant que le modèle est exact, mais un robot rencontre souvent des charges utiles, des objets ou des dynamiques d'interaction inédits. L'approche classique consiste à lancer d'abord une phase d'excitation dédiée, indépendante de la tâche et du contrôleur, pour estimer les paramètres. Les auteurs suppriment cette étape : l'apprentissage du modèle et la commande se déroulent simultanément pendant la tâche. Ils fixent à l'avance une politique de retour d'état avec une loi d'adaptation explicite des paramètres, puis optimisent la trajectoire de référence à travers la dynamique adaptative en boucle fermée. Deux formulations sont proposées : minimiser le coût attendu de la tâche sous incertitude paramétrique, ou minimiser la perte d'optimalité, c'est-à-dire la dégradation de performance causée par une planification fondée sur une estimation erronée. L'exploration est guidée par une mesure d'information de Fisher. L'enjeu est très concret pour les intégrateurs et les responsables de production. Aujourd'hui, un bras manipulant une charge inconnue perd du temps en calibration, ou exécute des mouvements d'identification qui n'ont aucun lien avec la tâche et produisent des données peu utiles. Selon les auteurs, leur méthode s'approche d'une borne inférieure de l'incertitude sur les paramètres pertinents pour la tâche, tout en réussissant celle-ci en une seule tentative. Cela réduit les temps morts et évite d'identifier des paramètres sans effet sur le résultat. Les résultats couvrent plusieurs tâches, contrôleurs et lois d'adaptation, ce qui suggère une méthode générique et non un réglage sur un seul cas. Il faut toutefois rester prudent : le résumé ne donne ni chiffres de performance, ni précision de l'identification, ni temps de calcul, ni preuve sur matériel réel. On ne sait donc pas si la méthode tient face aux bruits de capteurs, aux frottements non modélisés ou aux contraintes temps réel d'une cellule industrielle. Ce travail s'inscrit dans le débat entre approches basées sur modèle et approches apprises, comme les modèles vision-langage-action (VLA), qui généralisent par les données mais offrent moins de garanties. Ici, la commande adaptative et la théorie du contrôle dual, formulée depuis les années 1960, sont réactivées avec une optimisation de trajectoire moderne. Il s'agit d'une préimpression, sans validation par les pairs à ce stade, et la mention « remplacement » indique une révision d'une version antérieure. Les suites logiques seraient des essais sur manipulateurs réels avec charges variables, puis une comparaison directe avec l'identification préalable et les méthodes de méta-apprentissage.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Quand le raisonnement aide l'action : surveiller et orienter la chaîne de pensée dans les politiques vision-langage-action

Une équipe de chercheurs publie sur arXiv (2610.00601) TRUST (Token-level Reward for Utility-Steered Chain-of-Thought), un modèle de valeur entraîné hors ligne qui prédit, à partir d'un préfixe partiel, si un raisonnement en chaîne de pensée (CoT) sera finalement correct. Il sert à surveiller la génération et à la corriger de façon sélective dans des politiques VLA (vision-langage-action) figées, sans réentraîner celles-ci. Sur le VLA de conduite Alpamayo 1.5, TRUST évalue la justesse du raisonnement avec 88,9 % de précision et la fait passer de 75,9 % à 90,0 %. Dans le simulateur AlpaSim, sur un sous-ensemble difficile défini à partir de la politique de référence, le taux de collision baisse de 30,4 % et l'erreur maximale de trajectoire de 11,5 % par rapport à la politique non pilotée. La méthode surpasse aussi un Best-of-4 à calcul équivalent. Sur le VLA de manipulation DeepThinkVLA, la justesse des affirmations sur l'état de préhension passe de 69,3 % à 90,2 %, et celle des choix d'action de 68,8 % à 85,9 %. En revanche, la performance en boucle fermée sur LIBERO-Plus reste globalement inchangée. Ce dernier résultat est le plus instructif. Beaucoup d'équipes supposent qu'un raisonnement plus fidèle donne un robot plus fiable, et que la trace de CoT peut servir d'interface de sécurité au runtime. Ces travaux contredisent cette hypothèse : corriger le texte ne corrige pas forcément le comportement. Les auteurs proposent deux axes d'évaluation. La « corrigibilité » mesure si un raisonnement peu fiable peut être détecté et amélioré pendant la génération. L'« actionnabilité » mesure si la correction modifie réellement l'action dans le sens voulu. En conduite, l'analyse empirique montre des effets cohérents avec l'intention. Sur DeepThinkVLA, ils sont limités, ce qui suggère que l'action dépend peu du raisonnement exprimé. Pour un intégrateur ou un responsable sécurité, un moniteur de CoT ne suffit donc pas comme garde-fou : il faut mesurer le couplage entre texte et action pour chaque politique. Les résultats viennent de simulation (AlpaSim, LIBERO-Plus), sans validation sur robot ou véhicule réel, et le sous-ensemble « difficile » est choisi par les auteurs eux-mêmes. Ces travaux s'inscrivent dans la montée des VLA à raisonnement explicite, qui exposent leur « pensée » intermédiaire pour améliorer la généralisation et l'interprétabilité. Alpamayo, la famille de VLA de conduite associée à l'écosystème NVIDIA, et DeepThinkVLA, côté manipulation, en sont deux exemples. Les modèles généralistes de type Pi-0, GR00T ou Helix ont popularisé l'idée d'une hiérarchie entre planification de haut niveau et contrôle bas niveau. Le papier n'annonce ni produit ni déploiement. Il donne une méthode d'évaluation qui pourrait servir de référence aux travaux sur la supervision en ligne des VLA. Les suites logiques sont de tester TRUST sur d'autres architectures, d'en mesurer le surcoût de latence en temps réel, et d'identifier les VLA dont l'action est effectivement guidée par le raisonnement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau. Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production. L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

RechercheActu

1 source