Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TrapVLA : piéger les modèles vision-langage-action dans des modes d'échec configurés
RecherchearXiv cs.RO 

TrapVLA : piéger les modèles vision-langage-action dans des modes d'échec configurés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2608.26578v1) une étude intitulée TrapVLA, décrivant une nouvelle attaque par porte dérobée contre les modèles Vision-Language-Action (VLA), qui pilotent des robots à partir d'instructions en langage naturel. Baptisée Configured Failure Trapping, la méthode va plus loin que les attaques classiques, qui se satisfont d'un échec quelconque : un déclencheur textuel furtif force le robot à échouer d'une façon précise et choisie à l'avance, par exemple en saisissant un objet avec un décalage de position prédéfini. Les auteurs ont conçu un moteur de génération de trajectoires cibles et deux bancs d'essai, Trap-LIBERO et Trap-RoboTwin, couvrant quatre modes d'échec. Testée en simulation et sur des robots réels, la méthode TrapVLA injecte ces échecs configurés tout en préservant les performances sur données saines.

Cette recherche met au jour une faille propre aux VLA, la famille de modèles qui commence à piloter des robots industriels et de service, comme Pi-0, GR00T N2 ou Helix. En montrant qu'un attaquant peut imposer un mode de défaillance précis plutôt qu'un simple échec détectable, l'étude complique la détection par des audits classiques, qui cherchent des comportements aberrants plutôt que des erreurs discrètes et reproductibles. Pour les intégrateurs et décideurs qui envisagent de déployer des robots pilotés par des modèles fondation, la sécurité des données d'entraînement devient un critère aussi important que la capacité brute du modèle, notamment en logistique ou en manufacture. Ce travail reste une démonstration en environnement contrôlé, pas un incident observé sur un déploiement commercial.

Le papier s'inscrit dans la continuité des recherches sur les portes dérobées, longtemps cantonnées aux classifieurs d'images et aux modèles de langage, désormais étendues aux agents robotiques incarnés où une erreur ciblée a des conséquences physiques directes. Les auteurs notent que les travaux antérieurs sur les portes dérobées VLA se limitaient à un échec générique, ce que Configured Failure Trapping dépasse en visant un échec configuré, donc plus discret. L'article ne propose aucune contre-mesure ni méthode de détection, seulement la construction de l'attaque et des bancs d'essai, laissant la défense pour des travaux futurs ; le code et les benchmarks sont publiés en ligne.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

NAC : un codec neuronal d'actions pour les modèles vision-langage-action
1arXiv cs.RO 

NAC : un codec neuronal d'actions pour les modèles vision-langage-action

Des chercheurs publient une version mise à jour (v2) du préprint arXiv 2606.21372, intitulé « NAC: Neural Action Codec for Vision-Language-Action Models », qui introduit un nouveau tokenizer d'actions pour les modèles vision-langage-action (VLA). Le NAC reprend l'architecture des codecs audio neuronaux, encodeur-décodeur convolutif à quantification vectorielle résiduelle (RVQGAN) utilisée dans les modèles de fondation audio, en traitant les courtes trajectoires d'actions robotiques comme des signaux 1D multicanaux compressés à plusieurs échelles. Le système produit un espace de tokens compact et ordonné via des codebooks décalés, ce qui permet à des politiques autorégressives standard de fonctionner sur des séquences courtes et structurées ; la reconstruction des trajectoires s'appuie sur un décodeur de style Vocos, avec tête ISTFT et discriminateurs adversariaux. Évalué sur les bancs d'essai LIBERO-10 et RoboMimic, ainsi que sur une série de tâches de manipulation réelles, NAC atteint une fidélité de reconstruction élevée et des taux de réussite moyens supérieurs au binning, à FAST et aux tokenizers VQ antérieurs, à taux de compression comparable ou meilleur. Le tokenizer d'actions est le goulot d'étranglement discret entre commande continue du robot et modélisation de séquence autorégressive au cœur de tout VLA ; jusqu'ici, binning, FAST et quantification vectorielle classique forçaient un compromis entre compression, latence et performance. En montrant qu'une architecture éprouvée pour l'audio se transpose presque sans changement structurel au contrôle robotique, ce travail suggère que la tokenisation d'actions n'est plus le facteur limitant majeur pour faire passer à l'échelle les politiques VLA, un enjeu concret pour tout intégrateur entraînant des politiques génériques de manipulation sur plusieurs tâches et morphologies de robot. Le gain de taux de réussite à compression égale ou supérieure compte surtout pour le temps réel, où latence d'inférence et longueur de séquence conditionnent le temps de cycle. Les résultats restent toutefois issus de bancs d'essai académiques, simulation complétée d'un nombre limité de tâches réelles, donc d'un stade de recherche et non d'un produit ou d'un déploiement industriel. Le travail s'inscrit dans la lignée des tokenizers développés pour les VLA récents, dont FAST, méthode associée à la famille de modèles Pi-0 de Physical Intelligence et prise ici comme référence de comparaison, ainsi que les approches par binning et par quantification vectorielle discrète plus anciennes. L'idée de recycler les codecs audio neuronaux à quantification résiduelle, déjà standard pour les modèles de fondation audio, illustre une tendance plus large du secteur à importer des briques génératives multimodales vers la robotique. Publiée sous forme de préprint arXiv, sans annonce de licence, d'intégration produit ni de calendrier de déploiement, la contribution demeure un résultat de recherche dont la portée dépendra de sa reproduction sur des politiques VLA de plus grande échelle et de tests au-delà des bancs d'essai contrôlés utilisés dans l'article.

RechercheActu
1 source
Évolution continue des compétences dans un modèle vision-langage-action (VLA)
2arXiv cs.RO 

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

RechercheOpinion
1 source
Modèles vision-langage-action : superviser les VLA au-delà des actions physiques
3arXiv cs.RO 

Modèles vision-langage-action : superviser les VLA au-delà des actions physiques

Une équipe de recherche propose UVT (Unified Visuomotor Target), une méthode d'entraînement pour les modèles vision-langage-action (VLA), détaillée dans un article déposé sur arXiv en août 2026 (2608.03563v1). Le point de départ : les VLA sont entraînés à prédire directement des commandes moteur bas niveau à partir d'observations visuelles et de langage, alors que les modèles vision-langage sous-jacents encodent des représentations riches et de haut niveau des scènes et des objectifs, un décalage qui freine l'apprentissage. UVT introduit une cible latente unique encodant conjointement le contrôle moteur et la transition visuelle de la scène, sans modifier l'architecture ni ajouter de données. Testée sur deux systèmes VLA représentatifs, en simulation comme sur des tâches réelles de manipulation bimanuelle, elle améliore l'efficacité d'entraînement, la performance finale et la robustesse de la politique, avec des gains marqués sous budget d'entraînement limité ou en conditions difficiles. Pour l'industrie robotique, ce travail touche un point de friction bien identifié : la difficulté à obtenir des politiques VLA robustes sans volumes massifs de démonstrations téléopérées, coûteuses à collecter. En montrant qu'un simple changement de cible d'entraînement, sans toucher à l'architecture ni au volume de données, améliore l'efficacité et la robustesse, UVT s'inscrit dans une tendance cherchant à mieux exploiter l'information déjà présente dans les modèles vision-langage préentraînés plutôt que d'empiler paramètres ou données. Pour les équipes qui entraînent leurs propres politiques (laboratoires, intégrateurs, startups humanoïdes), c'est un levier peu coûteux à tester. Les résultats restent toutefois obtenus sur benchmarks et tâches de manipulation en conditions contrôlées ; leur généralisation à des environnements industriels variés et à d'autres familles de VLA n'est pas démontrée. L'article s'inscrit dans la vague de recherche VLA ouverte par des systèmes comme RT-2, OpenVLA, Pi-0 ou GR00T, qui adaptent des modèles vision-langage préentraînés à la prédiction d'actions robotiques. L'essentiel des travaux récents porte sur l'échelle des données ou sur l'architecture (tokenisation des actions, diffusion, mélange d'experts) ; UVT prend le contre-pied en questionnant la cible de supervision elle-même, tout en restant compatible avec les architectures VLA existantes, ce qui facilite en théorie son adoption. La publication ne mentionne aucun partenariat industriel ni déploiement au-delà des tests de laboratoire. Il s'agit pour l'instant d'une contribution méthodologique dont l'impact dépendra de sa reproduction sur d'autres jeux de données et d'autres plateformes robotiques, humanoïdes comprises.

RecherchePaper
1 source
Correction d'actions sans réentraînement pour les échecs des modèles VLA, via retour en langage naturel
4arXiv cs.RO 

Correction d'actions sans réentraînement pour les échecs des modèles VLA, via retour en langage naturel

Des chercheurs ont publié fin août 2026 sur arXiv (2608.29967) CorrectVLA, une méthode qui corrige les échecs des modèles Vision-Language-Action (VLA) sans réentraînement. Le principe : un humain formule une seule consigne de correction en langage naturel, traduite en ajustements additifs de l'amplitude des actions et appliquée uniformément à tous les essais suivants, sans toucher aux poids de la politique. En simulation sur le benchmark LIBERO-90, CorrectVLA récupère des échecs de désalignement d'exécution aussi bien sur des tâches connues que sur des tâches inédites (out-of-distribution). Sur un bras robotique réel UFactory xArm7 soumis à un changement d'environnement, la méthode restaure un taux de réussite quasi parfait là où la politique de base échoue presque totalement, et généralise à de nouvelles positions et identités d'objets. Ce travail s'attaque à l'un des points faibles connus des VLA en déploiement : l'écart entre démonstrations impressionnantes et robustesse réelle sur le terrain. Pour les intégrateurs et décideurs industriels, l'intérêt est opérationnel : plutôt que de réentraîner un modèle coûteux à chaque échec observé, une simple instruction textuelle suffirait à corriger certains comportements erronés sur une flotte déjà déployée. Mais l'apport le plus utile est la taxonomie des échecs établie sur LIBERO-90 : seuls les échecs de désalignement d'exécution, où le robot vise la bonne cible mais mal calibre l'amplitude de son geste, sont corrigibles par ce biais. Quand la compréhension sémantique de la tâche elle-même fait défaut, la méthode échoue, ce qui fixe une limite opérationnelle claire et tempère l'idée que le feedback en langage suffirait à résoudre tous les problèmes de généralisation des VLA. Ce résultat s'inscrit dans la course aux modèles VLA généralistes (Pi-0, GR00T N2, Helix) de plus en plus déployés sur bras industriels et humanoïdes, où la question du contrôle post-déploiement face aux échecs en conditions réelles reste ouverte. Contrairement à un réentraînement complet ou à du fine-tuning, CorrectVLA se positionne comme une méthode d'intervention à l'inférence, complémentaire aux approches existantes de correction de politique. Les auteurs présentent ce travail comme une première délimitation empirique des cas où la correction sans réentraînement fonctionne, la piste des échecs de compréhension sémantique restant un chantier ouvert.

RecherchePaper
1 source