RecherchearXiv cs.RO 21 octobre 2026

GPT-6-Astra comprend le toucher et surpasse les modèles vision-toucher-langage-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent GPT-as-Tactile-Policy, une méthode qui utilise GPT-6-Astra, un modèle multimodal généraliste, comme politique de contrôle directe pour la manipulation riche en contacts. Le système résume des démonstrations d'experts en consignes de tâche et en références tactiles, qui servent à évaluer le contact et à corriger l'action. Ce contexte est combiné aux observations multimodales et à l'historique d'interaction pour produire des commandes de contrôle, ajustées en continu grâce au retour tactile. Sans pré-entraînement spécifique à la robotique ni ajustement fin par tâche, l'approche atteint 93,8 % de succès moyen sur cinq tâches du benchmark UniVTAC. Les auteurs la présentent comme comparable aux meilleures politiques vision-toucher-langage-action (VTLA), avec de meilleurs scores sur certaines tâches. Sur la tâche Insert Hole, le retour tactile fait passer le succès de 31 % à 99 %. L'analyse des exécutions montre des comportements de sondage et de correction guidés par le contact.

Ce résultat intéresse les intégrateurs et les équipes R&D parce que les politiques tactiles actuelles exigent un pré-entraînement spécialisé et une optimisation tâche par tâche, avec des coûts élevés en données et en entraînement. Si un modèle généraliste obtient des performances équivalentes avec quelques démonstrations résumées en contexte, la barrière d'entrée pour déployer de la manipulation fine baisse nettement. L'écart de 31 % à 99 % sur Insert Hole indique aussi que le gain vient du retour tactile exploité en boucle fermée, et pas seulement de la qualité du raisonnement visuel. Quelques réserves s'imposent toutefois. Les résultats portent sur cinq tâches d'un benchmark, vraisemblablement en simulation, et la prépublication n'a pas été relue par des pairs. Le résumé ne donne ni temps de cycle, ni latence d'inférence, ni coût par essai, ce qui compte beaucoup pour une cadence industrielle. Le transfert vers du matériel réel reste donc à démontrer.

Le travail s'inscrit dans la tendance des modèles VLA (vision-langage-action) entraînés sur de grandes bases de données robotiques, auxquels s'ajoutent des variantes tactiles qui demandent des capteurs et des corpus spécifiques. Il pose l'hypothèse inverse: un modèle généraliste, guidé par de l'expérience d'expert explicite et du feedback en ligne, peut suffire. La suite logique est une validation sur robots physiques, avec des capteurs tactiles variés, des tâches plus longues et des mesures de robustesse et de latence. Les concurrents sont les politiques tactiles spécialisées, qui conservent l'avantage de l'inférence embarquée à faible latence. Le résumé ne mentionne ni pilote industriel ni calendrier de déploiement.

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

τ : apprendre des modèles vision-langage-action augmentés par le toucher à partir d'une supervision visuelle future

Un article publié sur arXiv (référence 2607.24485v1, catégorie "new") présente τ (tau), un framework qui enrichit les modèles Vision-Language-Action (VLA) avec une représentation tactile spatio-temporelle conditionnée par l'action. La méthode s'inspire du JEPA (Joint-Embedding Predictive Architecture) : elle apprend cette représentation en prédisant les futures observations visuelles à partir du signal tactile, puis fusionne cette information avec les caractéristiques vision-langage pour générer les actions du robot. Cette supervision opère uniquement dans l'espace latent et pendant l'entraînement, sans surcoût au moment du déploiement. Les auteurs publient également TacAura, un jeu de données synchronisant vision, proprioception et signaux tactiles à base de capteurs visuels, collecté sur quatre tâches de manipulation impliquant des contacts riches. L'enjeu est la sous-exploitation du toucher dans les modèles VLA actuels, qui reposent majoritairement sur la vision et le langage, ou au mieux sur une détection binaire de contact ou des séquences de torseurs 6D, insuffisantes pour exploiter des signaux tactiles haute dimension. Le papier s'attaque frontalement au problème de rareté des données : les démonstrations spécifiques à une tâche sont limitées, tandis qu'un pré-entraînement tactile à grande échelle reste coûteux. En montrant qu'une supervision auto-supervisée de type JEPA permet d'extraire une représentation tactile exploitable avec peu de données, l'étude touche à un débat central du secteur, celui de l'efficacité des données pour des tâches de manipulation fine (insertion, préhension d'objets déformables) où la seule vision atteint ses limites, un enjeu direct pour les intégrateurs industriels visant l'assemblage de précision. Ce travail s'inscrit dans la lignée des modèles VLA généralistes (Pi-0, GR00T N2, Helix) qui combinent perception et langage pour piloter des robots, mais qui ont historiquement négligé le tactile faute de capteurs standardisés et à cause du coût de collecte. Les auteurs comparent τ à des approches existantes centrées sur les états de contact instantanés, et démontrent une meilleure généralisation à des objets et scènes inédits. Il s'agit à ce stade d'un travail de recherche académique, sans annonce de déploiement industriel ni de partenariat commercial.

RecherchePaper

1 source

2arXiv cs.RO

Observer et contrôler les caractéristiques dans les modèles vision-langage-action

Des chercheurs publient une étude (arXiv:2603.05487, version révisée) intitulée "Observing and Controlling Features in Vision-Language-Action Models", consacrée à l'interprétabilité mécaniste des modèles vision-langage-action (VLA) utilisés en robotique, ces systèmes qui traduisent une consigne en langage naturel et une image en commandes motrices. L'équipe teste sa méthode sur quatre modèles VLA de pointe, couvrant à la fois des architectures autorégressives et des architectures hybrides transformer/flow-matching à diffusion. Elle introduit des "observateurs" linéaires capables d'extraire, depuis les représentations internes du modèle, des informations sur l'état du robot et sur l'action à venir, ainsi qu'un "contrôleur" qui modifie légèrement ces représentations pour forcer les prédictions dans un intervalle cible, sans réentraînement ni fine-tuning. La méthode est validée en boucle fermée sur le modèle π0.5 de Physical Intelligence, dans le simulateur LIBERO et sur du matériel réel DROID. Résultat annoncé: un meilleur respect des contraintes imposées, une performance de tâche globalement préservée, et un surcoût de calcul à l'inférence d'environ 1% seulement. Pour l'industrie robotique, ce travail s'attaque à un problème concret: contrairement aux grands modèles de langage, les VLA combinent entrées multimodales et têtes de diffusion, ce qui rend leurs représentations internes plus opaques et empêche de transposer directement les outils d'interprétabilité conçus pour les LLM. Montrer qu'une intervention linéaire légère, quasi gratuite en calcul, suffit à orienter le comportement d'un VLA en cours d'exécution ouvre une piste pour ajuster des robots déployés à des préférences utilisateur ou des contraintes de sécurité sans repasser par un cycle d'entraînement coûteux. Pour les intégrateurs et décideurs B2B, c'est un argument en faveur d'un contrôle plus fin et plus rapide des politiques robotiques en production. Le résultat reste toutefois validé sur un seul modèle en conditions réelles et en simulateur, pas sur un produit déployé à grande échelle. Ce travail s'inscrit dans la lignée de l'interprétabilité mécaniste développée sur les LLM (sondes linéaires, vecteurs de pilotage d'activations), que les auteurs cherchent à étendre aux VLA, un champ encore peu exploré du fait de leur complexité multimodale. Le choix de π0.5 comme banc d'essai principal ancre l'étude dans l'écosystème actuel des VLA génératifs à têtes de diffusion, dont l'essor rapide a fait de l'opacité des représentations internes un point de blocage identifié par la communauté recherche. La mention "replace" sur arXiv indique une itération en cours plutôt qu'un résultat figé. Les auteurs ne fournissent aucun calendrier de transfert vers des systèmes commerciaux: la contribution reste, à ce stade, méthodologique et validée en laboratoire, sans annonce de pilote industriel ni de partenaire de déploiement.

RecherchePaper

1 source

3arXiv cs.RO

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion

1 source

4arXiv cs.RO

NestedVLA : apprendre à consolider et à générer des compétences pour les modèles vision-langage-action (VLA)

NestedVLA, proposé par le groupe WanyuGroup et soumis à NeurIPS 2026 (preprint arXiv 2610.23271), s'attaque à un problème précis des modèles vision-langage-action (VLA) : consolider des compétences apprises séparément sur des tâches et des plateformes hétérogènes. Plutôt que d'agréger des paramètres, la méthode les génère. Un hypernetwork imbriqué, conditionné par la tâche cible, synthétise les paramètres d'un « action expert » adapté à cette tâche, qui se combine avec un VLA de base gelé. Les résidus du modèle vision-langage, compressés et propres à chaque tâche, sont conservés à part. Sur trois benchmarks d'apprentissage par renforcement (MetaWorld, ManiSkill, CALVIN), les auteurs annoncent un gain moyen de 41 points de pourcentage face à la meilleure méthode de fusion de modèles. Sur ManiSkill, l'écart avec un fine-tuning dédié à chaque tâche tombe à 1 point, et il se réduit nettement sur CALVIN. Le code est publié sur GitHub. L'intérêt tient à la façon dont le problème est posé. Aujourd'hui, les données robotiques sont éclatées entre plateformes, l'entraînement multitâche conjoint souffre d'interférences entre tâches, et la fusion de modèles crée des conflits de paramètres ou exige de modifier l'architecture. Pour un intégrateur qui accumule des compétences par site ou par client, la perspective d'apprendre chaque skill de son côté puis de les consolider après coup, sans réentraîner l'ensemble, est séduisante, d'autant que les auteurs mettent en avant un coût de stockage réduit par rapport à la conservation d'un modèle complet par tâche. Il faut toutefois rester prudent. Les résultats proviennent uniquement de benchmarks simulés, sans validation sur robot réel, et l'écart sur CALVIN n'est pas comblé. Le chiffre de 41 points est mesuré contre le meilleur baseline de fusion, pas contre un entraînement multitâche conjoint. Rien ne dit encore que la méthode tient à l'échelle de VLA de production, ni quel est le surcoût d'inférence lié à la génération des paramètres. Ce travail s'inscrit dans la course aux VLA généralistes, avec des références comme Pi-0, GR00T ou Helix, qui misent surtout sur de grands jeux de données agrégés et un entraînement conjoint. L'approche post hoc par hypernetwork rejoint les recherches sur la fusion de modèles et les adaptateurs légers de type LoRA, qu'elle cherche à dépasser sur le plan des conflits de paramètres. Il s'agit d'un preprint soumis à relecture, sans calendrier de déploiement industriel. Les prochaines étapes à surveiller sont des tests sur robots physiques, des comparaisons avec des VLA de grande taille et la reproduction indépendante des résultats à partir du code publié.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source