Aller au contenu principal
DyGRO-VLA : mise à l'échelle inter-tâches des modèles vision-langage-action par optimisation résiduelle groupée dynamiqueIllustration générée par IA
RecherchearXiv cs.RO 

DyGRO-VLA : mise à l'échelle inter-tâches des modèles vision-langage-action par optimisation résiduelle groupée dynamique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont soumis sur arXiv (réf. 2605.17486) un nouveau framework d'optimisation pour les modèles VLA (Vision-Language-Action), baptisé DyGRO-VLA (Dynamic Grouped Residual Optimization for VLA). L'approche fonctionne en deux étapes : une phase de capture de représentations latentes inter-tâches fondée sur des principes de théorie de l'information, suivie d'un raffinement dynamique de la politique via un mécanisme de "mixture-of-RL-residuals". Les résultats sont évalués sur les benchmarks LIBERO et RoboTwin2, deux références standard en manipulation robotique multi-tâches, et validés sur robot réel. Les gains de performance sont présentés comme consistants face à des baselines solides, y compris sous distribution shift, c'est-à-dire face à des tâches absentes de l'ensemble d'entraînement.

Le problème visé est structurel : lorsqu'on affine un modèle VLA généraliste avec du Reinforcement Learning, il finit généralement par ne bien performer que sur un sous-ensemble étroit de tâches, perdant la polyvalence qui le rendait intéressant. La plupart des optimiseurs RL actuels sont conçus pour une tâche unique, ce qui réduit ces modèles, pourtant pensés comme des contrôleurs généralistes, à des politiques spécialisées peu transférables. Pour un intégrateur ou un industriel déployant des robots sur des lignes à forte variabilité de tâches, ce phénomène est un frein opérationnel direct. DyGRO-VLA répond à ce problème en exploitant les représentations latentes partagées entre tâches tout en limitant les interférences lors de l'optimisation. Si ces résultats se confirment dans des conditions plus diversifiées, cela aurait des implications concrètes sur la viabilité du fine-tuning RL pour des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA).

L'essor des modèles VLA, qui combinent vision, langage et action dans un seul réseau de neurones, est l'une des tendances majeures de la robotique depuis 2023. Des acteurs comme Physical Intelligence (Pi-0, Pi-0.5), NVIDIA (GR00T N2), Google DeepMind (RT-2) ou des startups comme Figure AI et 1X Technologies s'appuient sur cette architecture. Le recours au RL pour dépasser les limites de l'imitation pure est une évolution naturelle, mais le maintien des performances sur plusieurs tâches reste un problème ouvert. DyGRO-VLA s'inscrit dans un courant de recherche actif qui inclut des approches comme ReinFT. L'absence de détails sur les conditions expérimentales exactes (nombre de tâches, hardware robot utilisé, comparaisons directes avec les VLA commerciaux) et l'absence de code public au moment de la soumission rendent difficile une évaluation indépendante, une limite fréquente des prépublications arXiv.

À lire aussi

FocusVLA : routage dynamique des vues guidé par l'intention future pour les modèles vision-langage-action (VLA)
Illustration générée par IA
1arXiv cs.RO 

FocusVLA : routage dynamique des vues guidé par l'intention future pour les modèles vision-langage-action (VLA)

FocusVLA, un framework présenté sur arXiv (2610.31423), cible un défaut des modèles vision-langage-action (VLA) pour la manipulation robotique. Ces modèles unifient perception visuelle, compréhension du langage et génération d'actions, et utilisent couramment plusieurs caméras (vue globale et vue poignet) pour mieux observer objets, effecteur et relations spatiales. Les auteurs constatent que les VLA existants exploitent mal cette complémentarité: la politique s'appuie de façon persistante sur la vue poignet et ne rééquilibre pas la dépendance global/local selon les phases de la tâche (approche, saisie, placement). FocusVLA ajoute un routage dynamique des vues. Un module prédit l'intention d'interaction future à partir de l'historique des actions, puis cette prédiction pilote la pondération des vues pendant la génération d'actions. Sur le benchmark simulé RoboTwin 2.0, le taux de succès moyen progresse de 10,10 points de pourcentage par rapport à la meilleure référence, π0.5 de Physical Intelligence. En évaluation réelle, le succès passe de 71,7 % à 85,0 %, soit un gain de 13,3 points sur π0.5. Les auteurs précisent que les modules de prédiction d'intention et de routage s'intègrent à des cadres VLA existants sans modifier leur architecture centrale. L'intérêt tient moins au score qu'au diagnostic. Beaucoup de systèmes déployés ajoutent des caméras en supposant que le modèle saura s'en servir. Ce travail suggère que ce n'est pas le cas: une politique qui se repose sur la caméra poignet est plus fragile quand l'objet est occlus, que la pose globale compte ou que la scène change. Pour un intégrateur, cela renvoie à la robustesse hors démonstration, là où les échecs se concentrent aux transitions entre phases. Le caractère modulaire est aussi un point pratique: un greffon compatible avec des VLA existants peut être testé sans réentraîner une architecture entière, ce qui réduit le coût d'expérimentation. Il faut toutefois lire les chiffres avec prudence. Le test réel n'est pas décrit ici (nombre de tâches, d'essais, de robots), et un écart de 13,3 points sur un échantillon restreint peut avoir une marge d'incertitude importante. Il s'agit d'un preprint, sans validation indépendante ni déploiement industriel annoncé. Ce travail s'inscrit dans la lignée des VLA généralistes, dont π0 puis π0.5 sont devenus des références de comparaison académique, aux côtés d'approches comme GR00T de NVIDIA ou Helix de Figure. La course porte désormais sur la fiabilité et l'utilisation efficace des entrées multimodales, plus seulement sur l'échelle des données. RoboTwin 2.0, benchmark bimanuel en simulation, sert de terrain d'évaluation courant. La suite logique serait une validation sur d'autres backbones que π0.5, des tâches plus longues et des tests multi-sites. Aucun calendrier de pilote ou de commercialisation n'est mentionné, et le résumé ne cite pas de partenaire industriel européen.

RecherchePaper
1 source
Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée
Illustration générée par IA
2arXiv cs.RO 

Amélioration des attaques visuelles de redirection de tâche contre les modèles vision-langage-action (VLA) par optimisation en boucle fermée

Des chercheurs proposent TRACO, un cadre d'optimisation en boucle fermée qui renforce les attaques visuelles ciblées contre les modèles vision-langage-action (VLA), ces modèles qui traduisent une consigne en langage et des images de caméra en actions de manipulation robotique. L'objectif de l'attaquant est la « redirection de tâche » : une perturbation visuelle détourne le robot vers une tâche choisie par l'attaquant plutôt que celle demandée par l'utilisateur. Les travaux antérieurs optimisaient la perturbation avec une supervision cible fixe. TRACO remplace cette approche par deux mécanismes. Le premier, Execution-Driven Supervision, reconstruit la supervision à partir des états réellement atteints sous attaque pour guider les mises à jour suivantes. Le second, Progress-Guided Selection, concentre l'optimisation là où la progression stagne, tout en maintenant la supervision sur les comportements antérieurs nécessaires pour arriver à ce point. Les expériences, menées sur plusieurs modèles VLA et environnements de simulation, montrent un meilleur taux de réussite de la redirection. Le résumé ne donne ni chiffres de gain ni liste des modèles testés. L'intérêt tient à ce que cela montre sur la méthode d'évaluation de la robustesse. Une perturbation modifie les premières actions, donc les états physiques atteints ensuite. Les cibles fixes calculées sur une trajectoire non attaquée deviennent alors obsolètes. Les auteurs soulignent aussi qu'une faible erreur moyenne d'alignement n'assure pas une progression soutenue : le robot peut échouer à une étape critique, et des mises à jour ultérieures peuvent défaire ce qui fonctionnait. Pour les intégrateurs et les responsables sécurité qui envisagent des VLA en environnement industriel, cela suggère que les évaluations adverses statiques sous-estiment probablement le risque réel. Un attaquant qui optimise en tenant compte de la dynamique d'exécution est plus dangereux. Reste une limite : tout est évalué en simulation, sans validation sur matériel physique, et la perturbation suppose un accès à la scène visuelle ou aux entrées de la caméra, ce qui reste à qualifier selon l'architecture de déploiement. Ce travail s'inscrit dans une série d'études sur la vulnérabilité des VLA, apparus avec la généralisation des politiques de manipulation guidées par le langage. Les attaques visuelles précédentes sur ces modèles reposaient sur la supervision fixe que TRACO met en cause, et le cadre est conçu pour améliorer ces méthodes existantes plutôt que les remplacer. Il s'agit d'une prépublication arXiv, non évaluée par des pairs, et aucun code ni calendrier de défense n'est mentionné dans le résumé. La suite logique est le développement de défenses elles aussi conscientes de la boucle fermée, par exemple une détection de dérive de trajectoire ou un entraînement adverse intégrant la dynamique d'exécution, et des tests sur robots réels avant d'en tirer des conclusions opérationnelles.

RecherchePaper
1 source
Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques
Illustration générée par IA
3arXiv cs.RO 

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io. L'article ne précise pas de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom de robot commercial identifiable, ce qui limite l'évaluation de la performance réelle du système face aux standards du secteur. L'intérêt de ce travail réside dans la promesse de généralisation inter-incarnations, c'est-à-dire la capacité d'un même modèle à fonctionner sur des morphologies de robots différentes sans réentraînement spécifique à chaque plateforme. C'est l'un des points durs actuels de l'IA robotique, où les modèles VLA (vision-language-action) peinent souvent à transférer d'un bras ou d'un humanoïde à un autre. Si l'adaptabilité dynamique aux changements de consigne se confirme à plus grande échelle, cela répondrait à une limite classique des architectures de planification traditionnelles, qui séparent rigidement le raisonnement de haut niveau de l'exécution bas niveau et s'adaptent mal aux imprévus. Ce travail s'inscrit dans la lignée des modèles VLA récents comme Pi-0 ou GR00T N2, qui cherchent tous à unifier perception, langage et action dans un même modèle entraîné de bout en bout. Il s'agit ici d'une contribution académique, sans annonce de partenaire industriel ni de déploiement commercial, et la prudence reste de mise tant qu'une validation indépendante sur des benchmarks standardisés n'a pas été publiée.

RechercheActu
1 source
Lâcher-puis-récupérer : quelle est la redondance des modèles vision-langage-action (VLA) ?
Illustration générée par IA
4arXiv cs.RO 

Lâcher-puis-récupérer : quelle est la redondance des modèles vision-langage-action (VLA) ?

Une équipe de chercheurs a publié fin juin 2026 une étude (arXiv:2606.27755) examinant la redondance architecturale des modèles Vision-Language-Action (VLA), ces modèles de contrôle robotique qui combinent un backbone de langage préentraîné avec des modules vision et action. Le protocole, baptisé Drop-Then-Recovery (DTR), consiste à supprimer des blocs transformer sélectionnés d'un VLA préentraîné, puis à le fine-tuner pour mesurer si la capacité retirée était réellement nécessaire au contrôle en boucle fermée. Pour prioriser quels blocs supprimer, les auteurs introduisent GateProbe, une métrique de sensibilité en un seul passage (one-shot) qui classe les blocs selon leur contribution à la perte d'action en aval. Les expériences couvrent plusieurs architectures VLA, des benchmarks de manipulation standard (dont LIBERO) et des scénarios industriels sur robot réel. Résultat chiffré marquant : supprimer la moitié des blocs LLM d'OpenVLA-OFT fait passer le score LIBERO de 95,0 % à 98,3 %, et ne conserver que deux blocs de langage suffit à retrouver les performances de référence. Ce résultat remet en question un postulat implicite du domaine : que la profondeur des backbones de langage hérités des grands modèles (LLM) est nécessaire à la compréhension d'instructions robotiques. Les instructions typiques en manipulation sont courtes et peu compositionnelles ; le surcapacité linguistique ne sert pas le contrôle et peut même nuire via du bruit de gradient ou une compétition de capacité. En revanche, les voies vision et action se révèlent nettement moins tolérantes à la suppression, ce qui oriente clairement les priorités d'allocation pour les futures architectures VLA. Pour les intégrateurs industriels, cela ouvre la voie à des modèles plus légers, moins coûteux à inférer et à fine-tuner, sans dégradation de performance sur les tâches réelles. Les VLA ont émergé comme paradigme dominant du contrôle robotique généraliste depuis les travaux fondateurs sur RT-2 (Google DeepMind, 2023) et OpenVLA (Berkeley, 2024), qui ont montré qu'un backbone VLM préentraîné pouvait être réutilisé pour la manipulation. OpenVLA-OFT, utilisé comme modèle de référence dans cette étude, est une variante fine-tunable publiée par l'Université de Stanford. Parmi les concurrents directs sur ce terrain architectural : Physical Intelligence avec pi0 (basé sur un flow matching), qui a déjà opté pour une architecture plus légère côté langage, et les travaux de pruning de transformers en NLP (SparseGPT, Sheared LLaMA) dont DTR s'inspire méthodologiquement. Le code est disponible sur GitHub (s1ghhh/VLADrop). Les prochaines étapes logiques seraient de tester DTR sur des modèles plus récents (GR00T N2 de NVIDIA, Helix de Figure) et sur des tâches à instructions longues ou hiérarchiques, où la profondeur linguistique pourrait enfin devenir un facteur limitant.

RechercheOpinion
1 source