Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TS-Mask VLA : masquage spatio-temporel 2D pour un modèle vision-langage-action avec pontage efficace
RecherchearXiv cs.RO 

TS-Mask VLA : masquage spatio-temporel 2D pour un modèle vision-langage-action avec pontage efficace

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente TS-Mask VLA, un nouveau modèle vision-langage-action (VLA) destiné à la manipulation robotique, décrit dans un article publié sur arXiv (2607.09818v1). Le système repose sur deux innovations techniques : un expert d'action à diffusion discrète doté d'un mécanisme appelé Bridge Attention, qui permet un conditionnement multi-couches depuis le modèle vision-langage pour générer des actions plus précises et stables, et une stratégie de masquage temporo-spatial en deux dimensions appliquée aux tokens d'action discrets, censée renforcer la compréhension des dépendances entre instants successifs et du couplage entre dimensions de l'action. Sur le benchmark de simulation LIBERO, TS-Mask VLA atteint un taux de réussite moyen de 95,7 %, avec seulement 0,5 milliard de paramètres, un score supérieur à celui de modèles nettement plus volumineux. Sur CALVIN, autre benchmark de référence pour les tâches robotiques longues et séquentielles, il obtient la meilleure longueur de séquence moyenne réussie observée, 4,19, signe d'une bonne tenue sur les scénarios à horizon long.

Ce résultat intéresse directement le secteur de la robotique manipulative parce qu'il s'attaque à une limite connue des VLA autorégressifs actuels, qui traitent la génération d'action comme une simple prédiction du token suivant, sans modéliser explicitement la structure temporelle et spatiale des séquences de mouvement ni séparer clairement représentation perceptuelle et action. Si les gains de performance se confirment en dehors des benchmarks académiques, cela indiquerait qu'un modèle nettement plus compact peut rivaliser, voire dépasser, des architectures VLA plus lourdes sur des tâches de manipulation complexes, un argument important pour les intégrateurs cherchant à déployer ces modèles avec des contraintes de calcul embarqué.

Il s'agit toutefois pour l'instant d'un travail de recherche validé uniquement sur des benchmarks de simulation (LIBERO, CALVIN) et quelques tâches réelles limitées, sans déploiement industriel ni intégration dans un produit commercial. L'article s'inscrit dans la lignée des travaux récents sur les VLA à diffusion, dans la continuité d'approches comme les modèles de type Pi-0 ou GR00T, sans toutefois s'y comparer directement dans le résumé fourni. Les auteurs annoncent des analyses d'ablation détaillées pour justifier chacun des deux choix de conception.

Dans nos dossiers

IA physique & VLANVIDIA GR00TManipulation robotiquearXiv cs.RO

À lire aussi

FibVLA : un modèle vision-langage-action temporel efficace avec échantillonnage de Fibonacci
1arXiv cs.RO 

FibVLA : un modèle vision-langage-action temporel efficace avec échantillonnage de Fibonacci

FibVLA, un nouveau modèle vision-langage-action (VLA) présenté dans un article publié sur arXiv (2607.29596v1), s'attaque à un problème central des architectures actuelles: la difficulté à exploiter l'historique temporel sans sacrifier la vitesse d'inférence en temps réel. Les VLA classiques se contentent généralement de la perception du moment présent; ceux qui tentent d'intégrer un contexte long souffrent d'une chute de performance liée à l'encodage de séquences étendues. FibVLA propose deux mécanismes pour résoudre ce compromis: un échantillonnage rétrospectif logarithmique (logarithmic hindsight sampling) appliqué aux états proprioceptifs et aux images, qui capture les dépendances temporelles longue durée avec un minimum de redondance, et un module d'action reposant sur le flow matching couplé à une stratégie d'inférence récurrente dite "Fibonacci", générant des plans d'action sur un horizon étendu à partir d'un retour en boucle fermée en temps réel. Les auteurs rapportent une amélioration nette de la fluidité des mouvements et des taux de réussite, sans avoir besoin de réentraîner les encodeurs visuels de grande taille. Cette approche répond à une tension concrète pour l'industrie robotique: les intégrateurs veulent des robots capables de raisonner sur une séquence d'actions passées, pas seulement sur l'image instantanée, mais chaque milliseconde d'inférence compte pour un contrôle en boucle fermée. Si les résultats se confirment à plus grande échelle, FibVLA illustrerait qu'il est possible d'obtenir un raisonnement temporel étoffé sans payer le prix habituel en latence, un point sensible dans le débat sur l'écart entre démonstrations impressionnantes et déploiement industriel réel. FibVLA s'inscrit dans une lignée de modèles VLA qui cherche à généraliser l'IA incarnée, aux côtés d'approches comme RT-2, OpenVLA, Pi-0 ou GR00T N2, où la gestion efficace du contexte temporel reste un défi ouvert. L'article ne précise pas de partenariat industriel ni de calendrier de déploiement; il s'agit à ce stade d'un travail de recherche évalué en conditions réelles limitées, dont la prochaine étape logique serait une validation sur des plateformes robotiques plus variées et des tâches de manipulation plus complexes.

RechercheActu
1 source
SimpleMemVLA : une mémoire vidéo native simple mais efficace pour les modèles vision-langage-action
2arXiv cs.RO 

SimpleMemVLA : une mémoire vidéo native simple mais efficace pour les modèles vision-langage-action

Des chercheurs affiliés au laboratoire chinois OpenBMB publient sur arXiv (référence 2609.05533v2, version révisée) un système de mémoire pour modèles vision-langage-action (VLA) baptisé SimpleMemVLA, conçu pour la manipulation robotique sur des horizons longs, où l'information nécessaire à une décision a parfois été observée plusieurs minutes auparavant. Contrairement aux mécanismes existants tels que les bancs de récupération, les compresseurs appris ou les états récurrents, qui doivent choisir a priori quoi conserver du passé sans savoir ce qu'une future décision exigera, SimpleMemVLA se passe de tout module de mémoire dédié: il exploite directement le contexte vidéo natif du modèle de base, en gardant l'historique échantillonné intact au format vidéo horodaté pour lequel ce backbone a été pré-entraîné. Les indices pertinents sont acheminés vers une tête d'action par flow-matching via les états cachés d'une sous-tâche générée, et l'historique partagé entre décisions consécutives est pré-rempli pendant l'exécution, ce qui maintient une latence proche de celle d'un VLA mono-image. Le système atteint l'état de l'art sur quatre benchmarks de mémoire sans dégrader le contrôle général, et surpasse nettement, à backbone et entraînement identiques, les approches par récupération, compression et états récurrents. Sur un robot physique à deux bras, il mène à bien deux tâches dont l'indice décisif disparaît de la scène avant que le robot n'agisse. Le résultat remet en cause une hypothèse répandue dans la conception des VLA: qu'un historique de plusieurs minutes serait trop volumineux pour être traité tel quel, justifiant des architectures de mémoire dédiées et coûteuses à entraîner. En montrant qu'un backbone VLM moderne peut ingérer cet historique brut sans perte de latence notable, l'étude suggère qu'une partie du travail d'ingénierie mémoire spécialisée pourrait devenir superflue à mesure que les fenêtres de contexte s'élargissent, un peu comme dans les grands modèles de langage. Pour les intégrateurs et chercheurs en manipulation longue durée, cela ouvre une piste plus simple pour traiter des tâches où un repère visuel clé (étiquette, position d'un objet) doit être mémorisé bien avant d'être exploité. La validation reste toutefois circonscrite: les benchmarks sont vraisemblablement simulés et la démonstration physique se limite à deux tâches sur un seul robot bibras, loin d'un déploiement industriel. Le travail s'inscrit dans la lignée des recherches sur la mémoire des modèles VLA, qu'il compare explicitement aux approches par récupération, compression et états récurrents citées dans l'article. Aucun partenaire industriel, pilote ni calendrier commercial n'est annoncé: il s'agit d'une contribution académique dont le code est publié en accès libre sur GitHub, sous le dépôt OpenBMB/SimpleMemVLA, sans mention d'acteur français ou européen dans ce travail.

RechercheOpinion
1 source
VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces
3arXiv cs.RO 

VLA-ACL : élagage de jetons visuels cohérent avec les actions pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs publient sur arXiv VLA-ACL (Action Consistency Learning), une méthode d'élagage de tokens visuels pour les modèles Vision-Language-Action (VLA), dont le code est disponible sur GitHub. Le système apprend une politique d'élagage légère tout en laissant le modèle VLA de base entièrement gelé. L'entraînement vise à ce que les actions produites à partir d'un contexte visuel élagué restent cohérentes avec celles d'un modèle enseignant qui voit le contexte complet. Les actions de référence (ground truth) ne servent que de supervision auxiliaire. Les tests portent sur le benchmark de simulation LIBERO et sur des tâches de manipulation en conditions réelles. La méthode élimine jusqu'à 87,5 % des tokens visuels tout en gardant des performances jugées compétitives. Elle réduit le calcul jusqu'à 75 % et accélère l'inférence d'un facteur 1,5. Ces chiffres comptent pour le déploiement. Un VLA doit traiter de longues séquences de tokens à chaque pas de contrôle, et les patchs visuels dominent cette séquence. Cette charge limite le temps réel sur le matériel embarqué. Le gain d'inférence de 1,5x reste nettement inférieur à la réduction de calcul de 75 %. Cet écart suggère que les coûts hors visuel, comme le décodage des actions, plafonnent l'accélération réelle. Les résultats viennent de l'article seul, sans reproduction indépendante. La notion de « performance compétitive » n'est pas chiffrée dans le résumé, et on ignore sur quels modèles de base et quels robots les tests réels ont été faits. La méthode gèle le modèle de base, donc un intégrateur peut l'ajouter à un VLA existant sans le réentraîner. Elle illustre aussi un changement d'approche : choisir les tokens selon leur effet sur la commande finale plutôt que selon des scores d'attention. Les travaux antérieurs d'élagage pour VLA se répartissent en deux familles. La première regroupe des heuristiques sans entraînement, fondées sur les scores d'attention ou des seuils de mouvement, jugées indirectes par les auteurs. La seconde exige un réglage fin coûteux du modèle de base. VLA-ACL se place entre les deux : une supervision au niveau de l'action, sans toucher aux poids du VLA. Les auteurs affirment un meilleur compromis performance-efficacité que les méthodes d'élagage existantes pour VLA gelés. La suite dépendra de la généralisation à d'autres architectures (Pi-0, GR00T, Helix et leurs équivalents) et de tests sur plus de tâches réelles. Le code étant public, la communauté pourra vérifier ces résultats rapidement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques
4arXiv cs.RO 

DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques

DynamicVLA est un modèle vision-langage-action (VLA) de 0,4 milliard de paramètres, conçu pour manipuler des objets en mouvement. Il s'appuie sur un encodeur visuel convolutif, choisi pour réduire la latence d'inférence. Un calendrier d'inférence continue fait chevaucher le raisonnement et l'exécution, ce qui rend le contrôle non bloquant. Un mécanisme baptisé Latent-aware Action Streaming écarte le début de chaque séquence d'actions prédite, devenu invalide à cause de la latence, et n'exécute que la fin encore valide. Les auteurs publient aussi le benchmark Dynamic Object Manipulation (DOM). Un pipeline de collecte automatisé y rassemble 200 000 épisodes synthétiques, répartis sur 2 800 scènes et 206 objets. Il a aussi permis de recueillir 2 000 épisodes réels sans téléopération. Le texte, publié sur arXiv en version 2 (2601.22153), est un article de recherche. Il ne décrit ni produit commercialisé ni déploiement industriel. Les résultats sont rapportés en simulation et sur robots réels. Le résumé ne donne ni taux de succès chiffrés ni plateforme robotique précise. Le problème visé est structurel pour les VLA. Ces modèles généralisent bien en manipulation statique, mais l'inférence prend du temps et l'objet continue de bouger pendant ce calcul. L'action prédite à partir d'une observation passée est donc périmée au moment où le robot l'exécute. Pour un intégrateur, cela touche les cas où la scène ne s'arrête pas pour le robot. C'est le cas des convoyeurs en mouvement, du tri à la volée ou des objets passés de main en main. La solution s'attaque à la latence plutôt qu'à la taille du modèle. Un modèle de 0,4 milliard de paramètres reste exécutable sur du matériel embarqué, contrairement aux grands VLA. L'alignement entre le temps de la prédiction et celui de l'action devient ainsi un critère de conception à part entière. Le choix de collecter des données réelles sans téléopération réduit aussi un coût important de la robotique d'apprentissage. Il faut toutefois attendre les chiffres détaillés. Les gains annoncés (mouvements variables, instructions riches en perception, trajectoires inédites) ne sont pas quantifiés dans le résumé. Le résumé ne dit pas non plus si les résultats réels reposent sur des essais nombreux ou sur quelques démonstrations choisies. Ces travaux s'inscrivent dans la vague des VLA généralistes comme Pi-0, GR00T ou Helix. Elle a surtout progressé sur la manipulation statique et les tâches longues, tandis que le contrôle réactif sur objets mobiles restait peu couvert. Le manque de données dynamiques standardisées freinait la comparaison entre méthodes, et c'est le vide que DOM veut combler. La suite dépendra de l'adoption du benchmark par d'autres laboratoires. Elle dépendra aussi de la reproduction des résultats sur des bras et des mains variés. Pour l'industrie, l'étape suivante est un test sur des cadences réelles, avec des charges et des vitesses de ligne de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source