Aller au contenu principal
Regarder avant d'agir : distiller la recherche arborescente en évaluation d'actions pour modèles VLA figésIllustration générée par IA
RecherchearXiv cs.RO 

Regarder avant d'agir : distiller la recherche arborescente en évaluation d'actions pour modèles VLA figés

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publie sur arXiv (2607.03751v1) une étude qui identifie un goulot d'étranglement méconnu dans les modèles Vision-Language-Action (VLA) : leurs échecs ne viennent pas seulement d'une mauvaise génération d'actions, mais surtout d'une mauvaise évaluation de ces actions. Un test diagnostique dit "pass@k" le prouve de façon frappante : un même modèle VLA figé, sans aucun réentraînement, voit son taux de réussite grimper de 33% en pass@1 à 92% en pass@32. Autrement dit, la bonne action existe déjà dans la distribution de sortie du modèle, mais celui-ci ne sait pas la reconnaître parmi ses propres propositions. Les chercheurs en tirent SVA (Search, Value, and Act), un framework qui ajoute une couche d'évaluation à un modèle VLA gelé : une recherche arborescente Monte-Carlo (MCTS) explore en simulation les trajectoires possibles et les annote de leurs résultats réels, ces données entraînent ensuite un modèle de valeur Q léger qui prédit la conséquence attendue de chaque action candidate, et au déploiement le VLA propose plusieurs actions parmi lesquelles l'évaluateur choisit la meilleure, sans besoin d'accès à un simulateur.

Cette approche renverse une hypothèse répandue du secteur : que la seule voie d'amélioration des VLA est le post-entraînement par fine-tuning supervisé ou apprentissage par renforcement, au prix d'une perte de capacité généraliste. En découplant proposition d'action et évaluation de conséquence, SVA préserve les capacités de généralisation acquises au pré-entraînement tout en améliorant nettement le taux de succès sur des tâches inédites. Résultat le plus marquant : un modèle VLA de 9 milliards de paramètres équipé de SVA dépasse de 7 points un modèle de 27 milliards, avec une latence d'inférence inférieure de 27%. Le message pour l'industrie est clair : investir dans le calcul au moment de l'inférence peut être plus rentable que de faire grossir les modèles.

Ces travaux s'inscrivent dans la lignée des modèles VLA généralistes type Pi-0, OpenVLA ou GR00T N2, dont la fragilité de généralisation face aux méthodes de post-entraînement classique est un problème documenté depuis plusieurs mois dans la recherche en robotique. SVA propose une alternative architecturale plutôt qu'un simple ajustement d'entraînement, ouvrant la voie à des déploiements où l'évaluation test-time devient un axe de scaling à part entière, distinct de la taille du modèle.

À lire aussi

Regarder avant d'agir : relier perception active et modèles vision-langage-action (VLA) par l'adaptation de données alignées sur les observations
Illustration générée par IA
1arXiv cs.RO 

Regarder avant d'agir : relier perception active et modèles vision-langage-action (VLA) par l'adaptation de données alignées sur les observations

Des chercheurs proposent ActiveAlign, un cadre d'adaptation de données qui relie la perception active (déplacer la caméra pour voir une cible occultée) aux modèles Vision-Language-Action (VLA). Le problème identifié, baptisé « sensibilité à la distribution de la première image », est mesuré sur le benchmark de simulation LIBERO : lorsqu'on ajoute naïvement une phase de repositionnement de caméra devant pi0.5, le taux de succès chute de 46,3 % à 11,5 % sous départs perturbés. ActiveAlign procède en trois temps. Un module de point de vue génère d'abord une trajectoire de caméra. Hors ligne, un alignement en boucle fermée raccorde ensuite le point d'arrivée de cette trajectoire à une démonstration existante, rejoue la suite de la manipulation et ne conserve que les continuations réussies pour le fine-tuning. Au déploiement, le même module précède le VLA adapté, dont l'architecture reste inchangée. Sur 40 tâches LIBERO, la méthode atteint 70,7 % de succès avec pi0 et 72,7 % avec pi_0.5, soit +40,0 et +26,4 points face à l'entraînement standard. En conditions réelles d'occultation physique, le succès passe de 35/90 à 83/90. Le résultat compte parce qu'il isole une cause précise d'échec que beaucoup d'équipes rencontrent sans la nommer : brancher une caméra active sur une politique de manipulation préentraînée ne suffit pas, car le mouvement de caméra place le robot dans des états initiaux hors de la distribution d'entraînement. Le gain ne vient donc pas de la perception active seule, mais de l'alignement entre les données d'entraînement et les états où la recherche de point de vue s'arrête. Pour les intégrateurs travaillant sur du bin-picking ou des étagères encombrées, c'est une piste pragmatique : elle réutilise des démonstrations existantes sans changer l'architecture du VLA ni collecter de nouvelles téléopérations. Les contrôles à états appariés et à données appariées écartent l'explication par un simple raccourcissement des trajectoires ou par une augmentation générique de points de vue. La même tendance apparaît avec OpenVLA et GR00T N1, ce qui suggère une portée plus large que la seule famille pi. Quelques réserves s'imposent. Les chiffres principaux proviennent de LIBERO, un benchmark simulé aux scènes relativement standardisées, et l'évaluation réelle (90 essais) reste limitée en taille, sans indication ici sur la diversité des objets ni des scènes. Le travail s'inscrit dans la course aux VLA généralistes (pi0 et pi0.5 de Physical Intelligence, GR00T de NVIDIA, OpenVLA), qui supposent le plus souvent des caméras fixes ou montées au poignet. ActiveAlign montre qu'un levier de robustesse se situe dans l'adaptation des données plutôt que dans l'agrandissement des modèles. Les suites naturelles seraient des tests sur des plateformes mobiles, des scènes plus denses et des modèles plus récents que GR00T N1, ainsi qu'une mesure du coût en temps de cycle du repositionnement, que l'étude ne chiffre pas ici.

RecherchePaper
1 source
Penser comme un modèle du monde, agir comme un VLA : distiller les représentations en politiques compactes
Illustration générée par IA
2arXiv cs.RO 

Penser comme un modèle du monde, agir comme un VLA : distiller les représentations en politiques compactes

Une équipe de recherche publie sur arXiv (référence 2609.24682) une méthode qui ajoute un terme d'alignement de représentations à l'entraînement classique des modèles Vision-Language-Action (VLA), ces réseaux qui associent perception et langage à des actions robotiques. Un world model figé est passé une seule fois sur les images d'entraînement, ses caractéristiques internes sont mises en cache, puis le modèle VLA « étudiant » apprend à s'aligner sur ce cache pendant l'entraînement. Le world model n'est jamais chargé lors du déploiement et le module de projection est jeté après l'entraînement, si bien que la politique finale reste identique au modèle VLA non distillé, tant en taille qu'en calcul. Résultat mesuré : un étudiant de 0,8 milliard de paramètres tourne en 32 millisecondes et consomme 1,86 Go de mémoire sur une carte grand public RTX 5090, atteint 97,9 % de réussite sur le benchmark de manipulation LIBERO, et progresse de 48,2 % à 50,5 % sur RoboCasa-GR1, un banc d'essai de manipulation humanoïde en simulation. Le gain se vérifie aussi sur du matériel réel, sur une plateforme à bras unique et sur une plateforme bimanuelle. L'intérêt pour l'industrie robotique tient à la séparation qu'établit ce travail entre deux familles de modèles jusque-là difficiles à concilier : les VLA, rapides mais dépourvus d'objectif qui tienne compte de la réaction du monde à une action, et les world models, physiquement mieux fondés mais trop lents pour piloter un robot en temps réel puisqu'ils doivent projeter le futur seconde par seconde. En montrant que la connaissance physique d'un world model peut être injectée dans une politique légère sans alourdir le calcul au moment de l'exécution, l'étude suggère qu'on peut améliorer la robustesse des VLA sans ajouter de données, de paramètres ni de calcul supplémentaire au déploiement, un point qui intéresse directement les intégrateurs contraints par la latence et la puissance embarquée. Ce résultat s'inscrit dans un débat actuel de la recherche en robotique entre approches VLA et approches par world models, sans qu'aucun partenaire industriel ni déploiement commercial ne soit mentionné à ce stade. La méthode a été testée en faisant varier la taille de l'étudiant, l'architecture de base, la couche d'alignement et le world model utilisé comme enseignant, un signal que l'effet observé relève d'un principe général plutôt que d'un couplage fragile entre deux réseaux précis. Les auteurs publient les détails sur une page projet dédiée, mais le travail reste à ce jour un résultat de recherche évalué en simulation et en laboratoire, sans calendrier annoncé vers une industrialisation.

RecherchePaper
1 source
Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action
Illustration générée par IA
3arXiv cs.RO 

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long. Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA. Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

RechercheActu
1 source
Recherche arborescente Monte Carlo avec factorisation tensorielle pour les problèmes d'optimisation en robotique
Illustration générée par IA
4arXiv cs.RO 

Recherche arborescente Monte Carlo avec factorisation tensorielle pour les problèmes d'optimisation en robotique

Une équipe de chercheurs a publié sur arXiv (référence 2507.04949, troisième version) un algorithme baptisé Tensor Train Tree Search (TTTS), qui combine la recherche arborescente Monte Carlo (MCTS) avec la factorisation tensorielle dite "tensor train" pour résoudre des problèmes d'optimisation en robotique. La méthode a été validée expérimentalement sur cinq familles de tâches : cinématique inverse, planification de trajectoire avec évitement d'obstacles, manipulation par robot à pattes, planification multi-étapes, et manipulation bimane corps entier. Il s'agit d'un préprint de recherche, sans déploiement industriel annoncé à ce stade. L'enjeu central est la généralisation cross-tâche : les solveurs actuels (optimiseurs de trajectoire, planificateurs par échantillonnage comme RRT*, méthodes RL) sont fortement spécialisés par domaine, ce qui impose un effort de reformulation important pour chaque nouveau problème et limite l'autonomie multi-tâche des robots. MCTS offre naturellement ce caractère généraliste via l'exploration structurée de l'espace de solutions, mais souffre d'une complexité combinatoire explosive en haute dimension, rendant son application naïve impraticable pour les espaces articulaires de bras ou de robots marcheurs. TTTS contourne ce verrou en exploitant les corrélations implicites entre branches de l'arbre de décision via une représentation compacte à complexité linéaire, ce qui réduit simultanément l'empreinte mémoire et le coût de calcul. Pour un intégrateur ou un architecte de systèmes robotiques, l'intérêt est de disposer d'un cadre de planification unifié plutôt que d'une pile d'optimiseurs hétérogènes à maintenir. MCTS est historiquement issu du jeu (AlphaGo/AlphaZero de DeepMind), et sa transposition à la robotique se heurte depuis longtemps à la malédiction de la dimensionnalité. La factorisation tensor train, technique établie en algèbre linéaire numérique, a déjà démontré son efficacité pour compresser des représentations haute dimension dans d'autres domaines, mais son intégration à MCTS pour la planification robotique reste peu explorée. Du côté concurrentiel, TTTS se positionne face aux approches de type diffusion (Diffusion Policy) et aux VLA (Vision-Language-Action models) qui traitent la planification de façon implicite via des réseaux appris, ainsi qu'aux solveurs classiques comme IPOPT ou SNOPT. La prochaine étape naturelle serait une validation sur matériel réel et une comparaison de temps de cycle en conditions industrielles, absentes du preprint actuel.

RecherchePaper
1 source