RecherchearXiv cs.RO 5 août 2026

ValueFormer : une fonction de valeur transformer causale à étiquettes conscientes de l'étape pour les politiques vision-langage-action semi-autonomes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ValueFormer (arXiv:2608.02958), un transformer causal compact adossé à un backbone DINOv3 gelé qui produit, à chaque frame, deux signaux : une valeur Monte Carlo lisse (V_mc) pour l'estimation d'avantage, et une valeur binaire nette pour détecter les erreurs en direct. Les épisodes échoués reçoivent un retour succès puis décroissance, la détection s'appuyant sur des intervalles d'erreur plutôt qu'un instant unique. Sur une tâche réelle d'assemblage bimanuel de sandwichs (1427 épisodes), ce poids de critique par frame fait passer le taux de réussite de 70% à 85% (n=20, dans la marge de bruit), et un encodeur bf16 par lots divise le coût de service par 3 à 5, permettant au critique de tourner à 2 Hz avec la politique sur un seul GPU.

L'enjeu souligné par les auteurs est méthodologique : une politique Vision-Language-Action entraînée par clonage comportemental échoue silencieusement, un rollout qui s'effondre ressemblant, vu des seules actions, à un rollout qui progresse normalement. Le renforcement apporterait ce signal de progrès, mais reste impraticable : l'expérience réelle sur robot coûte cher et les aliments déformables comme les ingrédients d'un sandwich résistent mal à la simulation. Un simple bit de succès ou d'échec en fin d'épisode est trop rare pour indiquer quand une trajectoire a dérapé. Le point dur, selon les auteurs, n'est pas l'architecture mais l'étiquette par frame, qui doit être dense, continue et bien structurée. Pour l'industrie, cela offre un moyen peu coûteux d'instrumenter des politiques VLA en production et de détecter les erreurs en direct sur des tâches impliquant des objets déformables, mal gérés par la simulation classique.

ValueFormer s'inscrit dans la famille des politiques Vision-Language-Action, aux côtés de modèles comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser le contrôle robotique à partir de démonstrations plutôt que de règles codées à la main. Le choix d'un backbone DINOv3 gelé et d'une architecture indépendante de la politique rend le critique réutilisable d'un système à l'autre, une approche modulaire plutôt qu'intégrée de bout en bout. Le papier reste un travail de recherche testé en laboratoire sur une seule tâche, avec un gain de performance mesuré sur seulement 20 essais, un résultat à confirmer avant toute généralisation.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Distiller un traqueur 3D centré sur le monde en politiques vision-langage-action

Des chercheurs publient Track4Action, une méthode d'entraînement pour les politiques vision-langage-action (VLA) qui pilotent des robots, mise en ligne sur arXiv le 5 août 2026. Le problème visé : les labels d'action indiquent quelles commandes imiter, mais pas comment elles transforment la scène en 3D. Un module nommé Track4World distille cette information manquante depuis un tracker 3D figé, en encodant géométrie, mouvement et visibilité captés durant la démonstration ; des "track queries" apprenables retrouvent cette signature dans les états cachés du modèle VLA courant et conditionnent une tête d'action par flow-matching, sans utiliser le clip ni le tracker au moment du déploiement. Résultat : 82,3% de réussite en zero-shot sur LIBERO-Plus (+7,6 points face à une variante sans alignement, +3,0 face à LaMP), 80,44% et 81,48% sur RoboTwin 2.0 selon la configuration, et 67,5% de réussite moyenne sur quatre tâches physiques bimanuelles réelles, soit 25 points de mieux que la variante sans alignement. Ce travail touche un point sensible de la robotique IA actuelle : transférer la richesse d'une démonstration vidéo (mouvement, occlusions, changements de caméra) vers une politique qui, en conditions réelles, ne verra jamais cette vidéo. La plupart des VLA s'entraînent seulement sur des paires observation-action, en ignorant la dynamique 3D implicite des trajectoires démontrées. Le gain de 25 points sur les tâches bimanuelles physiques, bien supérieur à ceux mesurés en simulation, suggère que cette supervision privilégiée devient d'autant plus utile que la manipulation se complexifie, notamment pour les tâches à deux bras qui exigent une meilleure compréhension géométrique de la scène. Track4Action se compare à deux références directes : une variante "alignment-free" du même pipeline, privée de la distillation du tracker, et LaMP, une méthode antérieure de conditionnement par représentations de mouvement. Le travail s'inscrit dans la lignée des architectures VLA à flow-matching, popularisées par des modèles comme Pi-0 ou GR00T N2, en y ajoutant une brique de supervision par tracker 3D. Les auteurs valident leur approche en simulation, sur LIBERO-Plus et RoboTwin 2.0, et sur banc physique avec des manipulations bimanuelles réelles, une combinaison encore rare dans la littérature VLA. Une page projet est en ligne, mais aucun code ni poids de modèle n'est mentionné comme publié à ce stade, ce qui limite pour l'instant la reproductibilité par des tiers.

RechercheOpinion

1 source

2arXiv cs.RO

FLARE : un cadre conscient des échecs pour la correction et la récupération autonomes en manipulation robotique vision-langage

Des chercheurs proposent FLARE (Failure-Aware framework for Autonomous Correction and Recovery), publié sur arXiv sous la référence 2608.26645v1, une méthode destinée aux modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le système repose sur deux mécanismes complémentaires baptisés « Retry » et « Reset ». Le mécanisme Retry injecte des perturbations et des segments de transition dans les démonstrations d'entraînement, en dissociant la pose du robot de l'état de l'environnement, afin que la politique apprenne à gérer seule les écarts d'exécution mineurs comme une prise ratée ou un objet qui glisse. Le pipeline Reset s'attaque aux échecs plus graves, dits hors distribution (OOD), qui rompent l'état de la tâche : un grand modèle multimodal (MLLM) analyse hors ligne des vidéos d'exécution pour repérer automatiquement ces états OOD, ce qui permet de constituer une petite bibliothèque ciblée de compétences de récupération centrées sur les objets. En inférence, un moniteur MLLM en ligne arbitre en temps réel entre poursuite de la tâche et déclenchement d'une compétence Reset. Les auteurs annoncent des gains de taux de réussite et de robustesse sur des tâches de manipulation complexes et riches en contacts, sans toutefois détailler dans le résumé les chiffres précis ni la plateforme robotique testée. L'enjeu touche un point faible connu des VLA : entraînés sur des démonstrations « parfaites », sans échec, ils peinent souvent à se rattraper en conditions réelles, un écart classique entre démonstration et déploiement. Pour les intégrateurs et les équipes robotique industrielles, la capacité à détecter et corriger automatiquement une erreur d'exécution, sans intervention humaine ni réinitialisation manuelle du poste de travail, conditionne directement la viabilité de cellules de manipulation autonomes en production. FLARE s'inscrit dans une tendance de recherche qui cherche à combler l'écart entre les démonstrations vidéo souvent présentées par les laboratoires et la réalité d'une ligne de production où objets glissent, collisions surviennent et préhenseurs ratent leur prise. Le travail s'inscrit dans la lignée des modèles VLA génériques récemment mis en avant dans le secteur, comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser la manipulation à partir d'un apprentissage à grande échelle mais partagent la même limite de données d'entraînement sans échec. FLARE reste à ce stade une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel ni de partenariat commercial associé ; sa validation repose sur des expériences en laboratoire, et son adoption dépendra de tests indépendants et d'une éventuelle intégration dans des piles logicielles de manipulation existantes.

RechercheActu

1 source

3arXiv cs.RO

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu

1 source

4arXiv cs.RO

PAPO-VLA : une optimisation de politique adaptée à la planification pour les modèles vision-langage-action

Des chercheurs ont publié en mai 2026 sur arXiv (2605.19580) PAPO-VLA, une méthode d'optimisation pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique guidée par le langage naturel. L'observation centrale est qu'une politique VLA opère en boucle fermée : chaque action modifie l'état de la scène et conditionne toutes les décisions suivantes, ce qui rend une erreur de planification particulièrement coûteuse. Les auteurs distinguent donc deux rôles dans une politique VLA : le planificateur, qui prend des décisions orientées tâche susceptibles de rediriger l'exécution, et l'exécuteur, qui les traduit en actions continues denses. PAPO-VLA identifie les "actions de planification" en croisant variation d'action et issue de trajectoire, estime leur importance causale via deux critères formels (suffisance et nécessité causales), puis intègre ces poids dans l'estimation d'avantage du GRPO (Group Relative Policy Optimization), de sorte que les moments critiques reçoivent une emphase d'optimisation plus forte sans abandonner le signal de trajectoire globale. Des améliorations sont rapportées sur plusieurs benchmarks de manipulation robotique, sans chiffres précis disponibles dans le résumé public. L'apport clé est de combler un angle mort des approches existantes : l'imitation de trajectoires et l'optimisation par retour de trajectoire entière traitent toutes les actions avec la même importance, alors que certains instants de décision ont un impact causal disproportionné sur le succès de la tâche. Quantifier cet impact via des métriques causales formelles plutôt qu'heuristiques est une avancée méthodologique notable. Pour les équipes déployant des VLA en environnement réel, sur des plateformes comme pi-0 (Physical Intelligence), OpenVLA (Berkeley) ou GR00T N2 (NVIDIA), la méthode promet d'améliorer la fiabilité sans données de démonstration supplémentaires. Depuis RT-2 (Google DeepMind, 2023), le secteur des VLA cherche à combler l'écart entre performance en démonstration contrôlée et robustesse en déploiement réel. Le GRPO, popularisé par DeepSeek-R1 pour le raisonnement en LLM, est ici adapté à la robotique via une pondération causale des actions, dans un axe de recherche croissant autour du renforcement causal appliqué aux robots. PAPO-VLA est un preprint non encore revu par les pairs ; la validation expérimentale complète, avec benchmarks précis et comparaisons contrôlées, reste à confirmer via publication.

RechercheOpinion

1 source