Aller au contenu principal
RecherchearXiv cs.RO 

FastHarness : ordonnancement de révisions guidé par l'expérience pour les politiques vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

FastHarness, un framework décrit dans un preprint arXiv (2610.31427v1), vise à réduire le coût de supervision des systèmes robotiques dits agentiques, qui associent le raisonnement d'un modèle de langage à une politique de contrôle robotique. Ici, GPT-6 Astra supervise une politique VLA (vision-langage-action) π0.5, dont les poids restent gelés et qui génère de nouvelles actions à partir des observations courantes. Le système cible un défaut courant de ces architectures: la relecture de chaque segment d'actions (action chunk) par le modèle superviseur coûte cher, y compris dans des situations familières. Le chemin rapide s'appuie sur une mémoire des étapes et sur les résultats déjà relus pour espacer les revues à mesure que l'expérience s'accumule. Un chemin de récupération concentre la supervision sur la correction des erreurs, puis l'exécution routinière reprend une fois la correction vérifiée, l'expérience d'échec étant conservée pour guider les interventions futures. Sur quatre tâches de manipulation simulées, la consommation de tokens du relecteur baisse en moyenne de 57,2 % par tâche entre le premier épisode évalué et la moyenne des cinq derniers. Le temps moyen par épisode passe de 85,5 à 52,0 minutes, et le taux de réussite moyen de 80 % pour la baseline GPT-as-Policy (π0.5 plus GPT-6 Astra) à 97,19 %.

Pour les intégrateurs et les responsables d'exploitation, l'enseignement porte sur le coût d'exploitation de la supervision par LLM, souvent l'obstacle économique à ces architectures. Les auteurs montrent qu'une planification adaptative des revues peut améliorer à la fois l'efficacité et la fiabilité, sans réentraîner ni ajuster la politique sous-jacente. Cela plaide pour une couche logicielle de supervision modulaire, compatible avec des VLA existants. Les chiffres appellent toutefois de la prudence: les résultats viennent uniquement de simulation, sur seulement quatre tâches, et rien ne documente le transfert au monde réel, où la latence, le bruit de perception et la variabilité des scènes pèsent davantage. Des épisodes de 52 à 85 minutes restent aussi très longs pour des cadences industrielles, ce qui indique que le travail relève d'une démonstration de méthode et non d'une performance de production. Le gain dépend en outre d'une répétition de situations similaires, hypothèse à vérifier en environnement moins structuré.

Le travail s'inscrit dans la montée des architectures hiérarchiques, où un modèle de raisonnement généraliste pilote une politique d'actions de bas niveau, une approche proche de celles explorées par Physical Intelligence avec la famille π, ou par d'autres acteurs combinant planification par LLM et contrôle réactif. La baseline GPT-as-Policy illustre le coût de la supervision systématique que FastHarness cherche à réduire. Il s'agit d'un preprint, sans mention de relecture par les pairs, de code publié, de partenaire industriel ni de pilote. Les prochaines étapes naturelles seraient une validation sur robots physiques, des tâches plus nombreuses et variées, et une comparaison avec d'autres stratégies de supervision. Aucun acteur français ou européen n'est cité dans l'abstract.

Impact France/UE

Pas d\'impact direct sur la France/UE

À lire aussi

CARE : correction atomique guidée par l'expérience pour les politiques vision-langage-action
1arXiv cs.RO 

CARE : correction atomique guidée par l'expérience pour les politiques vision-langage-action

Une équipe de chercheurs a publié le 24 septembre 2026 sur arXiv (référence 2609.24118v1) un article présentant CARE, pour Corrective Atomic Robotic Execution, un framework destiné à améliorer la récupération des politiques Vision-Language-Action (VLA) lorsque l'exécution d'une tâche de manipulation robotique dévie de sa trajectoire nominale. Plutôt que de générer des données correctives à partir de perturbations manuelles ou aléatoires, comme le font les approches existantes, CARE collecte des rollouts ayant échoué, modélise les déviations post-échec en fonction de l'étape de la tâche, puis synthétise à partir de ces distributions empiriques des états d'échec représentatifs et des démonstrations correctives. Au moment de l'exécution, le système combine une planification par étapes avec un suivi 3D ancré physiquement pour déclencher des ajustements ponctuels ou des reprises d'opération, sans perdre la progression déjà accomplie sur la tâche. Les auteurs introduisent également un nouveau benchmark, le Failure State Recovery Benchmark (FSR-Bench), conçu pour évaluer spécifiquement la capacité de récupération à partir d'états d'échec intermédiaires, qu'il s'agisse de déviations locales ou d'anomalies structurelles. Testé sur plusieurs backbones VLA, en simulation et sur des tâches réelles à deux bras, CARE affiche des gains moyens de taux de réussite de 14,5 points en simulation et 15,9 points en conditions réelles. Le code, les modèles et les données sont publiés sur GitHub. Ce travail s'attaque directement à un point faible connu des politiques VLA: leur robustesse s'effondre dès que l'exécution s'écarte du script appris, un écart classique entre démonstration contrôlée et déploiement réel. Pour les intégrateurs et les équipes robotique en entreprise, le message est clair: empiler des données de démonstrations réussies ne suffit pas à obtenir un système fiable en production, il faut des mécanismes dédiés à la détection et à la correction des échecs. Cela nuance l'hypothèse selon laquelle le passage à l'échelle des modèles VLA résoudrait seul le problème de généralisation, et remet la question de la récupération d'erreur au centre des critères d'évaluation avant tout déploiement industriel. Le papier s'inscrit dans la lignée des politiques VLA généralistes pour la manipulation, sans revendiquer de lien avec un produit commercial ou un robot humanoïde particulier: il s'agit d'une contribution de recherche publiée en preprint, non encore validée par relecture par les pairs, avec un code ouvert permettant sa reproduction. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes attendues concernent l'extension de FSR-Bench à d'autres familles de politiques VLA et la validation sur davantage de plateformes robotiques réelles au-delà des configurations à deux bras testées ici.

RechercheOpinion
1 source
SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
3arXiv cs.RO 

FocusVLA : routage dynamique des vues guidé par l'intention future pour les modèles vision-langage-action (VLA)

FocusVLA, un framework présenté sur arXiv (2610.31423), cible un défaut des modèles vision-langage-action (VLA) pour la manipulation robotique. Ces modèles unifient perception visuelle, compréhension du langage et génération d'actions, et utilisent couramment plusieurs caméras (vue globale et vue poignet) pour mieux observer objets, effecteur et relations spatiales. Les auteurs constatent que les VLA existants exploitent mal cette complémentarité: la politique s'appuie de façon persistante sur la vue poignet et ne rééquilibre pas la dépendance global/local selon les phases de la tâche (approche, saisie, placement). FocusVLA ajoute un routage dynamique des vues. Un module prédit l'intention d'interaction future à partir de l'historique des actions, puis cette prédiction pilote la pondération des vues pendant la génération d'actions. Sur le benchmark simulé RoboTwin 2.0, le taux de succès moyen progresse de 10,10 points de pourcentage par rapport à la meilleure référence, π0.5 de Physical Intelligence. En évaluation réelle, le succès passe de 71,7 % à 85,0 %, soit un gain de 13,3 points sur π0.5. Les auteurs précisent que les modules de prédiction d'intention et de routage s'intègrent à des cadres VLA existants sans modifier leur architecture centrale. L'intérêt tient moins au score qu'au diagnostic. Beaucoup de systèmes déployés ajoutent des caméras en supposant que le modèle saura s'en servir. Ce travail suggère que ce n'est pas le cas: une politique qui se repose sur la caméra poignet est plus fragile quand l'objet est occlus, que la pose globale compte ou que la scène change. Pour un intégrateur, cela renvoie à la robustesse hors démonstration, là où les échecs se concentrent aux transitions entre phases. Le caractère modulaire est aussi un point pratique: un greffon compatible avec des VLA existants peut être testé sans réentraîner une architecture entière, ce qui réduit le coût d'expérimentation. Il faut toutefois lire les chiffres avec prudence. Le test réel n'est pas décrit ici (nombre de tâches, d'essais, de robots), et un écart de 13,3 points sur un échantillon restreint peut avoir une marge d'incertitude importante. Il s'agit d'un preprint, sans validation indépendante ni déploiement industriel annoncé. Ce travail s'inscrit dans la lignée des VLA généralistes, dont π0 puis π0.5 sont devenus des références de comparaison académique, aux côtés d'approches comme GR00T de NVIDIA ou Helix de Figure. La course porte désormais sur la fiabilité et l'utilisation efficace des entrées multimodales, plus seulement sur l'échelle des données. RoboTwin 2.0, benchmark bimanuel en simulation, sert de terrain d'évaluation courant. La suite logique serait une validation sur d'autres backbones que π0.5, des tâches plus longues et des tests multi-sites. Aucun calendrier de pilote ou de commercialisation n'est mentionné, et le résumé ne cite pas de partenaire industriel européen.

RecherchePaper
1 source
SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)
4arXiv cs.RO 

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau. Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production. L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

RechercheActu
1 source