Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
FASA : adaptation de l'échantillonnage sensible au retour pour des modèles VLA à diffusion efficaces
RecherchearXiv cs.RO 

FASA : adaptation de l'échantillonnage sensible au retour pour des modèles VLA à diffusion efficaces

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié le 18 septembre 2026 sur arXiv (référence 2609.19475v1) présente FASA (Feedback-Aware Sampling Adaptation), une méthode d'accélération pour les modèles Vision-Language-Action (VLA) fondés sur la diffusion. Ces modèles, utilisés pour piloter des robots à partir d'images et de langage naturel, souffrent d'un défaut connu : leur processus de génération d'action repose sur un échantillonnage itératif coûteux en calcul et en accès mémoire, ce qui empêche leur exécution en temps réel sur du matériel embarqué limité. FASA fonctionne sans entraînement supplémentaire et agit directement au moment de l'inférence : un premier module, l'adaptateur de plage piloté par l'interaction, ajuste dynamiquement le nombre global d'étapes de débruitage en fonction du retour visuel et de la force mesurée par la pince du robot ; un second module, l'adaptateur d'étape sensible à la proprioception, choisit précisément l'étape optimale à l'intérieur de cette plage. Les auteurs annoncent des gains de vitesse d'inférence allant jusqu'à 1,45 fois par rapport aux méthodes existantes, avec des taux de réussite jugés comparables sur plusieurs bancs d'essai (benchmarks) non détaillés dans le résumé.

Cette approche cible un point de friction central pour l'industrialisation des VLA : les méthodes d'accélération existantes imposent soit un réentraînement coûteux (distillation, flow matching), soit un élagage ou un système de cache programmé de façon statique, qui dégrade la perception en ignorant la variabilité réelle de la charge de travail robotique. En traitant le retour multimodal comme signal de contrôle du pipeline de débruitage, FASA propose une troisième voie, sans coût d'entraînement, potentiellement pertinente pour les intégrateurs cherchant à déployer des modèles génératifs lourds sur des plateformes de calcul contraintes, comme les contrôleurs embarqués de robots manipulateurs.

Il s'agit toutefois d'un prépublication arXiv, non encore validée par relecture par les pairs, sans identification des auteurs ni de laboratoire dans le résumé disponible, et sans précision sur le matériel de test ni sur les modèles VLA de référence utilisés pour la comparaison. Le gain de 1,45x reste à situer par rapport aux architectures concurrentes d'accélération de l'inférence robotique, un axe de recherche actif à mesure que les modèles VLA gagnent en taille et en ambition d'usage industriel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Apprentissage dans l'espace de bruit pour l'adaptation des modèles VLA
1arXiv cs.RO 

Apprentissage dans l'espace de bruit pour l'adaptation des modèles VLA

Des chercheurs proposent le « Noise Space Learning » (NSL), une méthode d'adaptation des modèles vision-langage-action (VLA) fondés sur le flow matching, décrite dans un preprint arXiv (2610.13943v1). Le principe est de laisser le VLA préentraîné entièrement figé et d'apprendre à la place une distribution conditionnelle sur le bruit initial qui alimente le processus génératif. Cette distribution dépend du contexte, c'est-à-dire de l'observation et de la tâche. Les auteurs formalisent NSL comme une interface générique d'adaptation, compatible avec plusieurs algorithmes d'apprentissage. Ils l'instancient avec trois d'entre eux: PPO et SAC (apprentissage par renforcement) et AWR (régression pondérée par l'avantage). L'évaluation porte sur les benchmarks de simulation LIBERO et RoboTwin, ainsi que sur quatre tâches de manipulation sur robot réel. Le résumé ne chiffre ni gains de succès, ni nombre d'interactions, ni nom de robot. L'intérêt pratique tient à la contrainte que la méthode cherche à lever. Les VLA préentraînés encodent de larges priors de manipulation, mais les spécialiser à une tâche ou un site exige d'arbitrer entre interactions robot limitées, budget de calcul et contraintes de sécurité. Un fine-tuning complet de modèles de plusieurs milliards de paramètres est coûteux, et l'exploration en ligne sur matériel réel est risquée. Agir sur l'espace de bruit réduit l'espace de recherche et laisse le modèle de base intact. Cela facilite le déploiement, car une même base peut servir plusieurs politiques d'adaptation légères. Les auteurs revendiquent aussi une analyse théorique, fondée sur la théorie de l'information, qui explique pourquoi cette adaptation est efficace. Sa portée reste à vérifier dans le texte complet. Surtout, le travail ne se limite pas à un algorithme: il compare des variantes et en tire des recommandations selon les régimes de ressources et de déploiement. Cette comparaison est utile aux intégrateurs, qui doivent choisir entre efficacité en données, coût de calcul et sûreté d'exécution. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail prolonge les méthodes de « noise steering » existantes, qui exploitent le fait que les politiques de diffusion et de flow matching transforment un bruit gaussien en actions. Piloter ce bruit permet d'orienter le comportement sans toucher aux poids, une idée déjà explorée pour des politiques de diffusion. Elle gagne en pertinence avec la généralisation des VLA à base de flow matching, comme la famille Pi-0 de Physical Intelligence. D'autres approches d'adaptation concurrentes passent par le fine-tuning supervisé, l'apprentissage par renforcement des poids ou les adaptateurs de type LoRA. LIBERO et RoboTwin sont des benchmarks établis, mais la simulation ne garantit pas la robustesse en production, et quatre tâches réelles restent un échantillon modeste. La suite dépendra de la publication du code, de la validation par relecture, et de résultats sur des tâches plus longues ou plus variées.

RecherchePaper
1 source
FibVLA : un modèle vision-langage-action temporel efficace avec échantillonnage de Fibonacci
2arXiv cs.RO 

FibVLA : un modèle vision-langage-action temporel efficace avec échantillonnage de Fibonacci

FibVLA, un nouveau modèle vision-langage-action (VLA) présenté dans un article publié sur arXiv (2607.29596v1), s'attaque à un problème central des architectures actuelles: la difficulté à exploiter l'historique temporel sans sacrifier la vitesse d'inférence en temps réel. Les VLA classiques se contentent généralement de la perception du moment présent; ceux qui tentent d'intégrer un contexte long souffrent d'une chute de performance liée à l'encodage de séquences étendues. FibVLA propose deux mécanismes pour résoudre ce compromis: un échantillonnage rétrospectif logarithmique (logarithmic hindsight sampling) appliqué aux états proprioceptifs et aux images, qui capture les dépendances temporelles longue durée avec un minimum de redondance, et un module d'action reposant sur le flow matching couplé à une stratégie d'inférence récurrente dite "Fibonacci", générant des plans d'action sur un horizon étendu à partir d'un retour en boucle fermée en temps réel. Les auteurs rapportent une amélioration nette de la fluidité des mouvements et des taux de réussite, sans avoir besoin de réentraîner les encodeurs visuels de grande taille. Cette approche répond à une tension concrète pour l'industrie robotique: les intégrateurs veulent des robots capables de raisonner sur une séquence d'actions passées, pas seulement sur l'image instantanée, mais chaque milliseconde d'inférence compte pour un contrôle en boucle fermée. Si les résultats se confirment à plus grande échelle, FibVLA illustrerait qu'il est possible d'obtenir un raisonnement temporel étoffé sans payer le prix habituel en latence, un point sensible dans le débat sur l'écart entre démonstrations impressionnantes et déploiement industriel réel. FibVLA s'inscrit dans une lignée de modèles VLA qui cherche à généraliser l'IA incarnée, aux côtés d'approches comme RT-2, OpenVLA, Pi-0 ou GR00T N2, où la gestion efficace du contexte temporel reste un défi ouvert. L'article ne précise pas de partenariat industriel ni de calendrier de déploiement; il s'agit à ce stade d'un travail de recherche évalué en conditions réelles limitées, dont la prochaine étape logique serait une validation sur des plateformes robotiques plus variées et des tâches de manipulation plus complexes.

RechercheActu
1 source
FastVLA : compression de jetons visuels adaptative, conditionnée par la tâche et par le temps, pour des modèles vision-langage-action (VLA) efficaces
3arXiv cs.RO 

FastVLA : compression de jetons visuels adaptative, conditionnée par la tâche et par le temps, pour des modèles vision-langage-action (VLA) efficaces

Des chercheurs proposent FastVLA, un cadre de compression des tokens visuels pour les modèles Vision-Langage-Action (VLA), publié sur arXiv (2610.22146) avec son code sur GitHub. Il s'applique sans entraînement supplémentaire et se branche sur des modèles existants. À chaque pas de temps, FastVLA évalue l'importance de chaque token visuel grâce à l'attention entre l'instruction de tâche et l'image. Il fixe ensuite le taux de compression selon l'uniformité de la distribution de ces scores, mesurée par un indice inverse de Simpson calibré en ligne sur une fenêtre glissante. Les auteurs l'ont testé sur OpenVLA, OpenVLA-OFT et CogACT, dans les benchmarks de simulation LIBERO et SIMPLER, puis sur un robot physique Franka Research 3. En simulation, les FLOPs du backbone LLM baissent de 35 à 59 % et la latence d'action de 9 à 32 % (accélération de 1,09x à 1,46x), avec un taux de succès maintenu. Sur le robot réel, la latence de bout en bout diminue de 20 % (1,25x) pour un succès jugé comparable. L'intérêt tient au goulot d'étranglement que vise ce travail. Dans un VLA en boucle fermée, des images haute résolution, souvent multi-vues, sont converties en centaines de tokens à chaque pas. Ces tokens dominent le calcul du transformer et la latence, ce qui limite la fréquence de contrôle et le déploiement sur du matériel embarqué. Les méthodes génériques de compression par attention reposent sur une saillance visuelle indépendante de la tâche et sur un budget fixe. Les auteurs soutiennent que ces deux choix gaspillent du calcul ou éliminent des tokens critiques pour le contrôle. FastVLA répond en adaptant à la fois le critère (la tâche) et le budget (le moment). Un gain de 1,25x sur robot réel reste modeste, mais il s'obtient sans réentraînement, ce qui compte pour les intégrateurs qui ne veulent pas reprendre le fine-tuning. Les chiffres viennent des auteurs. Le test réel se limite à un seul bras, et l'article ne détaille pas ici le nombre de tâches ni d'essais. Les accélérations en simulation sont aussi très variables d'un modèle à l'autre. Ce travail s'inscrit dans une série de méthodes « plug-and-play » de compression, d'élagage et de réutilisation de tokens pour VLA, qui servent de références de comparaison. Les auteurs revendiquent un compromis efficacité-performance équivalent ou meilleur. OpenVLA, OpenVLA-OFT et CogACT sont des bases académiques courantes, bien plus légères que les modèles propriétaires de l'industrie. La transposition aux grands modèles des acteurs commerciaux, comme Pi-0, Helix ou GR00T, reste à démontrer. Il s'agit d'une publication de recherche et non d'un produit. La suite logique est la validation sur davantage de plateformes, de tâches longues et de contraintes embarquées. Le code étant publié, la reproduction indépendante devrait aller vite.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
GRAFT : adaptation résiduelle sensible à la géométrie pour les modèles fondation de suivi
4arXiv cs.RO 

GRAFT : adaptation résiduelle sensible à la géométrie pour les modèles fondation de suivi

Des chercheurs proposent GRAFT, un cadre d'adaptation résiduelle sensible à la géométrie, destiné aux « behavior foundation models » (BFM) humanoïdes figés, publié sur arXiv (2610.36507). Les BFM sont des trackers de mouvement réutilisables: à partir d'une référence cinématique, ils produisent les commandes articulaires coordonnées du corps entier, pour le rejeu de mouvements, la téléopération ou le pilotage par VLA (modèles vision-langage-action). GRAFT laisse les paramètres du BFM et son interface de référence intacts. Un adaptateur léger n'ajoute que des corrections conditionnées par le terrain, limitées aux cibles d'exécution du bas du corps. Il est entraîné avec des récompenses de tâche et de géométrie du pied, et régularisé pour ne rien corriger sur sol plat. Il est distillé depuis des observations de terrain privilégiées (disponibles seulement en simulation) vers une perception par caméra de profondeur embarquée. Le cadre est instancié sur quatre trackers figés et évalué en simulation sur des escaliers, des trous et des plateformes. Une validation réelle a été menée sur un Unitree G1: le tracker SONIC adapté franchit le terrain avec la profondeur embarquée et des références non modifiées. Le résumé ne donne aucun chiffre de taux de réussite, de hauteur de marche ou de durée des essais. Le point notable est architectural. Les BFM sont entraînés surtout sur sol plat et ne savent pas adapter placement du pied, garde au sol en phase de balancier et timing des contacts au relief. Beaucoup d'approches réentraînent ou affinent le tracker avec la perception, ce qui coûte en données et en calcul. Elles couplent aussi le suivi ordinaire au canal de perception. En figeant le BFM, GRAFT ramène l'apprentissage du terrain à un problème d'adaptation de l'exécution. Pour les équipes qui s'appuient déjà sur un tracker généraliste, cela suggère un module de perception ajoutable sans refaire l'entraînement du modèle de base ni casser le comportement validé sur sol plat. La compatibilité avec quatre trackers différents pointe vers une couche réutilisable, mais seul le G1 a été testé en conditions réelles. Il faut lire ce résultat avec prudence: les preuves publiées portent sur des obstacles ponctuels (escaliers, trous, plateformes), pas sur des terrains non structurés ni sur des déploiements prolongés. Ce travail s'inscrit dans la montée en puissance des modèles de comportement de corps entier, dont SONIC fait partie, utilisés comme couche basse sous des politiques VLA et des systèmes de téléopération. Leur limite principale reste la locomotion hors terrain plat, que les approches de réentraînement conjoint avec perception tentent de lever au prix d'un fort coût d'entraînement. Le Unitree G1, plateforme humanoïde accessible, sert de banc d'essai courant pour la recherche académique. Reste à voir si l'approche tient sur des terrains plus variés, avec des références dynamiques plus exigeantes et sur d'autres robots. Il s'agit d'un préprint, sans annonce de produit, de pilote industriel ni de calendrier.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source