RecherchearXiv cs.RO 21 octobre 2026

VLA-Rolling : moins d'étapes de débruitage et un meilleur contrôle grâce à la réutilisation adaptative des actions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent VLA-Rolling, un cadre d'inférence léger qui accélère les modèles vision-langage-action (VLA) à flow matching sans réentraîner le modèle sous-jacent, laissé gelé. Ces modèles génèrent un « chunk » d'actions en débruitant itérativement un bruit gaussien (10 étapes en configuration native), mais n'exécutent qu'un court préfixe avant de replanifier avec de nouvelles observations. Le reste du chunk, la « queue d'actions », est jeté et le chunk suivant repart de zéro. VLA-Rolling réutilise cette queue en trois temps: héritage de la queue, estimation d'une confiance par action, puis raffinement guidé par cette confiance via un rebruitage partiel et une allocation adaptative du budget de débruitage. Testé sur π0.5, SmolVLA, X-VLA et MolmoAct2, avec les benchmarks LIBERO, MetaWorld, LIBERO-Plus et RoboTwin 2.0, le dispositif réduit le coût d'inférence dans les 16 paires modèle-benchmark, jusqu'à 1,48 fois plus vite, et améliore le taux de réussite dans 14 d'entre elles, jusqu'à 15,08 points de pourcentage.

L'intérêt tient à une observation simple: la queue écartée conserve une part du travail de débruitage et constitue un point de départ meilleur que le bruit pur. Initialisée ainsi, elle égale ou dépasse la base native à 10 étapes avec moins d'étapes. Le budget optimal variant fortement d'un échantillon à l'autre, une réduction uniforme serait sous-optimale, d'où la logique adaptative. Pour les intégrateurs, le gain vise un goulot réel: la latence d'inférence et la fluidité du contrôle en boucle fermée, sans coût de réentraînement et compatible avec plusieurs architectures. Le fait que la vitesse et la précision progressent ensemble est notable, car ces deux axes s'opposent d'ordinaire. Il faut toutefois relativiser: le speedup maximal de 1,48x est modeste, il porte sur le coût d'inférence du chunk d'actions et non sur la latence bout en bout, et les résultats viennent uniquement de benchmarks simulés. Rien n'indique encore un comportement équivalent sur robot physique, en présence de perturbations, de contacts ou d'une dynamique changeante.

Ce travail s'inscrit dans l'effort général pour rendre les VLA exploitables en temps réel, après la généralisation du flow matching popularisé par la famille π0 de Physical Intelligence, et à côté des pistes de distillation, de réduction d'étapes ou de modèles compacts comme SmolVLA. L'approche est complémentaire de ces méthodes, puisqu'elle agit à l'inférence sur des modèles existants. Il s'agit d'une prépublication arXiv (v2) accompagnée d'une page projet, sans produit ni déploiement commercial annoncé. La suite logique serait une validation sur matériel réel, des mesures de latence de bout en bout et un test sur des tâches longues où la queue d'actions risque de devenir obsolète.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel

Des chercheurs proposent Urgency-Aware Denoising (UAD), un cadre appliqué à l'inférence qui vise la latence des politiques Vision-Language-Action (VLA) à diffusion ou à flow matching. Ces modèles produisent des « chunks » d'actions par débruitage itératif, et chaque étape de débruitage ajoute du délai avant que le robot puisse bouger. UAD part d'un constat simple. Les actions d'un chunk sont générées ensemble mais exécutées l'une après l'autre, donc les premières sont plus urgentes que les dernières. Le système libère ces actions urgentes après moins d'étapes de débruitage. Il poursuit en arrière-plan le raffinement des actions de fin de chunk, pendant que le robot exécute les premières. Deux mécanismes corrigent les effets secondaires. Trajectory Reconciliation reconstruit un état interne cohérent, sans évaluation supplémentaire du modèle. Ghost Action Correction utilise des « actions fantômes », des prolongements non exécutés, pour compenser les erreurs des actions libérées trop tôt. Selon les auteurs, testés sur plusieurs architectures VLA, des benchmarks de simulation et des tâches de manipulation réelles, UAD atteint jusqu'à 1,89x d'accélération sur la latence moyenne de disponibilité des actions. Le taux de succès reste comparable à l'inférence classique avec un budget de débruitage optimal. L'intérêt tient au point de blocage de ces politiques : la latence d'inférence limite le contrôle temps réel. Beaucoup de méthodes d'accélération traitent le chunk comme un bloc indivisible. Ici, on exploite la structure temporelle du contrôle à horizon glissant. Cela peut réduire le délai de réaction sans changer les poids du modèle. Les résultats appellent toutefois de la prudence. Le chiffre de 1,89x est un maximum. Il porte sur la disponibilité moyenne des actions, pas sur le temps de cycle d'une tâche complète. Le résumé ne précise ni les modèles, ni le matériel, ni les tâches réelles, ni la variance entre essais. « Comparable » reste à quantifier. Ce travail s'inscrit dans la course aux VLA à diffusion et à flow matching, de la famille Pi-0 aux politiques de diffusion, qui pousse à réduire le coût du débruitage. Les alternatives connues passent par moins d'étapes, la distillation, la mise en cache ou l'inférence asynchrone. Les auteurs affirment un meilleur compromis succès-latence que les références de pointe, sans que le résumé les nomme. C'est un preprint arXiv, non évalué par les pairs, sans acteur industriel identifié. Les prochaines étapes à surveiller sont la publication du code, la réplication indépendante et des essais sur robot embarqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

REACT : débruitage glissant et double découplage pour un contrôle réactif des robots avec des modèles VLA

Des chercheurs publient sur arXiv (2610.12007) REACT, un cadre de « rolling denoising » destiné aux modèles vision-langage-action (VLA) à base de flow matching, ces modèles qui génèrent des séquences d'actions (« action chunks ») pour produire des mouvements de robot cohérents dans le temps. Au lieu de régénérer un chunk complet à chaque cycle, REACT maintient un tampon d'actions persistant dont les blocs sont à des pas de débruitage échelonnés. À chaque pas de contrôle, tout l'horizon est débruité avec l'observation la plus récente, le bloc le plus « propre » est exécuté, les blocs partiellement raffinés sont décalés vers l'avant et du bruit frais est ajouté en queue. Chaque action est ainsi affinée sur plusieurs observations successives avant d'être envoyée au robot. Un second volet, le « dual decoupling », sépare la perception, l'encodage par le VLM, le débruitage par le DiT (diffusion transformer) et l'exécution des actions, ce qui permet des mises à jour d'observation à haute fréquence et un flux d'actions continu sous des contraintes de calcul réalistes. L'évaluation couvre le benchmark de simulation RoboTwin 2.0 et des tâches réelles de manipulation bimanuelle et de contrôle dynamique sur plusieurs plateformes robotiques. Les auteurs revendiquent un meilleur taux de réussite, une latence de réaction réduite et des trajectoires plus lisses que les méthodes de replanification fréquente et les approches asynchrones. Le résumé ne donne aucun chiffre précis, ni fréquence de contrôle, ni gain en points de succès. L'enjeu est un compromis structurel des VLA actuels. Des chunks longs donnent des mouvements fluides mais un robot lent à réagir à une perturbation, tandis qu'une replanification fréquente améliore la réactivité au prix de discontinuités qui abîment la qualité du geste, voire le matériel. Pour un intégrateur, cela touche directement les tâches dynamiques (objets mobiles, convoyeurs, interaction avec des humains) où les démonstrations de VLA restent souvent cantonnées à des scènes quasi statiques. Si les gains se confirment, REACT montrerait qu'on peut gagner en réactivité par l'architecture d'inférence, sans réentraîner de modèle plus gros. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, et la comparaison porte sur des baselines choisies par les auteurs. L'absence de chiffres de latence dans le résumé empêche pour l'instant de juger si le gain est marginal ou décisif. Cette approche s'inscrit dans une série de travaux sur le temps réel des VLA. Les chunks d'actions issus de la diffusion ou du flow matching, popularisés par des modèles comme Pi-0, ont imposé ce dilemme, et des méthodes asynchrones ou de « real-time chunking » ont tenté de le contourner en exécutant l'inférence en parallèle du mouvement. REACT s'en distingue en transposant au contrôle robotique l'idée du débruitage glissant (rolling diffusion), déjà utilisée en génération vidéo, et en y ajoutant la séparation des composants pour tenir les contraintes de calcul embarquées. La suite dépendra de la publication du code, de mesures sur des cycles de contrôle réels et de tests sur d'autres familles de VLA, en particulier celles qui visent le déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Au-delà de la prédiction du futur : le débruitage comme adaptation générative pour le contrôle des robots

Des chercheurs publient sur arXiv (arXiv:2609.28339v1) une méthode baptisée NowWAM pour entraîner des politiques de contrôle robotique à partir de Diffusion Transformers (DiT) pré-entraînés sur de la génération d'images et de vidéos. Plutôt que de prédire des images futures pour transférer ce prior génératif vers le contrôle, comme le font la plupart des approches existantes, NowWAM débruite l'observation courante et prédit les actions du robot à partir du même flux visuel, sans cible visuelle future séparée. Sur le benchmark de simulation LIBERO-Plus, avec un backbone FLUX2-Klein, la méthode atteint 87,7 % de réussite, soit 6,1 points de plus qu'une base entraînée avec prédiction du futur, tout en divisant par deux le nombre de tokens visuels d'entraînement (784 à 392) et en réduisant le temps par étape de 2,85 à 1,63 seconde, un gain de vitesse de 1,8x. Avec un backbone texte-vers-image pur, Z-Image, sans capacité de génération vidéo ni d'édition d'image, NowWAM atteint 87,8 %. Le résultat central du papier est que restreindre l'entraînement au seul point d'arrivée débruité dégrade nettement la robustesse, alors que remplacer la cible future par la cible présente ne change quasiment rien aux performances. Cela suggère que ce n'est pas la prédiction du futur en tant que telle qui rend utile le prior génératif des DiT pour le contrôle, mais la trajectoire de débruitage elle-même, utilisée comme interface d'apprentissage. Pour le secteur des politiques robotiques de type VLA (vision-language-action), bâties sur des bases génératives comparables à celles derrière Pi-0 ou GR00T N2, ce travail remet en cause l'hypothèse répandue selon laquelle un module de prédiction vidéo du futur serait nécessaire pour exploiter un prior génératif. Il ouvre aussi une piste d'efficacité concrète: moitié moins de tokens visuels et un temps de calcul par étape quasi divisé par deux, un enjeu direct pour le contrôle temps réel embarqué. Ce travail s'inscrit dans la tendance à construire des politiques de contrôle sur des DiT pré-entraînés à grande échelle, une lignée qui inclut des modèles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, généralement adaptés via prédiction visuelle du futur. NowWAM se positionne comme une alternative de co-entraînement plus économe, comparée sous conditions contrôlées à une base "future prédiction" sur LIBERO-Plus, un environnement de simulation standard pour la manipulation, et non un déploiement sur robot réel. Les auteurs montrent que l'adaptation au contrôle ne dépend pas d'un backbone spécialisé en vidéo ou en édition d'image, élargissant les bases génératives exploitables en robotique. Publié en preprint, l'article ne mentionne aucun déploiement industriel ni partenariat commercial; ses conclusions restent à confirmer au-delà du benchmark simulé.

RechercheActu

1 source

4arXiv cs.RO

CAP : locomotion humanoïde adaptative en continu et aveugle à la perception, grâce à un débruitage appris

Des chercheurs ont publié le 11 septembre 2026 sur arXiv (2609.11553v1) une méthode baptisée CAP (Continuously Adaptive Perception blind humanoid locomotion via Learned Denoising), conçue pour rendre la marche des robots humanoïdes robuste face aux défaillances de perception en conditions réelles. Le système repose sur une politique de contrôle à étage unique combinant un encodeur "world model" entraîné comme débruiteur, capable de reconstruire une image de profondeur propre à partir d'une entrée corrompue, et un encodeur proprioceptif variationnel qui fournit des informations sur l'état du corps indépendantes de la vision. L'entraînement couple un curriculum de bruit de profondeur appliqué à l'entrée du world model avec un dropout des caractéristiques transmises à la politique, exposant le système à toute la gamme de qualité de perception, du signal propre à l'aveugle total. Les tests ont été menés en simulation, puis sur le robot humanoïde Unitree G1 lors d'essais contrôlés et de déploiements en intérieur comme en extérieur, incluant occlusion intermittente, bruit de capteur réel et artefacts de profondeur liés à la lumière du jour. L'enjeu dépasse la prouesse académique. La plupart des politiques de locomotion perceptive existantes supposent une profondeur toujours propre et conforme à la distribution d'entraînement, tandis que les approches hybrides récentes basculent entre une sous-politique voyante et une sous-politique aveugle, perdant l'information partiellement exploitable d'une profondeur dégradée. CAP montre qu'un système unique, entraîné à débruiter plutôt qu'à commuter, se dégrade plus progressivement qu'une architecture à bascule binaire quand la perception se détériore, tout en égalant ou dépassant les politiques perceptives classiques quand la profondeur reste fiable. Pour les intégrateurs et décideurs industriels qui envisagent des humanoïdes en entrepôt ou en extérieur, c'est un signal concret que le vrai goulot d'étranglement reste la résilience aux capteurs bruités, plus que le rendu en démonstration contrôlée. Ce travail s'inscrit dans une vague de recherche académique sur la locomotion humanoïde tout-terrain, où les capteurs de profondeur embarqués (caméras stéréo, lidar) restent le point faible face aux occlusions, à la poussière ou au soleil direct en extérieur. Contrairement aux annonces commerciales de Figure AI, Tesla ou Unitree lui-même, il s'agit ici d'une publication de recherche (preprint arXiv, non encore revu par les pairs), utilisant le G1 de Unitree comme plateforme matérielle standard de test plutôt que comme produit final. Aucun calendrier de déploiement commercial n'est mentionné; les auteurs positionnent CAP comme une alternative architecturale aux politiques à commutation binaire déjà publiées, avec pour perspective d'étendre ce mécanisme de débruitage à des politiques de locomotion perceptive couvrant d'autres capteurs que la profondeur.

RecherchePaper

1 source