Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Attrape-moi si tu peux : débruitage du retour en temps réel pour des VLA plus réactifs
RecherchearXiv cs.RO 

Attrape-moi si tu peux : débruitage du retour en temps réel pour des VLA plus réactifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent VLA-Feedback, une architecture pour modèles vision-langage-action (VLA) qui corrige en temps réel les gestes d'un bras robotique pendant leur exécution, décrite dans un article publié sur arXiv (2609.21022v1). Elle répond à une limite connue des générateurs d'actions par diffusion, qui produisent un bloc de mouvements en une seule passe puis l'exécutent en boucle ouverte, sans réagir aux changements survenant dans la scène. VLA-Feedback combine une planification par diffusion à basse fréquence et un retour visuel à haute fréquence, qui ajuste chaque action juste avant son exécution via la dernière étape de débruitage du modèle, sans relancer l'ensemble du pipeline vision-langage. Sur le benchmark statique LIBERO, ses résultats égalent ceux de GR00T. Sur des tâches dynamiques en simulation, le taux de réussite moyen grimpe de 27,5% à 85,0%; sur robot réel, il passe de 51% à 73%.

Ce résultat cible un point de friction central pour l'industrialisation des VLA: la plupart des démonstrations de manipulation robotique sont tournées en environnement figé, où rien ne bouge entre la perception et l'action. Dès qu'un objet est déplacé ou qu'un contact change en cours de mouvement, les politiques en boucle ouverte échouent ou exigent une replanification complète, coûteuse en latence. En conservant l'expressivité du planificateur par diffusion tout en ajoutant une correction visuelle continue, VLA-Feedback propose une piste concrète pour réduire l'écart entre démonstration et usage réel en usine ou en entrepôt, où les scènes évoluent en permanence, un enjeu direct pour les intégrateurs qui évaluent le risque de déployer des bras pilotés par VLA hors laboratoire.

Les VLA se sont imposés ces deux dernières années comme l'approche dominante pour la manipulation robotique généraliste, en combinant des modèles vision-langage préentraînés avec des politiques d'action par diffusion. GR00T, utilisé ici comme référence de comparaison, est développé par NVIDIA et sert de socle à plusieurs déploiements humanoïdes annoncés dans le secteur. D'autres approches, comme Pi-0 de Physical Intelligence ou Helix de Figure AI, explorent elles aussi des architectures à deux échelles de temps, signe que la réactivité en boucle fermée est identifiée comme un verrou majeur par l'ensemble du secteur. VLA-Feedback reste à ce stade une contribution académique: les auteurs renvoient vers une page de projet dédiée pour les documents complémentaires, sans calendrier de déploiement industriel ni partenariat annoncé.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel
1arXiv cs.RO 

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel

Des chercheurs proposent Urgency-Aware Denoising (UAD), un cadre appliqué à l'inférence qui vise la latence des politiques Vision-Language-Action (VLA) à diffusion ou à flow matching. Ces modèles produisent des « chunks » d'actions par débruitage itératif, et chaque étape de débruitage ajoute du délai avant que le robot puisse bouger. UAD part d'un constat simple. Les actions d'un chunk sont générées ensemble mais exécutées l'une après l'autre, donc les premières sont plus urgentes que les dernières. Le système libère ces actions urgentes après moins d'étapes de débruitage. Il poursuit en arrière-plan le raffinement des actions de fin de chunk, pendant que le robot exécute les premières. Deux mécanismes corrigent les effets secondaires. Trajectory Reconciliation reconstruit un état interne cohérent, sans évaluation supplémentaire du modèle. Ghost Action Correction utilise des « actions fantômes », des prolongements non exécutés, pour compenser les erreurs des actions libérées trop tôt. Selon les auteurs, testés sur plusieurs architectures VLA, des benchmarks de simulation et des tâches de manipulation réelles, UAD atteint jusqu'à 1,89x d'accélération sur la latence moyenne de disponibilité des actions. Le taux de succès reste comparable à l'inférence classique avec un budget de débruitage optimal. L'intérêt tient au point de blocage de ces politiques : la latence d'inférence limite le contrôle temps réel. Beaucoup de méthodes d'accélération traitent le chunk comme un bloc indivisible. Ici, on exploite la structure temporelle du contrôle à horizon glissant. Cela peut réduire le délai de réaction sans changer les poids du modèle. Les résultats appellent toutefois de la prudence. Le chiffre de 1,89x est un maximum. Il porte sur la disponibilité moyenne des actions, pas sur le temps de cycle d'une tâche complète. Le résumé ne précise ni les modèles, ni le matériel, ni les tâches réelles, ni la variance entre essais. « Comparable » reste à quantifier. Ce travail s'inscrit dans la course aux VLA à diffusion et à flow matching, de la famille Pi-0 aux politiques de diffusion, qui pousse à réduire le coût du débruitage. Les alternatives connues passent par moins d'étapes, la distillation, la mise en cache ou l'inférence asynchrone. Les auteurs affirment un meilleur compromis succès-latence que les références de pointe, sans que le résumé les nomme. C'est un preprint arXiv, non évalué par les pairs, sans acteur industriel identifié. Les prochaines étapes à surveiller sont la publication du code, la réplication indépendante et des essais sur robot embarqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers des VLA en temps réel : débruitage de flux en deux étapes adapté aux phases, et évaluation au niveau système
2arXiv cs.RO 

Vers des VLA en temps réel : débruitage de flux en deux étapes adapté aux phases, et évaluation au niveau système

Les modèles vision-langage-action (VLA) se heurtent à un décalage temporel : l'inférence tourne à basse fréquence, alors que l'exécution robotique exige des cadences élevées. Une étude publiée sur arXiv (2609.39822, préprint non évalué par les pairs) mesure ce décalage de bout en bout. Côté modèle, le débruitage répété du Flow Matching pèse lourd dans le coût d'inférence. Côté robot, les retards viennent surtout de l'acquisition des données de perception, de l'ordonnancement des communications et de la réponse physique. Les auteurs observent que le champ de vitesse reste stable en amplitude et en direction au début de l'intégration, puis subit de fortes corrections directionnelles dans les dernières étapes. Ils en tirent un débruitage non uniforme en deux étapes, qui ramène le nombre de pas de 10 à 2 et le temps d'inférence du modèle de 61,557 ms à 21,956 ms. Ils présentent aussi un framework VLA distribué temps réel, avec des cadences indépendantes pour l'inférence, la publication des actions et le contrôle du robot, une acquisition modulaire des observations et une journalisation de la provenance des actions. Avec π0.5 comme référence, six méthodes d'exécution temps réel sont comparées sur une tâche physique de pliage de vêtements à long horizon. Le résultat le plus utile pour un intégrateur : Legato est la meilleure méthode entraînée, et le Temporal Smoothing la meilleure méthode sans entraînement. Les deux se distinguent par le taux de réussite, le temps de réalisation, la continuité des actions et la douceur des accélérations. Associer le débruitage en deux étapes à ces méthodes réduit nettement le coût d'inférence, pour une baisse modeste des performances. Le résumé ne chiffre pas cette baisse. Il faut aussi relativiser : une seule tâche, sur un seul modèle de base, ne permet pas de généraliser. Ce travail déplace l'attention de la seule vitesse du modèle vers l'ensemble de la chaîne. Les gains de latence ne servent à rien si la perception, la communication et l'actionneur restent le goulot, et c'est précisément ce que montrent les mesures. Pour les équipes qui déploient des VLA sur des robots réels, les méthodes sans entraînement sont une voie peu coûteuse, puisqu'elles se greffent sur un modèle existant sans réentraînement. Cela fragilise l'idée que la fluidité des démonstrations de VLA tient au seul modèle, et rappelle que l'écart entre démo et réalité se joue aussi dans l'architecture logicielle et le timing système. Le contexte est celui de la montée des VLA à base de Flow Matching, dont la famille π de Physical Intelligence est l'exemple le plus visible, et de leur passage des laboratoires vers des tâches longues et déformables comme le pliage de linge. Les concurrents travaillent les mêmes verrous par d'autres voies : réduction du nombre de pas de diffusion, exécution asynchrone par morceaux d'actions, lissage temporel. Les auteurs concluent à la nécessité d'une optimisation conjointe de l'inférence et du timing du système robotique. Le résumé n'indique ni publication du code ni validation sur d'autres plateformes ou d'autres tâches, qui seront nécessaires pour confirmer la portée de ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Débruitage par priorité d'action pour un découpage fluide en temps réel
3arXiv cs.RO 

Débruitage par priorité d'action pour un découpage fluide en temps réel

Une équipe de chercheurs a publié le 26 mai 2026 sur arXiv (réf. 2605.25537) une méthode baptisée Soft RTC (Soft Real-Time Chunking), visant à rendre les politiques d'action par blocs plus fluides lorsqu'elles opèrent sous délai d'inférence. Le problème de départ est concret : les politiques de type diffusion génèrent les commandes motrices en « chunks » (séquences d'actions), mais l'inférence prend du temps. Le RTC standard résout cela en conditionnant chaque nouveau chunk sur les actions déjà engagées par le précédent, grâce à un masque binaire de préfixe. Soft RTC remplace ce masque binaire par un mécanisme de dénaturation partielle (action-prior denoising) : les tokens de chevauchement entre deux chunks ne partent plus d'un bruit pur, mais d'états partiellement dénaturés, alignés sur le chunk précédent via une règle de mélange par token. Sur les 12 niveaux Kinetix publiés (environnements de simulation de manipulation complexe), un fenêtrage "soft" court atteint un taux de résolution de 0,809 contre 0,815 pour le hard RTC, soit un écart marginal. Un fenêtrage medium réduit quant à lui le delta d'action et le jerk (à-coup) en régime de fort délai de respectivement 9,1 % et 9,6 % par rapport au hard RTC classique. Une étude préliminaire sur robot réel en tri d'objets confirme l'amélioration de la complétion et donne à Soft RTC les meilleures métriques de douceur de commande parmi les politiques testées. L'enjeu pour la robotique industrielle est précis : le jerk élevé, c'est l'usure mécanique, les alarmes de sécurité, et l'impossibilité de travailler en cobotique. Les politiques de diffusion pour la manipulation (pi-0 de Physical Intelligence, ACT, Diffusion Policy) ont démontré des capacités de généralisation impressionnantes, mais leur déploiement en temps réel reste contraint par la latence d'inférence, typiquement plusieurs centaines de millisecondes sur GPU embarqué. Hard RTC avait déjà attaqué ce problème ; Soft RTC prouve qu'on peut gagner significativement en douceur de mouvement sans sacrifier ni le taux de succès ni le coût computationnel, les deux variantes conservent un overhead « quasi-naïf » à l'inférence, sans guidance coûteuse au déploiement. Ce résultat contredit l'idée que fluidité et performance sont nécessairement en tension dans les politiques diffusion pour la manipulation. La problématique du délai d'inférence dans les politiques d'action par diffusion est active depuis que ces architectures ont montré leur supériorité en manipulation dextère, notamment avec les travaux de Stanford (Diffusion Policy, 2023) et de Physical Intelligence (pi-0, 2024). Le hard RTC de référence avait établi une baseline robuste mais au prix de transitions sèches entre chunks. Côté acteurs, Physical Intelligence, Unitree, Figure AI et les équipes de Google DeepMind (GR00T, RT-2) travaillent tous sur des politiques à base de diffusion pour leurs humanoïdes et bras manipulateurs. Soft RTC s'inscrit dans la couche d'inférence basse latence de ces systèmes, indépendamment de l'architecture VLA sous-jacente. Aucun partenaire industriel ni timeline de déploiement n'est mentionné, il s'agit d'une contribution de recherche, avec code et niveaux Kinetix publiés, mais sans implémentation industrielle annoncée à ce stade.

RecherchePaper
1 source
Echo : débruitage couplé des actions et du statut de tâche pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

Echo : débruitage couplé des actions et du statut de tâche pour les modèles vision-langage-action (VLA)

Des chercheurs présentent Echo, un cadre logiciel qui intègre dans un unique modèle Vision Language Action (VLA, politique qui traduit images et consignes en actions du robot) la prédiction de l'état de la tâche et la génération des actions. L'état est codé par deux signaux, « arrêt » et « échec », ajoutés comme deux dimensions supplémentaires à chaque segment d'actions (action chunk) et débruités en même temps que les actions du robot, par diffusion. Leur combinaison distingue trois situations : exécution en cours, succès, échec. Pour apprendre ces signaux sans annotation de progression image par image, Echo construit des trajectoires réussies, échouées et de récupération, dont les propriétés de supervision se complètent. Les auteurs annoncent des expériences de manipulation en conditions réelles où le système prédit correctement l'état de la tâche et améliore systématiquement les performances de la politique. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni nombre de tâches, ni modèle de base : ces gains restent à vérifier dans l'article complet. L'enjeu est très concret pour les intégrateurs. Un robot qui ne sait pas qu'il a réussi continue à agir ou s'arrête trop tard. S'il ne détecte pas son échec, il ne peut ni relancer ni replanifier. Les solutions actuelles demandent soit des annotations fines, soit un modèle de supervision externe, soit des architectures complexes, ce qui alourdit le déploiement et multiplie les points de défaillance. Echo propose de loger cette détection dans la politique elle-même, sans module séparé. L'idée la plus notable est que le signal d'état sert aussi à guider les actions : il est débruité plus vite que celles-ci, si bien que les dernières étapes de génération des actions s'appuient sur une estimation d'état plus propre. Si les résultats tiennent, cela réduirait le coût de la fiabilité en production, où l'écart entre démonstration et usage réel tient souvent à la gestion des échecs. Seul un test sur des tâches variées, avec des échecs non scriptés, le confirmerait. Ce travail s'inscrit dans l'évolution des VLA, comme Pi-0 ou GR00T, qui génèrent des actions par diffusion ou flow matching, vers des politiques capables de s'auto-évaluer et de se corriger. Il s'oppose aux approches à vérificateur externe ou à modèle de récompense séparé. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, et aucun déploiement industriel ni calendrier de transfert n'est annoncé. La suite logique consiste à comparer Echo à ces méthodes sur des benchmarks communs, puis à le tester sur des tâches longues, où les échecs en chaîne coûtent le plus cher.

RecherchePaper
1 source