Aller au contenu principal
ForeTime-VLA : distillation causale de jetons futurs à partir d'un modèle d'action du monde pour la manipulation sur convoyeurIllustration générée par IA
RecherchearXiv cs.RO 

ForeTime-VLA : distillation causale de jetons futurs à partir d'un modèle d'action du monde pour la manipulation sur convoyeur

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un article publié le 24 août 2026 sur arXiv (2608.20735) décrit ForeTime-VLA, une politique de manipulation robotique bâtie sur pi0.5 et conçue pour la saisie d'objets sur tapis roulant. Hors ligne, le système distille d'un modèle enseignant figé issu d'un world action model nommé Fast-WAM une cible compressée en 64 dimensions représentant les trames vidéo futures ; à l'inférence, un encodeur de huit trames d'historique prédit seul cette cible, la phase de manipulation et le temps avant transition, sans faire tourner le modèle enseignant. Sur 768 fenêtres de test issues d'un jeu de données de tapis roulant dédupliqué, l'erreur absolue moyenne recule de 0,134119 à 0,130593 (2,63%, IC95% 0,82-4,48%) et l'erreur L2 de 3,02%, pour un surcoût de latence de 2,46 à 2,93%. En essais réels sur robot, le système obtient 81,1% de réussite de saisie sur objets immobiles et 58,9% sur objets lents (+12,2 et +22,2 points face à la meilleure référence), et réussit 44 saisies sur 90 contre 23 pour pi0.5 de base, dont 11 sur 30 contre 2 sur 30 à vitesse rapide.

L'enjeu dépasse le simple gain de précision : les politiques VLA classiques, entraînées sur la seule observation courante, peinent à anticiper le contact avec un objet en mouvement, un frein direct pour le tri et la logistique automatisés où les convoyeurs restent la norme. Les modèles de monde apprennent cette dynamique prédictive mais restent trop coûteux à exécuter en temps réel ; ce travail montre qu'une distillation causale de tokens futurs, réalisée hors ligne puis intégrée à un encodeur léger, peut en capter le bénéfice sans en payer le coût d'inférence. La corrélation entre les gains hors ligne sur l'orientation et la baisse réelle des échecs de pose de contact reste l'argument le plus solide avancé par les auteurs, dans un champ où l'écart entre métriques d'entraînement et performance réelle est une critique récurrente adressée aux VLA.

Le travail prend pi0.5, la politique de Physical Intelligence largement utilisée comme référence en recherche robotique, comme base directe de comparaison. L'abstract ne précise ni l'affiliation des auteurs ni de calendrier commercial : il s'agit d'une contribution de recherche postée en cross-listing sur arXiv et testée sur un banc propriétaire de tapis roulant, pas d'un produit annoncé par une entreprise, et aucun acteur français ou européen n'y figure. Elle s'inscrit néanmoins dans la compétition plus large autour des world models appliqués à la robotique, aux côtés d'approches comme GR00T N2 de NVIDIA ou Helix de Figure AI, qui visent la même anticipation temporelle des politiques VLA. Les auteurs ne mentionnent aucune suite prévue au-delà de ces résultats, laissant ouverte une validation sur des tâches de manipulation plus variées que la seule saisie sur convoyeur.

À lire aussi

CW-WAM : un modèle d'action du monde structuré par les torseurs de contact pour la manipulation sensible aux forces
Illustration générée par IA
1arXiv cs.RO 

CW-WAM : un modèle d'action du monde structuré par les torseurs de contact pour la manipulation sensible aux forces

CW-WAM, un « world action model » (WAM) présenté sur arXiv, prédit conjointement la vidéo, le mouvement et le torseur de contact (contact wrench, c'est-à-dire forces et couples d'interaction). Le module d'interaction unifié traite mouvement et wrench comme cibles de modélisation et produit des blocs (chunks) alignés dans le temps. Un mécanisme d'attention « pair-causal » structure leurs dépendances, et une mémoire de wrench de longueur fixe conserve l'historique des contacts. Le wrench prédit sert de référence de force à un contrôleur d'admittance en boucle externe à 20 Hz, dans une architecture lente-rapide qui maintient le retour d'effort et la fluidité entre deux requêtes au modèle.

RecherchePaper
1 source
TacForeSight : un modèle du monde tactile guidé par la force pour la manipulation en contact dense
Illustration générée par IA
2arXiv cs.RO 

TacForeSight : un modèle du monde tactile guidé par la force pour la manipulation en contact dense

Des chercheurs ont publié sur arXiv (référence 2606.11184) TacForeSight, un framework léger d'anticipation tactile guidée par la force pour la manipulation en contact riche. Le système repose sur deux composants : TacForceWM, un modèle du monde tactile qui prédit les dynamiques latentes tactiles à court horizon à partir de capteurs bi-doigts conditionnés par les signaux de force et de couple au poignet à haute fréquence, et une politique conditionnée par l'anticipation tactile (Predictive Tactile-Conditioned Policy) qui exploite ces prédictions comme priors de contact, modélise l'évolution tactile courante-vers-future via cross-attention, et fusionne les features visuo-tactiles via un module de gating adaptatif.

UEImpact indirect : le code open-source prévu sur tacforesight.github.io pourrait être exploité par des équipes européennes travaillant sur la manipulation fine, comme Pollen Robotics ou les labos CEA-List, mais aucun acteur FR/EU n'est impliqué dans ce travail.

RecherchePaper
1 source
VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches
Illustration générée par IA
3arXiv cs.RO 

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact.

RecherchePaper
1 source
ForceDelta-VLA : distiller les corrections d'action conditionnées par la force pour la manipulation à contact riche
Illustration générée par IA
4arXiv cs.RO 

ForceDelta-VLA : distiller les corrections d'action conditionnées par la force pour la manipulation à contact riche

Des chercheurs publient sur arXiv (2609.18242v1) ForceDelta-VLA, une méthode destinée à améliorer les politiques Vision-Language-Action (VLA) sensibles à la force pour la manipulation robotique en contact riche, comme l'insertion ou l'assemblage de pièces. Le problème de départ: les VLA actuels fusionnent mouvement de tâche et ajustement de contact en une seule prédiction, sans distinguer une action de référence réutilisable d'une correction. ForceDelta-VLA construit cette correction à partir des prédictions d'un modèle enseignant gelé, comparées en mode conditionné par la force et en mode agnostique, complétées par une correction de délai gérant le décalage de l'action de référence. La politique légère qui en résulte ajuste les actions via l'historique de force récent, sans régénérer de séquences complètes à chaque contact.

RechercheActu
1 source