Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CoRe-WAM : résidus temporels alignés par correspondance pour modèles d'action du monde
RecherchearXiv cs.RO 

CoRe-WAM : résidus temporels alignés par correspondance pour modèles d'action du monde

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie CoRe-WAM (Correspondence-Aligned Temporal Residuals for World Action Models), un modèle de type "world-action" décrit dans un preprint déposé sur arXiv (2609.27314v1, catégorie "new"). Son module central, TraceDelta, s'appuie sur un modèle de suivi visuel gelé pour transporter les caractéristiques visuelles d'une observation passée vers leur position actuelle avant de calculer des différences signées dans un espace de caractéristiques préentraîné partagé, ce qui évite de comparer des pixels à un même emplacement d'image alors que la caméra ou les objets se sont déplacés. Construit sur le backbone Motus dont les poids restent gelés, CoRe-WAM n'entraîne qu'un adaptateur léger de 1,59 million de paramètres, sur un budget de 5 000 itérations. Sur le benchmark de simulation RoboTwin 2.0 (50 tâches de manipulation), il atteint 92,22 % de réussite en conditions "propres", soit 3,56 points de plus que Motus seul, et 89,60 % en évaluation randomisée, un gain de 2,58 points. Intégré à une politique basée sur StarVLA, le module TraceDelta fait passer le taux de réussite en conditions propres de 58,10 % à 67,62 %.

Ce travail cible un point faible connu des politiques vision-langage-action (VLA) : comparer des observations à des positions d'image fixes produit du bruit dès que la caméra ou les objets bougent, un cas courant en manipulation réelle. La méthode montre qu'un ajout paramétrique très réduit sur un backbone gelé suffit à obtenir des gains mesurables, et que ce module se transfère d'une architecture (Motus) à une autre (StarVLA), ce qui plaide pour une stratégie d'adaptation peu coûteuse plutôt qu'un réentraînement complet des modèles de fondation robotiques. Un bémol à noter : les chiffres proviennent exclusivement de RoboTwin 2.0, un benchmark en simulation, sans validation rapportée sur robot physique, donc il s'agit d'une avancée méthodologique de recherche et non d'une démonstration de déploiement réel.

Le papier s'inscrit dans la vague actuelle de modèles VLA et world-action visant la manipulation généraliste (aux côtés de familles comme Pi-0 ou GR00T N2 sur le marché plus large). Aucune entreprise ni plateforme robotique commerciale n'est associée à cette publication, qui reste un preprint académique fraîchement déposé, sans pilote annoncé ni calendrier de déploiement industriel à ce stade.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde
1arXiv cs.RO 

R²-WAM : post-entraînement par réparation et rejet pour les modèles d'action du monde

Des chercheurs proposent R²-WAM, un cadre de post-entraînement en deux étapes, « réparer puis rejeter », destiné aux World Action Models (WAM). Ces modèles prédisent, sous forme de vidéo, les conséquences d'actions robotiques échantillonnées, afin d'affiner une politique de contrôle. Le système atteint 93,8 % de succès moyen sur le benchmark de simulation RoboTwin 2.0, en moyenne sur les configurations « clean » et randomisées. Sur une tâche réelle de longue durée, le pliage de chemise (Fold Shirt), il obtient 87,5 % de succès moyen, contre 0 % pour Fast-WAM, la base de comparaison. Le gain est obtenu sans interaction supplémentaire avec l'environnement et sans modification de la procédure d'inférence. Le code et les démonstrations sont annoncés sur une page projet dédiée. Le mécanisme tient en deux temps. L'étape de réparation corrige un défaut connu des WAM : une vidéo prédite visuellement plausible peut ne pas refléter l'action fournie en entrée, ce qui fausse tout raffinement de politique fondé sur elle. Les auteurs introduisent un score d'alignement cinématique, qui mesure l'écart entre le mouvement prédit et le mouvement démontré, pour ancrer l'imagination du modèle dans le comportement réel du robot. L'étape de rejet utilise ensuite ce modèle vidéo réparé pour comparer les résultats imaginés des actions échantillonnées à ceux des démonstrations. Les échantillons dont la progression de tâche prédite tombe sous la référence démontrée d'une marge prescrite servent d'exemples négatifs pour un fine-tuning négatif. L'intérêt dépasse le score de benchmark. Le résultat suggère que la prédiction vidéo peut passer du statut de simple apprentissage de représentations à celui de critique de conséquences, capable de trier les mauvaises actions hors ligne. Cela réduit le besoin de rollouts physiques coûteux, un point clé pour les intégrateurs confrontés au coût de collecte de données. Le contraste sur Fold Shirt est frappant : 0 % pour la base de comparaison indique que la cohérence action-vidéo est un goulot d'étranglement réel sur les tâches déformables à long horizon. Il faut toutefois rester prudent : il s'agit d'un travail académique, la tâche réelle est unique, le nombre d'essais n'est pas précisé dans le résumé, et aucun déploiement industriel ni temps de cycle n'est évoqué. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, où la vidéo prédictive sert de fondation aux politiques, en parallèle des approches VLA (vision-langage-action) classiques. RoboTwin 2.0, benchmark bimanuel en simulation, est devenu un terrain de comparaison courant, et Fast-WAM représente ici l'état de l'art immédiat auquel les auteurs se mesurent. La suite logique serait une validation sur davantage de tâches réelles, d'autres plateformes et des volumes d'essais plus larges, ainsi qu'une comparaison avec les politiques VLA déployées commercialement. Aucun acteur européen ni calendrier de pilote n'est mentionné dans cette version de l'article, publiée sur arXiv en révision (v2).

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
WAMJET : un cadre pour accélérer les modèles d'action du monde
2arXiv cs.RO 

WAMJET : un cadre pour accélérer les modèles d'action du monde

WAMJET, présenté sur arXiv (2610.03797, version 2), est un « harness » agentique qui accélère l'inférence des World Action Models (WAM). Ces modèles réutilisent des modèles de fondation vidéo pré-entraînés pour la manipulation robotique, en prédisant conjointement la vidéo future et les actions. Ce couplage et la taille des backbones rendent l'inférence coûteuse. Le harness dote des agents de code de consignes d'optimisation réutilisables et d'outils de mesure et de validation. L'agent suit un flux piloté par les goulots d'étranglement : il profile l'inférence, modifie le code ciblé, valide les effets, puis affine la pile d'accélération à mesure que les goulots se déplacent, sans dégrader la qualité des actions. Les expériences couvrent six WAM, trois agents de code et deux architectures de GPU. WAMJET atteint jusqu'à 9,95x d'accélération sans perte par rapport aux implémentations amont. Des optimisations par approximation et adaptées au matériel réduisent encore la latence, avec des taux de succès comparables. Ce travail s'attaque à un frein concret du déploiement des WAM : leurs latences d'inférence. Les techniques d'accélération existent déjà (quantification, distillation, réduction du nombre de pas de diffusion, optimisation des noyaux), mais choisir et composer celles qui conviennent à chaque modèle et à chaque plateforme matérielle demande un travail d'ingénierie lourd et répété. En automatisant cette étape avec des agents de code, les auteurs proposent de la traiter comme un problème d'optimisation outillé plutôt que comme du sur-mesure. Pour un intégrateur ou une équipe qui porte un WAM sur un robot réel, le gain de latence conditionne la fréquence de contrôle atteignable. Le résultat suggère aussi que les implémentations amont des WAM laissent beaucoup de performance inexploitée. Le chiffre de 9,95x est un maximum, obtenu sur le meilleur cas, et non une moyenne. L'extrait disponible ne détaille ni les latences absolues ni la liste des six modèles, ce qui limite la lecture de ce chiffre. La mention de taux de succès « comparables » pour les variantes approximatives demande à être vérifiée sur des tâches physiques variées, et pas seulement sur des benchmarks. Cette approche s'inscrit dans deux tendances. La première est la montée des modèles d'action fondés sur la vidéo, qui héritent de la qualité des modèles vidéo génératifs, mais aussi de leur coût de calcul, par opposition aux VLA classiques, plus légers. La seconde est l'usage d'agents de code pour optimiser des systèmes, sur le modèle de l'ingénierie assistée de noyaux GPU. Les travaux concurrents sur l'accélération des VLA, comme les politiques à flow matching ou à diffusion réduite en pas, visent le même objectif de contrôle temps réel, mais sans automatiser la composition des techniques. La suite logique est une validation sur robots physiques et sur davantage de plateformes, notamment embarquées, où les contraintes de calcul sont les plus fortes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Trace-WAM : apprendre à agir par la prédiction de mouvement 3D pour les modèles d'action du monde
3arXiv cs.RO 

Trace-WAM : apprendre à agir par la prédiction de mouvement 3D pour les modèles d'action du monde

Des chercheurs proposent Trace-WAM, une architecture de World Action Model (WAM) publiée en préprint sur arXiv. Un WAM apprend à piloter un robot en couplant la prédiction de vidéo future et la génération d'actions. Trace-WAM ajoute à cet apprentissage un objectif auxiliaire: prédire le mouvement 3D futur de points suivis dans la scène. Cette supervision combine la correspondance temporelle des points, leur déplacement dans le plan image et leur variation de profondeur. L'ensemble repose sur une architecture à trois branches de type Mixture-of-Transformer (Tri-MoT), qui entraîne conjointement un expert vidéo, un expert mouvement et un expert action. L'expert mouvement prédit les trajectoires à partir des features visuelles courantes, et l'expert action ne consomme pas ces trajectoires prédites. À l'inférence, le système garde donc un chemin de politique classique: une seule passe visuelle, suivie du débruitage de l'action. Les tests portent sur RoboCasa-GR1, LIBERO et LIBERO-Plus, avec de bons résultats annoncés en distribution et en généralisation hors distribution, surtout face à Fast-WAM quand les démonstrations sont rares ou que la distribution change. L'intérêt tient à l'argument central: pour manipuler, il faut surtout savoir comment évoluent le robot et les objets pertinents, pas reconstruire l'apparence et l'arrière-plan de toute la scène. Si cela se confirme, on pourrait obtenir des représentations plus utiles pour l'action sans alourdir l'inférence, ce qui compte pour la latence en production. Le gain annoncé en régime de peu de démonstrations parle aux intégrateurs, car la collecte de données reste le principal coût de déploiement. Il faut toutefois rester prudent: le résumé ne donne aucun chiffre, et les évaluations semblent limitées à des benchmarks simulés, sans test sur robot réel ni mesure de temps de cycle. Trace-WAM s'inscrit dans le passage des VLA (vision-language-action) vers des modèles qui intègrent une prédiction du monde, avec Fast-WAM comme point de comparaison direct. RoboCasa-GR1 évalue des tâches de type humanoïde en simulation, tandis que LIBERO-Plus teste la robustesse aux perturbations. La suite logique serait une validation sur matériel réel et une comparaison avec les grandes politiques généralistes actuelles, ce que le préprint n'annonce pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
WAM-OPD : distillation on-policy pour les modèles d'action du monde
4arXiv cs.RO 

WAM-OPD : distillation on-policy pour les modèles d'action du monde

Des chercheurs publient WAM-OPD (arXiv:2608.22364v1), une méthode de post-entraînement pour les world action models (WAM), qui couplent prédiction vidéo du futur et génération d'actions robotiques. Une fois distillés pour accélérer l'inférence, ces modèles étudiants perdent des capacités et rencontrent des états mal couverts par les données hors ligne d'origine. WAM-OPD y répond par une distillation "on-policy" sans renforcement à récompense éparse : l'agent étudiant agit dans l'environnement, un enseignant figé annote ses historiques avec des cibles vidéo et action cohérentes, et la branche action s'entraîne sous son propre plan vidéo, comme au déploiement, via des adaptateurs légers et un régularisateur flow-matching. Sur le simulateur RoboTwin 2.0, le modèle Flash-WAM voit son taux de réussite passer de 0% à 58,3% sur HANDOVER MIC, et de 16,7% à 33,3% sur PUT OBJECT CABINET. Le résultat vise un compromis bien connu du secteur robotique : les modèles d'action pilotés par vidéo sont souvent trop lourds pour du contrôle temps réel, et leur compression classique dégrade la fiabilité. WAM-OPD montre qu'une supervision dense sur les trajectoires produites par l'étudiant en conditions réelles de déploiement peut restaurer une partie des compétences perdues, sans recourir à un apprentissage par renforcement coûteux. Pour les intégrateurs, c'est un signal à nuancer : les auteurs qualifient eux-mêmes leurs résultats de "preuve de capacité initiale", obtenue sur seulement deux tâches en simulation, loin d'une généralisation démontrée. Cette approche prolonge la lignée des modèles de monde vidéo appliqués à la robotique, où action et prédiction visuelle sont générées conjointement, une piste également suivie par des familles comme GR00T N2, Pi-0 ou Helix. Le défi reste constant : un enseignant volumineux doit être compressé pour tourner en boucle de contrôle rapide, au prix de compétences que la distillation classique ne restitue pas toujours. Seul le modèle ouvert Flash-WAM a été testé ici, sur le banc bimanuel RoboTwin 2.0, sans validation sur robot réel ni comparaison aux modèles commerciaux du marché. Les auteurs présentent ces résultats comme préliminaires et annoncent vouloir étendre l'évaluation avant toute conclusion sur la généralisation de la méthode.

RecherchePaper
1 source