RecherchearXiv cs.RO 10 septembre 2026

Modèles du monde visuotactiles compacts pour la préhension : prédiction, alignement de récompense et contraintes de force

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv le 10 septembre 2026 (référence 2609.09597) présente un modèle du monde visuotactile compact testé sur la tâche "Lift" du simulateur physique MuJoCo, sur 160 épisodes. Couplé à une calibration d'incertitude au niveau de la trajectoire et à un apprentissage acteur-critique par imagination, l'ajout d'un retour tactile fait chuter l'erreur de prédiction de force au point final de 1,058 à 0,228 newton, et l'erreur de pic sur intervalle de 2,724 à 0,523 N, moyennes sur trois graines d'entraînement; une variante à persistance tactile descend encore à 0,095 et 0,498 N. Sur 680 exécutions de contrôle réparties sur 40 conditions de test indépendantes, une révision de la fonction de récompense porte le taux de réussite du soulèvement à 10 cm de 20,0% à 93,3%, mais seulement 33,3% des essais respectent un budget de sécurité de 8 N par doigt sans retour de force, contre 70,0% avec retour de force actif. Sur des enregistrements publics de capteurs GelSight, un régresseur de force atteint 0,04234 N d'erreur, avec une couverture de calibration de 87,36% au niveau trajectoire contre seulement 15,80% image par image, pour une cible nominale de 90%.

L'intérêt de l'étude tient à sa distinction rigoureuse entre trois progrès que les communiqués industriels ont tendance à confondre: mieux percevoir le contact, mieux réussir la tâche grâce à la récompense, et rester dans une contrainte de force sans risque pour l'objet manipulé. Le résultat central, un taux de succès qui grimpe de 20% à plus de 93% par simple ajustement de récompense mais qui retombe fortement sous contrainte de sécurité, rappelle aux intégrateurs et décideurs évaluant des politiques de préhension que des métriques de réussite affichées ne garantissent ni la sécurité de l'exécution ni un transfert vers un usage réel. C'est un signal utile à l'heure où les architectures vision-langage-action pour la manipulation fine suscitent un fort engouement commercial.

Le travail prolonge la lignée des modèles du monde de type Dreamer, appliqués ici au toucher plutôt qu'à la seule vision, dans un secteur où des approches comme Pi-0 ou GR00T N2 misent surtout sur l'apprentissage par démonstrations à grande échelle plutôt que sur l'imagination interne. Il s'appuie sur des capteurs GelSight, déjà largement répandus dans les mains robotiques tactiles commerciales. Les auteurs reconnaissent eux-mêmes une limite centrale: aucun transfert n'a été démontré entre les enregistrements réels et l'exécution en simulateur, ce qui situe cette contribution du côté de la recherche amont plutôt que d'une brique prête à industrialiser, sans calendrier annoncé de validation sur robot physique.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

FeelWorld est un nouveau modèle du monde visuo-tactile hiérarchique présenté dans un article arXiv (2607.24267v1) qui prédit conjointement les futurs visuels latents et trois états tactiles : l'état de contact, un latent tactile 3D encodant les informations de force, et l'état de glissement. Ces trois signaux sont produits par un modèle de dynamique latente partagé, entraîné avec une supervision explicite et un mécanisme d'attention asymétrique à porte de contact, qui maintient un chemin de prédiction purement visuel avant tout contact puis active la prédiction conjointe visuo-tactile une fois le contact établi. L'entraînement s'appuie sur des rollouts autorégressifs et une injection de bruit contextuel pour limiter l'accumulation d'erreurs. Sur trois tâches de manipulation, saisie de puces électroniques, saisie de fruits et insertion de connecteurs USB, FeelWorld réduit le LPIPS à 10 pas de 0,084 à 0,058 et reste 61% inférieur au LPIPS d'un modèle purement visuel après un rollout autorégressif de 80 pas. Couplé à un planificateur CEM sensible au contact, il atteint un taux de réussite moyen de 81,7% en planification zero-shot. L'apport principal tient au constat que les modèles du monde utilisés en robotique se limitent en général à la dynamique visuelle, ce qui peut générer des futurs imaginés plausibles à l'œil mais physiquement incohérents dès qu'il y a contact réel avec l'objet. Pour des tâches d'assemblage précis, de préhension d'objets fragiles ou d'insertion, cette lacune pèse directement sur la fiabilité du planning robotique. En intégrant le retour tactile directement dans la boucle de prédiction plutôt qu'en aval, FeelWorld cible un des points faibles connus des architectures VLA et des pipelines de planification par imagination, où l'écart entre démonstration visuelle et physique réelle reste un obstacle à la mise à l'échelle. Le travail s'inscrit dans la lignée des modèles du monde issus du RL basé sur modèle et des architectures récentes de prédiction visuelle, jusqu'ici quasi exclusivement centrées sur l'image. La détection tactile constituait jusque-là un axe de recherche largement séparé. Il s'agit ici d'une contribution académique, sans déploiement industriel annoncé ni acteur commercial identifié ; les suites naturelles concernent des tests sur du matériel physique équipé de capteurs tactiles et une intégration dans des piles de planification robotique plus larges.

RecherchePaper

1 source

2arXiv cs.RO

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper

1 source

3arXiv cs.RO

Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action

Des chercheurs présentent Temporal Forcing, une méthode d'alignement de représentation 4D pour les modèles vision-langage-action (VLA), détaillée dans un article publié sur arXiv (2608.30643v1) le 30 août 2026 ou aux alentours. Le système ajoute une voie dédiée à l'historique des observations, permettant à un modèle VLA standard de condenser cet historique en représentations latentes tenant compte du temps. Ces représentations sont ensuite alignées avec les caractéristiques géométriques extraites par un modèle de fondation 4D préentraîné, capable de capturer l'évolution d'une scène 3D dans le temps de façon géométriquement cohérente. Sur le benchmark LIBERO, Temporal Forcing atteint un taux de réussite de 98,8%, soit 2,2 points de plus que son modèle de base. Sur une tâche physique de placement d'objet caché ("hidden-placement"), le taux de réussite complet de la tâche passe de 20,0% à 43,3%. Le code source doit être rendu public, sans date de disponibilité précisée dans l'article. Cette avancée cible un problème connu des VLA actuels: la confusion entre états visuellement similaires (observation aliasing) et la difficulté à gérer des manipulations longues, deux limites qui découlent du fait que les représentations 3D classiques ne capturent qu'un instant figé de la scène, sans mémoire de son évolution. En démontrant qu'ajouter une dimension temporelle à l'alignement géométrique améliore concrètement le taux de succès sur une tâche physique réelle, et pas seulement en simulation, ces résultats nuancent l'idée que l'alignement 3D seul suffirait à rapprocher les VLA d'une robustesse proche de l'humain. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'exploiter des modèles de fondation 4D préentraînés peut devenir un ingrédient standard pour améliorer la mémoire de contexte des politiques d'action, sans changer l'architecture de base du modèle VLA. Ce travail s'inscrit dans la lignée des méthodes récentes de VLA qui alignent leurs représentations internes sur la géométrie de scène 3D pour améliorer la manipulation, une approche qui a gagné du terrain mais bute sur les tâches à long horizon. Temporal Forcing se positionne comme une extension de ces approches géométriques plutôt qu'une rupture architecturale, en s'appuyant sur un modèle de fondation 4D externe déjà entraîné. Les auteurs annoncent la publication future du code, ce qui permettra à la communauté de valider les résultats sur d'autres benchmarks que LIBERO et la tâche physique testée, mais aucun calendrier de déploiement industriel ni de partenariat n'est mentionné à ce stade.

RechercheActu

1 source

4arXiv cs.RO

Modèle du monde ancré : alignements latents prédictifs pour l'action (LeapBot-WA)

Une équipe de recherche a publié sur arXiv (référence 2607.23969v1) LeapBot-WA, un nouveau modèle de type World Action Model (WAM) pour le contrôle robotique. Contrairement aux WAM classiques qui génèrent des vidéos pixel par pixel pour prédire l'évolution d'une scène, ce qui gaspille de la capacité de calcul sur des détails visuels sans intérêt pour la tâche et rend les politiques vulnérables aux distracteurs visuels, LeapBot-WA adopte une architecture "Predictive-Latent" en s'appuyant sur le Joint-Embedding Predictive Architecture (JEPA), utilisé comme "ancre du monde" (World-Anchor). Le système prédit la dynamique physique directement dans un espace latent abstrait plutôt que de reconstruire des images. Pour relier cet espace latent aux modèles de diffusion, les auteurs introduisent un Isotropic Semantic Autoencoder (ISAE), qui remodèle l'espace latent pour éviter les dérives hors variété. L'architecture repose aussi sur un Mixture-of-Transformers asymétrique : un Anchor Diffusion Transformer guide l'entraînement d'un Action Diffusion Transformer, puis est retiré à l'inférence pour ne conserver aucun surcoût de calcul. Sur les benchmarks LIBERO et RoboTwin 2.0, LeapBot-WA atteint l'état de l'art parmi les modèles prédictifs et rivalise avec les meilleurs WAM génératifs, sans pré-entraînement massif sur trajectoires. Le code est disponible sur GitHub (LeapWM/leapbot-wa). Pour l'industrie robotique, ce résultat questionne un présupposé répandu : que la génération vidéo pixel par pixel est nécessaire pour qu'un modèle de monde capture une dynamique physique exploitable. En montrant qu'un espace latent compact suffit à égaler des générateurs vidéo lourds, tout en gagnant en robustesse zero-shot face à des environnements inédits et en démontrant un transfert réel sur robot physique, LeapBot-WA plaide pour des architectures VLA plus légères et déployables, un enjeu concret pour les intégrateurs cherchant à réduire la latence d'inférence en production plutôt qu'en démonstration. Le travail s'inscrit dans la filiation du JEPA popularisé par les travaux de Yann LeCun sur l'apprentissage auto-supervisé non génératif, appliqué ici pour la première fois comme socle central d'un WAM plutôt que comme simple module auxiliaire. Il se positionne face aux générateurs vidéo dominants du secteur (type Pi-0, GR00T N2 ou Helix) qui misent sur la synthèse pixel. Les auteurs annoncent la publication du code mais ne mentionnent pas encore de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu

1 source