Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèle du monde multimodal pour interactions physiques : prédictions visuelles et tactiles simultanées pour une précision accrue
RecherchearXiv cs.RO 

Modèle du monde multimodal pour interactions physiques : prédictions visuelles et tactiles simultanées pour une précision accrue

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié sur arXiv (2304.11193v2) une étude portant sur l'intégration du retour tactile dans les modèles prédictifs de perception pour la manipulation robotique. L'approche, baptisée "visuo-tactile prediction", consiste à entraîner un modèle de monde capable de générer simultanément des prédictions visuelles et tactiles à partir d'observations de poussée d'objets. Pour alimenter ces travaux, deux jeux de données inédits ont été constitués à l'aide d'un capteur tactile à base magnétique : le premier contient des objets visuellement identiques mais aux propriétés physiques différentes (masse, rigidité), isolant explicitement l'ambiguïté physique ; le second reproduit les benchmarks classiques de robot-pushing avec des regroupements d'objets du quotidien. Le code source et les données sont mis à disposition publiquement.

Le résultat central de cette recherche remet en question un postulat implicite de nombreux systèmes de world models robotiques : la vision seule ne suffit pas pour prédire fidèlement les interactions physiques dès lors que les objets sont visuellement indiscernables. Dans ces régimes ambigus, l'intégration tactile améliore significativement la précision et la robustesse des prédictions. En revanche, lorsque la dynamique est visuellement déductible, les gains tactiles restent limités. Pour les intégrateurs et équipes de R&D en manipulation, cela signifie que le retour tactile n'est pas un luxe mais une nécessité sélective : son déploiement est justifié précisément là où la vision échoue, typiquement lors de la manipulation d'objets déformables, transparents ou de densité variable.

Ce travail s'inscrit dans un effort plus large de la communauté robotique pour dépasser les modèles de monde purement visuels, qui montrent leurs limites dans les tâches de contact. Des travaux concurrents comme ceux de Meta AI (v-jepa), de Google DeepMind (RT-2) ou de Physical Intelligence (Pi-0) explorent également les représentations multimodales, mais restent majoritairement centrés sur la vision et le langage. L'usage d'un capteur magnétique plutôt que optique (comme ceux de GelSight/Digit popularisés par Meta) constitue un choix technique notable, potentiellement plus robuste en conditions industrielles. La mise à disposition des données en accès libre ouvre la voie à des évaluations comparatives plus rigoureuses, un manque criant dans le domaine de la manipulation tactile.

Dans nos dossiers

Physical Intelligence — π0OpenVLA / RT-XWorld modelsManipulation robotique

À lire aussi

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique
1arXiv cs.RO 

DexTacWAM : un modèle visuo-tactile du monde et de l'action pour la manipulation dextérique

Un article déposé sur arXiv en septembre 2026 (arXiv:2609.24976v1) présente DexTacWAM, un World-Action Model (WAM) visuo-tactile pour la manipulation dextre, qui encode indépendamment chaque bout de doigt et injecte l'information tactile, via un compresseur sensible au doigt et à sa pose, dans un modèle du monde fondé sur la diffusion vidéo. Testé sur six tâches de manipulation à fort contact sur une plateforme bimanuelle à 22 degrés de liberté, DexTacWAM obtient le meilleur score sur toutes, avec une moyenne de 70,6 points contre 38,0 pour le meilleur système de référence, sur une échelle non précisée par les auteurs. Une étude d'ablation montre que retirer la modélisation tactile du monde, tout en gardant les mêmes caractéristiques tactiles et le même module d'action, fait chuter la moyenne sur quatre tâches de 74,7 à 26,6 points. Avec un encodeur vidéo pré-entraîné gelé, quatre heures d'adaptation de l'encodeur tactile et une centaine de démonstrations par tâche suffisent pour une qualité de prédiction visuelle à moins de 0,5 dB du niveau purement visuel, un rappel de contact conservé à 89,4% après compression, un entraînement 2,26 fois plus rapide et une inférence 1,29 fois plus rapide. Ce résultat cible une limite connue des WAM actuels, généralement centrés sur la vision et donc incapables de modéliser directement la dynamique de contact, pourtant déterminante en manipulation fine. L'étude montre que le gain provient surtout du fait de traiter l'évolution du contact comme une composante de l'état du monde prédit, plutôt que d'un simple conditionnement des actions sur des données tactiles. Pour les intégrateurs et les équipes de recherche en robotique dextre, l'intérêt pratique tient à l'efficacité: étendre un grand modèle vidéo déjà entraîné au sens du toucher avec un budget de données et de calcul réduit, sans tout ré-entraîner. Le travail s'inscrit dans la lignée des World-Action Models, qui couplent modélisation vidéo prédictive et génération d'action pour anticiper les effets des mouvements d'un robot, jusqu'ici presque exclusivement visuels. Il s'agit à ce stade d'un article de recherche, sans identification des auteurs ni annonce de partenariat industriel, de plateforme commerciale ou de calendrier de déploiement. La suite logique, non détaillée dans l'article, consisterait à valider l'approche sur davantage de tâches et de plateformes, voire sur des mains dextres commerciales, avant toute intégration dans des systèmes de manipulation opérationnels.

RechercheActu
1 source
Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques
2arXiv cs.RO 

Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques

PhysCanvas, un modèle du monde visuo-tactile décrit dans un préprint arXiv (2610.28613), vise à servir de simulateur interactif pour évaluer et améliorer des politiques de manipulation robotique. Il fusionne dans un même espace visuel des images RGB multivues, des images tactiles, les déplacements de marqueurs du capteur, l'état de la tâche et les actions. Toutes ces modalités passent par un même VAE vidéo et un même backbone génératif pré-entraîné, ce qui permet au toucher optique de réutiliser les a priori visuels et temporels. Les actions sont injectées sous forme d'images de mouvement, calculées par cinématique directe et projection caméra, alignées spatialement avec les vues. Une image RGB initiale sert d'ancre et des observations de référence mises à jour guident la génération séquentielle. Un post-entraînement « consistency-aware » s'appuie sur trois modèles de récompense gelés (scène, modalité, état) qui contrôlent la préservation de la scène, la compatibilité visuo-tactile et la concordance avec les résultats réels. Sur quatre tâches de manipulation réelles, la supervision par le modèle de récompense d'état fait passer la moyenne arithmétique des corrélations de Pearson, entre taux de succès simulé et réel, de 0,602 à 0,885. Le post-entraînement de π0.5 par GRPO dans ce modèle du monde porte son taux de succès réel moyen de 59,1 % (base SFT) à 70,8 %. L'enjeu est double. Évaluer une politique sur robot physique coûte cher et passe mal à l'échelle, et les modèles du monde purement visuels produisent des vidéos plausibles mais fausses sur la dynamique de contact (glissement, force, déformation). C'est précisément ce qui fait diverger un classement de politiques en simulation de sa performance réelle. Le gain de corrélation suggère qu'un modèle du monde aligné sur les résultats de tâche peut devenir un proxy d'évaluation utile, et que l'ajout du tactile aide sur les tâches riches en contact. Le gain de 11,7 points sur π0.5 est modeste mais obtenu sans interactions réelles supplémentaires, ce qui intéresse les intégrateurs confrontés au coût des essais physiques. Quelques réserves s'imposent : seulement quatre tâches, un nombre de rollouts non précisé dans le résumé, des corrélations calculées sur peu de points, et aucune démonstration de généralisation à de nouveaux objets ou à d'autres capteurs. Ce travail s'inscrit dans la montée des modèles du monde actionnables, utilisés comme simulateurs appris pour contourner la difficulté du sim-to-real, et dans l'essor de l'apprentissage par renforcement appliqué aux modèles vision-langage-action (VLA) comme π0.5 de Physical Intelligence. Il complète des approches centrées sur la vision, notamment les modèles du monde de NVIDIA (Cosmos) ou d'autres équipes académiques, en y ajoutant le tactile de type optique. La suite logique serait un passage à des tâches plus longues, à davantage de plateformes et à un déploiement hors laboratoire. Une page projet est disponible, mais aucun calendrier de produit n'est annoncé : il s'agit à ce stade de recherche académique, sans déploiement industriel.

RecherchePaper
1 source
Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact
3arXiv cs.RO 

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

FeelWorld est un nouveau modèle du monde visuo-tactile hiérarchique présenté dans un article arXiv (2607.24267v1) qui prédit conjointement les futurs visuels latents et trois états tactiles : l'état de contact, un latent tactile 3D encodant les informations de force, et l'état de glissement. Ces trois signaux sont produits par un modèle de dynamique latente partagé, entraîné avec une supervision explicite et un mécanisme d'attention asymétrique à porte de contact, qui maintient un chemin de prédiction purement visuel avant tout contact puis active la prédiction conjointe visuo-tactile une fois le contact établi. L'entraînement s'appuie sur des rollouts autorégressifs et une injection de bruit contextuel pour limiter l'accumulation d'erreurs. Sur trois tâches de manipulation, saisie de puces électroniques, saisie de fruits et insertion de connecteurs USB, FeelWorld réduit le LPIPS à 10 pas de 0,084 à 0,058 et reste 61% inférieur au LPIPS d'un modèle purement visuel après un rollout autorégressif de 80 pas. Couplé à un planificateur CEM sensible au contact, il atteint un taux de réussite moyen de 81,7% en planification zero-shot. L'apport principal tient au constat que les modèles du monde utilisés en robotique se limitent en général à la dynamique visuelle, ce qui peut générer des futurs imaginés plausibles à l'œil mais physiquement incohérents dès qu'il y a contact réel avec l'objet. Pour des tâches d'assemblage précis, de préhension d'objets fragiles ou d'insertion, cette lacune pèse directement sur la fiabilité du planning robotique. En intégrant le retour tactile directement dans la boucle de prédiction plutôt qu'en aval, FeelWorld cible un des points faibles connus des architectures VLA et des pipelines de planification par imagination, où l'écart entre démonstration visuelle et physique réelle reste un obstacle à la mise à l'échelle. Le travail s'inscrit dans la lignée des modèles du monde issus du RL basé sur modèle et des architectures récentes de prédiction visuelle, jusqu'ici quasi exclusivement centrées sur l'image. La détection tactile constituait jusque-là un axe de recherche largement séparé. Il s'agit ici d'une contribution académique, sans déploiement industriel annoncé ni acteur commercial identifié ; les suites naturelles concernent des tests sur du matériel physique équipé de capteurs tactiles et une intégration dans des piles de planification robotique plus larges.

RecherchePaper
1 source
LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents
4arXiv cs.RO 

LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents

LAW, pour Language, Action and World modeling, est un framework en boucle fermée publié sur arXiv (2610.23334) qui associe un modèle vision-langage (VLM) et un modèle monde-action (WAM, world-action model, capable de prédire conjointement les actions et les états futurs du monde). Le VLM de 2 milliards de paramètres planifie les sous-tâches restantes, estime la valeur des actions proposées par le WAM et les fusionne, puis évalue de façon asynchrone l'état d'exécution pour décider de poursuivre ou de passer à la sous-tâche suivante. Côté WAM, une architecture Mixture-of-Transformer Experts combine calcul spécifique à chaque modalité et calcul partagé pour modéliser conjointement vidéo et actions. Une mémoire visuelle hiérarchique à double flux fournit le contexte temporel aux deux modèles. Sur le benchmark simulé RoboTwin (50 tâches), LAW atteint 94,21 % de réussite moyenne, et 95,56 % avec le backbone OpenWAM-alpha, ce que les auteurs présentent comme un nouvel état de l'art open source. Sur trois tâches longues sur robot réel, il obtient 65 % de réussite moyenne, contre 28,33 % pour pi-0.5 et 25 % pour Fast-WAM. L'intérêt pour l'industrie tient à la manière dont le résultat est obtenu : la planification sémantique est confiée à un petit VLM, qui surpasse des variantes équipées d'Embodied-R1.5 et de GPT-5.5 High. Cela suggère que, pour le pilotage de tâches longues, un modèle spécialisé et léger peut valoir un très grand modèle généraliste, avec des implications sur la latence et le coût d'embarquement. L'apprentissage de valeur par sous-tâche, qui conserve la supervision des préfixes réussis de trajectoires ayant échoué, répond aussi à un problème pratique : exploiter les données d'échec plutôt que les jeter. À nuancer toutefois : RoboTwin est un benchmark simulé, saturé autour de 95 %, et l'évaluation réelle ne porte que sur trois tâches, sans précision ici sur le nombre d'essais ni sur les plateformes. L'écart de 65 % contre 28 % face à pi-0.5 est net, mais reste une comparaison de laboratoire, loin d'un déploiement en production. Ce travail s'inscrit dans la convergence entre modèles VLA (vision-langage-action) comme pi-0.5 de Physical Intelligence et modèles monde-action, qui apprennent à prédire la vidéo future pour guider le contrôle, à l'image de Fast-WAM. Le débat porte sur la meilleure répartition entre raisonnement symbolique, prédiction du monde et génération d'actions. LAW propose une architecture hiérarchique où le langage sert de pivot, une approche proche de celles des systèmes à double vitesse de Figure (Helix) ou de NVIDIA (GR00T). Il s'agit d'un preprint non évalué par des pairs. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur davantage de tâches et de plateformes, et une reproduction indépendante.

RecherchePaper
1 source