Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

MDF++ : modèle du monde action visuo-tactile avec apprentissage de représentations de bout en bout

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (première version, novembre 2026) MDF++, un modèle monde-action (WAM) visuo-tactile pour la manipulation robotique. Un WAM génère des actions et prédit en parallèle les observations futures, ce qui lui permet d'anticiper les conséquences de ses gestes. MDF++ apprend de bout en bout, avec un backbone de diffusion, des représentations latentes d'observations multisensorielles (vision et toucher). Un entraînement conjoint naïf provoque un effondrement des features. Les auteurs y répondent par une stratégie multitâche qui exploite les corrélations entre modalités pour conserver des représentations utiles à la tâche. Le modèle est évalué sur des tâches de manipulation riches en contact, dont le vissage de boulon et l'appariement d'écrou sur matériel réel. Il dépasserait de « jusqu'à 50 % » les WAM bâtis sur des représentations pré-entraînées figées. Des vidéos sont disponibles sur jointmdf.github.io.

Le résultat vise un point faible courant: beaucoup de WAM réutilisent des encodeurs gelés, entraînés à reconstruire des images, qui ne capturent pas forcément ce dont le contrôle a besoin. Le travail suggère que l'apprentissage conjoint des représentations vaut mieux que la réutilisation d'encodeurs génériques, surtout quand le toucher entre en jeu. Pour un intégrateur, l'assemblage avec vissage et insertion est le type de tâche où la vision seule échoue, car l'occlusion et la compliance dominent. Il faut toutefois rester prudent. Le chiffre de 50 % est un maximum, et le résumé ne précise ni la métrique, ni le nombre de démonstrations, ni le robot, ni les capteurs tactiles, ni les temps de cycle. Il s'agit d'un résultat de laboratoire, pas d'un produit ni d'un déploiement.

Les WAM sont apparus récemment comme une alternative ou un complément aux politiques VLA (vision-langage-action), qui prédisent des actions sans modéliser explicitement l'avenir. Le tactile reste largement absent des grands modèles généralistes, centrés sur la vision et le langage. MDF++ s'inscrit donc dans l'effort pour doter ces architectures de perception du contact. Les prochaines étapes à surveiller sont la publication du code et des détails expérimentaux, les ablations sur la stratégie multitâche, et surtout la généralisation à d'autres objets, capteurs et plateformes. Aucun acteur européen n'est identifié dans le résumé.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

Vers un apprentissage robotique unifié : relier représentation, modèles vision-langage-action et modèles du monde
1arXiv cs.RO 

Vers un apprentissage robotique unifié : relier représentation, modèles vision-langage-action et modèles du monde

Un article publié sur arXiv sous la référence 2609.03927v1 propose une synthèse unifiée de l'apprentissage robotique, en organisant les travaux existants autour de trois axes complémentaires : la compréhension via l'apprentissage de représentation, l'action via les modèles vision-langage-action (VLA), et le raisonnement via les modèles du monde. Les auteurs introduisent une taxonomie structurée qui capture les choix de conception clés en matière de représentation de l'environnement, d'apprentissage de politiques et de modélisation prédictive, et dressent un état des lieux des avancées récentes dans ces trois domaines de recherche. Le papier pointe un problème central pour le secteur : ces trois paradigmes progressent rapidement mais restent développés de façon cloisonnée, ce qui produit des systèmes fragmentés, peu capables de généraliser, de raisonner sur des horizons temporels longs ou de planifier dans des environnements non structurés. C'est un signal utile pour les intégrateurs et décideurs B2B qui misent tout sur un seul bloc technologique, qu'il s'agisse d'un VLA pour l'action ou d'un modèle du monde pour la prédiction. Les auteurs soutiennent que les limites observées sur le terrain, quantification insuffisante de l'incertitude, mauvaise généralisation hors distribution, transfert difficile d'une plateforme robotique à une autre, compréhension limitée du contexte long, planification longue portée fragile, ne viennent pas seulement des composants pris isolément mais du manque d'intégration entre perception, action et raisonnement. Cela nuance l'hypothèse répandue selon laquelle il suffirait de faire grossir un seul type de modèle pour résoudre l'autonomie robotique générale. Cette synthèse arrive alors que les trois courants qu'elle croise, apprentissage de représentation pour la perception, modèles VLA pour le contrôle d'action, modèles du monde pour la prédiction des conséquences, ont chacun connu des avancées rapides ces dernières années dans la recherche robotique sans converger vers une architecture commune. Plutôt que de comparer des produits ou des laboratoires concurrents, l'article se positionne comme une carte du terrain de recherche à destination de la communauté scientifique. Les auteurs esquissent des directions futures vers des systèmes d'apprentissage robotique unifiés, physiquement ancrés et probabilistes, capables de maintenir des représentations internes cohérentes et de soutenir la prise de décision sur des interactions prolongées en conditions réelles, sans toutefois annoncer de calendrier de mise en œuvre ni de prototype déployé.

RecherchePaper
1 source
TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène
2arXiv cs.RO 

TacDyn-WAM : apprentissage de la dynamique tactile implicite dans un modèle du monde et d'actions visuo-tactile hétérogène

Des chercheurs publient TacDyn-WAM, un « world action model » visuo-tactile hétérogène (arXiv 2610.00638) qui prédit la dynamique tactile implicite plutôt que de reconstruire les futures images tactiles. Les world action models conditionnent les actions du robot sur des futurs prédits. Leurs variantes tactiles actuelles reprennent les pipelines de génération vidéo, avec reconstruction itérative par débruitage. TacDyn-WAM apprend TacRep, un espace de représentation tactile entraîné par prédiction spatio-temporelle masquée sur des séquences tactiles, et régularisé par distillation de structure relationnelle. Deux experts, l'un visuel, l'autre tactile, prédisent des représentations futures dans des espaces cibles distincts et échangent par attention conjointe. L'expert tactile prédit, en une seule passe avant, les représentations futures et leurs variations à plusieurs horizons. Une mémoire tactile en lecture seule fournit l'état de contact courant. Sur le benchmark UniVTAC, le modèle atteint 81,5 % de réussite moyenne avec les seules démonstrations fournies. Sur cinq tâches réelles, il obtient 71,0 %, et 85,0 % après un pré-entraînement de taille modeste. L'enjeu porte sur la robustesse en déploiement. Les auteurs soutiennent qu'un léger décalage de position ou de force de contact modifie fortement les pixels tactiles, alors que l'évolution du contact reste prévisible. Reconstruire ces pixels devient alors fragile, tandis que prédire la dynamique dans un espace latent y serait moins sensible. Le résultat est notable pour les intégrateurs de manipulation fine, par exemple l'insertion ou la saisie sous contact, car il suggère qu'un tactile utile ne demande pas forcément de lourds modèles génératifs. Le modèle reste compétitif face à des approches pré-entraînées sur de vastes trajectoires visuo-tactiles. Les ablations indiquent que les deux voies tactiles et TacRep l'emportent sur les alternatives par reconstruction de pixels ou statiques. Les chiffres viennent toutefois des auteurs, sur un benchmark, avec un nombre limité de tâches réelles. Le papier ne donne ni temps de cycle ni matériel de déploiement industriel, et l'écart entre simulation, laboratoire et production reste à démontrer. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle robotique, où le tactile reste le parent pauvre face à la vision. Les VLA comme Pi-0 ou GR00T s'appuient surtout sur la vision et le langage, tandis que les capteurs tactiles de type vision-based (GelSight et dérivés) restent peu intégrés aux modèles de fondation. Les variantes tactiles concurrentes héritent des architectures de génération vidéo que TacDyn-WAM remet en cause. Il s'agit d'une prépublication v1, sans produit ni déploiement annoncé. La suite probable passera par des pré-entraînements plus vastes, davantage de tâches réelles et une réplication indépendante. Aucun acteur français ou européen n'est cité dans l'article.

RecherchePaper
1 source
Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques
3arXiv cs.RO 

Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques

PhysCanvas, un modèle du monde visuo-tactile décrit dans un préprint arXiv (2610.28613), vise à servir de simulateur interactif pour évaluer et améliorer des politiques de manipulation robotique. Il fusionne dans un même espace visuel des images RGB multivues, des images tactiles, les déplacements de marqueurs du capteur, l'état de la tâche et les actions. Toutes ces modalités passent par un même VAE vidéo et un même backbone génératif pré-entraîné, ce qui permet au toucher optique de réutiliser les a priori visuels et temporels. Les actions sont injectées sous forme d'images de mouvement, calculées par cinématique directe et projection caméra, alignées spatialement avec les vues. Une image RGB initiale sert d'ancre et des observations de référence mises à jour guident la génération séquentielle. Un post-entraînement « consistency-aware » s'appuie sur trois modèles de récompense gelés (scène, modalité, état) qui contrôlent la préservation de la scène, la compatibilité visuo-tactile et la concordance avec les résultats réels. Sur quatre tâches de manipulation réelles, la supervision par le modèle de récompense d'état fait passer la moyenne arithmétique des corrélations de Pearson, entre taux de succès simulé et réel, de 0,602 à 0,885. Le post-entraînement de π0.5 par GRPO dans ce modèle du monde porte son taux de succès réel moyen de 59,1 % (base SFT) à 70,8 %. L'enjeu est double. Évaluer une politique sur robot physique coûte cher et passe mal à l'échelle, et les modèles du monde purement visuels produisent des vidéos plausibles mais fausses sur la dynamique de contact (glissement, force, déformation). C'est précisément ce qui fait diverger un classement de politiques en simulation de sa performance réelle. Le gain de corrélation suggère qu'un modèle du monde aligné sur les résultats de tâche peut devenir un proxy d'évaluation utile, et que l'ajout du tactile aide sur les tâches riches en contact. Le gain de 11,7 points sur π0.5 est modeste mais obtenu sans interactions réelles supplémentaires, ce qui intéresse les intégrateurs confrontés au coût des essais physiques. Quelques réserves s'imposent : seulement quatre tâches, un nombre de rollouts non précisé dans le résumé, des corrélations calculées sur peu de points, et aucune démonstration de généralisation à de nouveaux objets ou à d'autres capteurs. Ce travail s'inscrit dans la montée des modèles du monde actionnables, utilisés comme simulateurs appris pour contourner la difficulté du sim-to-real, et dans l'essor de l'apprentissage par renforcement appliqué aux modèles vision-langage-action (VLA) comme π0.5 de Physical Intelligence. Il complète des approches centrées sur la vision, notamment les modèles du monde de NVIDIA (Cosmos) ou d'autres équipes académiques, en y ajoutant le tactile de type optique. La suite logique serait un passage à des tâches plus longues, à davantage de plateformes et à un déploiement hors laboratoire. Une page projet est disponible, mais aucun calendrier de produit n'est annoncé : il s'agit à ce stade de recherche académique, sans déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action
4arXiv cs.RO 

STAR : apprentissage de représentations tactiles éparses pour la manipulation dextérique via modèles vision-tactile-langage-action

Des chercheurs ont publié le 12 septembre 2026 sur arXiv (2609.12549) STAR, un système d'apprentissage pour modèles vision-tactile-langage-action destinés à la manipulation dextre bimanuelle. L'équipe a construit une plateforme robotique et un dispositif de téléopération pour collecter 200 heures de données, soit 10 576 trajectoires réparties sur 65 tâches, dont 69,5 % impliquent une manipulation multi-doigts fine, chaque séquence étant annotée simultanément en vision, tactile et langage. STAR combine trois mécanismes pour compenser la rareté spatiale, temporelle et informationnelle des signaux tactiles : un pré-entraînement conjoint visuel-tactile, une représentation par jetons tactiles globaux épars, et une prédiction tactile future éparse. Après entraînement sur ce corpus, puis un post-entraînement léger de seulement 100 trajectoires par tâche, le modèle atteint un taux de réussite moyen de 61 % sur quatre tâches réelles. Ce résultat s'attaque à un goulot d'étranglement connu des modèles vision-langage-action (VLA) : le signal tactile, clairsemé par nature, est souvent négligé au profit de la seule combinaison vision-langage, ce qui limite la finesse de manipulation. Démontrer qu'un post-entraînement de 100 démonstrations par tâche suffit à dépasser 60 % de réussite renforce l'idée qu'une intégration tactile native, plutôt qu'ajoutée après coup, améliore la généralisation des politiques robotiques. Pour les intégrateurs en robotique humanoïde et en préhension industrielle, cela ouvre une piste concrète pour réduire le coût de collecte de données réelles, souvent le vrai frein au passage du laboratoire au terrain. Le chiffre de 61 % reste toutefois à confirmer sur des objets et environnements non vus, les quatre tâches testées ayant été sélectionnées par les auteurs eux-mêmes. STAR s'inscrit dans une recherche croissante visant à doter les modèles VLA d'un véritable retour tactile, alors que des systèmes de référence du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, reposent surtout sur la coordination vision-langage sans exploiter systématiquement le toucher. La rareté des jeux de données vision-tactile-langage synchronisés à grande échelle explique en partie pourquoi peu d'acteurs disposent d'un corpus comparable aux 10 576 trajectoires réunies ici. Publié comme préprint sans affiliation industrielle revendiquée ni calendrier de déploiement, STAR reste à ce stade une contribution de recherche. La communauté attendra probablement la publication du code et du jeu de données, ainsi que des comparaisons directes avec d'autres architectures tactiles en cours de développement.

RechercheActu
1 source