RecherchearXiv cs.RO 28 octobre 2026

E0.5 : des fondations 3D reconstructives aux fondations 3D prédictives du futur pour la modélisation monde-action en robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

E0.5 est un modèle monde-action (WAM, pour world-action model) présenté sur arXiv (2610.36011v1) qui prend pour backbone principal un modèle de fondation 3D plutôt qu'un modèle vidéo ou un modèle vision-langage (VLM). La géométrie 3D devient ainsi la représentation native, à la fois pour la modélisation du monde et pour la prédiction d'actions. Le modèle prédit conjointement les actions et les états 3D futurs. Sur le benchmark de simulation RoboTwin 2.0, sans aucun pré-entraînement sur données robotiques, il atteint 89,90 % de réussite en environnement propre et 50,09 % en environnement randomisé. Les auteurs l'ont ensuite pré-entraîné sur plus de 160 000 trajectoires issues d'AgiBotWorld-Beta, en apprenant simultanément les actions et la géométrie future. Ce pré-entraînement améliore le taux de réussite moyen en manipulation réelle d'environ 15 points de pourcentage sur le bras AgileX Piper et d'environ 7 points sur le robot Zerith H1.

L'intérêt tient à un choix d'architecture. La plupart des WAM actuels s'appuient sur un modèle vidéo ou un VLM, et lorsqu'ils exploitent des features géométriques issues de modèles 3D comme VGGT, celles-ci restent une entrée auxiliaire ou une cible de prédiction secondaire. E0.5 inverse la hiérarchie, ce qui revient à parier que la structure spatiale est un meilleur support pour la manipulation que l'apparence visuelle. Les résultats donnent un premier signal en ce sens, mais ils appellent de la prudence. Le score de 50,09 % en conditions randomisées montre que la robustesse reste un point faible. Les gains réels de 15 et 7 points sont des moyennes sur des tâches non détaillées dans le résumé, sans indication du nombre d'essais ni de comparaison chiffrée avec des références comme Pi-0 ou d'autres VLA. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel, mais il suggère qu'un pré-entraînement robotique peut se transférer sur une base géométrique.

Cette publication s'inscrit dans la montée des modèles monde-action, qui prolongent les VLA (vision-language-action) en y ajoutant la prédiction du futur, jusqu'ici surtout par la vidéo. E0.5 se présente comme un membre de la famille VWA de ces modèles. Il s'appuie sur les avancées des modèles de fondation 3D de type VGGT et sur l'ouverture de grands jeux de données comme AgiBotWorld, dont la version Beta fournit le volume de trajectoires nécessaire. Face à lui se trouvent les approches centrées sur la vidéo et les VLA classiques. Les prochaines étapes à surveiller sont une évaluation sur davantage de plateformes, des comparaisons directes avec ces modèles et une montée en échelle des données de pré-entraînement.

Dans nos dossiers

AgiBot arXiv cs.RO

À lire aussi

1arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Modèles du monde fondation pour la robotique multi-embodiment, fondés sur des actions latentes

Des chercheurs proposent LAC-WM (Latent Action-Conditioned Robot World Model), un modèle du monde robotique qui fonctionne dans un espace d'actions latent unifié, appris et partagé entre embodiments très différents. Il est comparé à une variante de référence, EAC-WM (Explicit Action-Conditioned World Model), conditionnée par des étiquettes de mouvement explicites propres à chaque robot. Les deux modèles sont évalués sur des tâches de manipulation dextre et sur une version modifiée du benchmark LIBERO. Lors de l'adaptation à des robots absents du pré-entraînement, LAC-WM améliore la performance aval jusqu'à 46,7 % sur la manipulation dextre et 11,7 % sur LIBERO. Le travail, publié sur arXiv (2610.10846v1), s'accompagne d'un site de projet (lacwm.github.io). Le résumé ne précise ni les robots testés, ni la taille des modèles, ni les volumes de données de pré-entraînement. Le résultat le plus significatif concerne le passage à l'échelle. La performance de LAC-WM augmente avec le nombre d'embodiments vus au pré-entraînement. À l'inverse, celle d'EAC-WM diminue quand ce nombre croît. Selon les auteurs, des étiquettes d'action explicites produisent des représentations disjointes d'un robot à l'autre, et ajouter des plateformes crée alors de l'interférence plutôt que du transfert. Pour les équipes qui construisent des modèles fondations robotiques, cela remet en cause l'idée qu'agréger davantage de données hétérogènes améliore mécaniquement la généralisation. L'espace d'action serait un goulot d'étranglement central, et pas seulement le volume de données. Pour un intégrateur, l'enjeu est concret : si ce principe se confirme, un modèle du monde pré-entraîné pourrait être adapté à une nouvelle plateforme avec moins de données propriétaires. Les gains annoncés sont toutefois mesurés sur des benchmarks, dont un LIBERO modifié, et non sur des déploiements industriels. Le gain de 11,7 % sur LIBERO est modeste, et l'écart de 46,7 % dépend de la base de comparaison choisie par les auteurs. On parle ici de résultats de recherche, pas d'un produit livré. Ce travail s'inscrit dans la course aux modèles généralistes cross-embodiment, où les approches VLA (vision-langage-action) comme Pi-0 ou GR00T se heurtent à la diversité des espaces d'action, entre bras à 6 ou 7 DOF, mains dextres et humanoïdes. Les modèles du monde, qui prédisent l'évolution de la scène en fonction des actions, sont devenus un axe parallèle pour la planification et l'évaluation des politiques. Les actions latentes, apprises à partir des seules transitions visuelles, offrent une voie pour exploiter de grandes quantités de vidéos sans étiquettes d'action. Le papier est une prépublication v1, sans relecture par les pairs. Il faudra surveiller la publication du code et des poids, des tests sur du matériel réel, ainsi que des comparaisons directes avec d'autres modèles du monde cross-embodiment pour savoir si l'effet de passage à l'échelle se maintient avec des dizaines de plateformes.

RecherchePaper

1 source

3arXiv cs.RO

ForeAct3D : modélisation du monde futur ancrée dans la politique pour les politiques VLA

ForeAct3D est un cadre de modélisation du monde futur intégré aux politiques VLA (Vision-Language-Action), publié sur arXiv (2610.04607, version 2) avec code et page projet sur GitHub. Des requêtes géométriques apprenables décodent, à partir de la représentation interne de la politique, la profondeur, la segmentation sémantique et la pose de caméra. Elles produisent ainsi un état de scène 3D sémantique courant et un état futur. Les requêtes « futures » sont conditionnées par le chunk d'actions que la politique génère elle-même, de sorte que la prédiction reflète l'interaction réellement planifiée. Une fermeture de cohérence physique relie les deux états par la staticité du fond et la rigidité au niveau des instances, et ancre la pose de la caméra poignet à la cinématique de l'effecteur. Sans pré-entraînement robotique, le système atteint 98,3 % de succès moyen sur LIBERO et une longueur de tâche moyenne de 3,73 sur CALVIN, devant sa politique de base sur chaque suite. En conditions réelles (placement spatial, insertion d'objets, manipulation séquentielle), le succès moyen passe de 6,7 % à 37,8 %. L'intérêt tient à la manière dont la prédiction du futur est utilisée. Les VLA qui prédisent des observations futures à partir de caractéristiques partagées laissent la prévision découplée des actions exécutées et ne lui imposent aucune contrainte physique. Ici, ces objectifs ne servent qu'à façonner la représentation partagée pendant l'entraînement : aucune prédiction du futur n'est requise à l'inférence, donc pas de surcoût de latence au déploiement. Les ablations indiquent que la supervision 3D sémantique, la cohérence physique et le conditionnement par l'action améliorent chacun la manipulation, et que ce dernier améliore nettement la localisation future des objets. Les résultats réels appellent toutefois de la prudence : 37,8 % de succès reste très loin d'un seuil industriel, et le gain relatif (environ 5,6 fois) part d'une base très basse de 6,7 %. Les benchmarks LIBERO et CALVIN, proches de la saturation, sont en outre des environnements simulés où l'écart entre démonstration et réalité reste à prouver. Ce travail s'inscrit dans la tendance des VLA enrichis de modèles du monde, où l'on cherche à doter les politiques d'une anticipation de la dynamique des scènes, par prédiction d'images futures ou de représentations latentes. Il se distingue en privilégiant une supervision géométrique et physique explicite plutôt qu'une prédiction visuelle purement pixel. L'article ne détaille pas, dans ce résumé, la politique de base utilisée ni la taille des essais réels, ce qui limite la comparaison directe avec les modèles de référence du secteur comme Pi-0 ou GR00T. Les prochaines étapes naturelles seraient une validation sur davantage de tâches physiques, des plateformes variées et des protocoles d'évaluation indépendants, la publication du code permettant à d'autres équipes de reproduire ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Modèle d'action ancré : l'ancrage 3D comme fondation pour la robotique

Une équipe a publié le 22 septembre 2026 sur arXiv (2609.23863) les Grounded Action Models (GAM), une famille de modèles de fondation robotique ancrant explicitement en 3D la perception des objets à manipuler, là où les modèles vision-langage-action (VLA) et monde-action (WAM) actuels s'appuient sur le langage ou la génération vidéo sans lien direct avec la géométrie de la scène. GAM convertit des instructions en langage, points ou boîtes englobantes en une représentation centrée objet, dont la géométrie et l'historique d'état du robot sont fusionnés par un transformeur multi-flux pour prédire des séquences d'actions. Sur RoboTwin 2.0 (50 tâches), il atteint 55,3% de réussite contre 52,0% pour Spatial Forcing, et 47,6% sous randomisation de scène contre 30,4% pour Abot-M0. Sur LIBERO-PRO, il obtient 61% contre 53% pour π0.5 de Physical Intelligence. Sur un bras bimanuel YAM réel, il conserve 17 réussites sur 20 sous décalage visuel contre 4/20 pour π0.5, et couplé à un planificateur Molmo2 sur un bras Franka, il atteint 64,7% de complétion en distribution et 49,8% hors distribution sur des tâches longues. Ce travail cible un angle mort des VLA actuels, qui apprennent implicitement, à partir de démonstrations, quels objets compter et où ils se trouvent, sans contrainte géométrique explicite, ce qui les fragilise dès qu'un objet est déplacé ou que la scène change. En forçant cet ancrage 3D en amont de la politique d'action, GAM réduit l'écart entre démonstrations contrôlées et déploiement réel, un enjeu central pour les intégrateurs qui veulent sortir les bras manipulateurs des bancs de test. Sa capacité à servir de contrôleur bas niveau sous un planificateur haut niveau ouvre la voie à des tâches longues et dépendantes du contexte, un registre encore peu couvert aujourd'hui. GAM s'inscrit dans une lignée de travaux visant à corriger les VLA de type π0/π0.5 de Physical Intelligence, critiqués pour leur apprentissage implicite de la géométrie de scène, et se positionne explicitement face à Spatial Forcing, Abot-M0 et π_0.5 comme lignes de base directes. Aucun acteur industriel, date de déploiement commercial ni partenaire français ou européen n'est mentionné: il s'agit d'une publication arXiv non encore revue par les pairs, testée en simulation et sur deux plateformes robotiques de laboratoire. Les suites logiques, non détaillées dans le résumé, seraient l'extension à d'autres plateformes matérielles et une validation indépendante des chiffres avancés.

RecherchePaper

1 source