RecherchearXiv cs.RO 12 octobre 2026

ForeAct3D : modélisation du monde futur ancrée dans la politique pour les politiques VLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ForeAct3D est un cadre de modélisation du monde futur intégré aux politiques VLA (Vision-Language-Action), publié sur arXiv (2610.04607, version 2) avec code et page projet sur GitHub. Des requêtes géométriques apprenables décodent, à partir de la représentation interne de la politique, la profondeur, la segmentation sémantique et la pose de caméra. Elles produisent ainsi un état de scène 3D sémantique courant et un état futur. Les requêtes « futures » sont conditionnées par le chunk d'actions que la politique génère elle-même, de sorte que la prédiction reflète l'interaction réellement planifiée. Une fermeture de cohérence physique relie les deux états par la staticité du fond et la rigidité au niveau des instances, et ancre la pose de la caméra poignet à la cinématique de l'effecteur. Sans pré-entraînement robotique, le système atteint 98,3 % de succès moyen sur LIBERO et une longueur de tâche moyenne de 3,73 sur CALVIN, devant sa politique de base sur chaque suite. En conditions réelles (placement spatial, insertion d'objets, manipulation séquentielle), le succès moyen passe de 6,7 % à 37,8 %.

L'intérêt tient à la manière dont la prédiction du futur est utilisée. Les VLA qui prédisent des observations futures à partir de caractéristiques partagées laissent la prévision découplée des actions exécutées et ne lui imposent aucune contrainte physique. Ici, ces objectifs ne servent qu'à façonner la représentation partagée pendant l'entraînement : aucune prédiction du futur n'est requise à l'inférence, donc pas de surcoût de latence au déploiement. Les ablations indiquent que la supervision 3D sémantique, la cohérence physique et le conditionnement par l'action améliorent chacun la manipulation, et que ce dernier améliore nettement la localisation future des objets. Les résultats réels appellent toutefois de la prudence : 37,8 % de succès reste très loin d'un seuil industriel, et le gain relatif (environ 5,6 fois) part d'une base très basse de 6,7 %. Les benchmarks LIBERO et CALVIN, proches de la saturation, sont en outre des environnements simulés où l'écart entre démonstration et réalité reste à prouver.

Ce travail s'inscrit dans la tendance des VLA enrichis de modèles du monde, où l'on cherche à doter les politiques d'une anticipation de la dynamique des scènes, par prédiction d'images futures ou de représentations latentes. Il se distingue en privilégiant une supervision géométrique et physique explicite plutôt qu'une prédiction visuelle purement pixel. L'article ne détaille pas, dans ce résumé, la politique de base utilisée ni la taille des essais réels, ce qui limite la comparaison directe avec les modèles de référence du secteur comme Pi-0 ou GR00T. Les prochaines étapes naturelles seraient une validation sur davantage de tâches physiques, des plateformes variées et des protocoles d'évaluation indépendants, la publication du code permettant à d'autres équipes de reproduire ces résultats.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

PLaW-VLA : modélisation prédictive d'un modèle du monde latent pour les politiques vision-langage-action

PLaW-VLA, une politique vision-langage-action (VLA) décrite dans un preprint arXiv (2610.12285), propose de donner aux robots une capacité d'anticipation sans payer le coût habituel des modèles du monde génératifs. Les auteurs modélisent les états futurs pertinents pour la tâche dans un espace de représentation latent pré-entraîné, orienté prédiction, au lieu de reconstruire les pixels. L'architecture repose sur un Mixture-of-Transformers. L'action est générée à partir de l'historique d'observations, de la sémantique de la tâche en cours et des états futurs prédits, via une attention causale structurée. Les résultats annoncés sont un gain de 11,8 points de pourcentage sur le benchmark RoboTwin Hard Horizon III par rapport à des politiques purement réactives, et un gain de 1,77 point sur LIBERO-Plus en zéro-shot par rapport à une prédiction latente fondée sur la reconstruction. Le modèle du monde est léger et prédit les états futurs en parallèle. Sa latence d'inférence est environ 19 fois inférieure à celle d'une modélisation générative monde-action, pour une performance de politique comparable. L'intérêt pour l'industrie tient à l'inférence. Les VLA augmentés d'un modèle du monde génératif sont difficiles à embarquer, car la génération d'images futures ajoute une latence incompatible avec le contrôle en boucle fermée sur du matériel réel. Un facteur 19 sur la latence, à performance égale, indique que l'essentiel de l'information utile à la planification longue se loge dans une représentation compacte, et que la fidélité visuelle des prédictions n'est pas nécessaire. Le résultat contredit l'idée que prévoir le futur exige de le dessiner. Il faut toutefois relativiser. Ces chiffres viennent de benchmarks simulés (RoboTwin, LIBERO-Plus), sans validation sur robot physique mentionnée. Le gain de 1,77 point en généralisation est modeste et sa significativité statistique n'est pas précisée. Pour un intégrateur, c'est une piste d'architecture à surveiller, pas un produit ni un déploiement. Ce travail s'inscrit dans la course aux VLA dotés de capacités prédictives, après la première génération de politiques réactives (de type Pi-0 ou OpenVLA), qui mappent directement l'observation courante vers l'action et échouent sur les tâches à long horizon. Une seconde famille, qui intègre des modèles du monde génératifs pour imaginer le futur en pixels, a montré des gains mais au prix d'un calcul élevé. PLaW-VLA se positionne entre les deux, avec une prédiction latente allégée. Il s'agit d'un preprint en version 1, sans revue par les pairs. Aucun code, calendrier de publication ni test sur robot réel n'est annoncé. La suite logique serait une validation sur plateformes physiques et des comparaisons directes avec les VLA généralistes industriels sur des tâches de manipulation longues, où la latence reste le critère décisif.

RecherchePaper

1 source

2arXiv cs.RO

TacSushi : modélisation monde-action ancrée dans le tactile pour la manipulation dextérique de sushis

Une équipe de recherche présente TacSushi, une politique robotique world-action ancrée dans le toucher, bâtie sur un modèle de monde Cosmos3, destinée à la manipulation dextre d'aliments déformables comme le sushi. Le système encode l'image RGB courante, une consigne en langage naturel et l'état de la main, puis fusionne par un mécanisme de gating feature-wise les signaux tactiles des bouts de doigts dans la représentation d'action ; pendant l'entraînement seulement, un décodeur conditionné par les segments d'action démontrés prédit les observations visuelles futures, la progression de la tâche et le risque de contact, avant d'être retiré au déploiement. Entraîné sur 340 essais réussis et 50 essais échoués sur robot réel, TacSushi a été testé sur 600 rollouts couvrant trois tâches en distribution et deux variantes d'ingrédients hors distribution, la qualité du plat final étant jugée par un protocole mêlant à parts égales cinq notations humaines et trois notations de modèles vision-langage. Résultat : 68,3% de réussite moyenne en distribution et 37,5% hors distribution, contre 36,7%/10,0% sans la supervision par conséquences futures et 25,0%/17,5% avec une simple concaténation tactile au lieu de la fusion gated. Ces chiffres valident surtout deux choix d'architecture plutôt qu'une performance spectaculaire : la fusion tactile gated par caractéristique apporte un gain net face à une concaténation brute, et la supervision prédictive, entraînée mais jamais exécutée en production, améliore la généralisation sans coût au déploiement. Pour les équipes de manipulation dextre et les intégrateurs, l'écart entre réussite en distribution et hors distribution illustre une nouvelle fois le fossé persistant entre démonstration contrôlée et généralisation réelle des politiques vision-langage-action, un problème que le secteur peine encore à résoudre malgré les annonces. Évaluer la qualité perçue de l'aliment via des juges humains et des modèles vision-langage, plutôt qu'un seuil géométrique binaire, répond aussi à une limite méthodologique connue des benchmarks de manipulation alimentaire, où texture et présentation comptent autant que le succès du geste. TacSushi s'inscrit dans la lignée des politiques robotiques bâties sur des backbones de modèles de monde ou vision-langage-action, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais cible un terrain nettement moins couvert, la manipulation d'aliments fragiles, plutôt que la préhension d'objets rigides. Publié en prépublication sur arXiv sans affiliation industrielle mentionnée, le travail reste une évaluation de laboratoire sur rollouts contrôlés, sans partenaire commercial ni calendrier de déploiement annoncés, et son jeu d'entraînement de 340 démonstrations réussies pour seulement 50 échecs demeure modeste au regard des efforts de VLA à grande échelle menés par les grands laboratoires. La suite logique, non précisée par les auteurs, consisterait à élargir les tâches culinaires et les variantes d'ingrédients testées pour vérifier si les gains observés hors distribution résistent à une variabilité alimentaire encore plus large.

RecherchePaper

1 source

3arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Repenser les représentations pour la modélisation monde-action

Des chercheurs proposent ReWAM, un modèle « monde-action » (world-action model) qui apprend conjointement une politique de contrôle robotique et la prédiction des observations futures, en s'appuyant sur des features DINO pré-entraînées plutôt que sur un pré-entraînement génératif vidéo. Sur le benchmark simulé RoboTwin 2.0, il atteint 93,6 % de réussite. Sur RoboDojo, il obtient un score moyen de 12,29 et un taux de succès de 8,28 %, avec environ 600 heures de données d'embodiment pour le pré-entraînement. Deux mécanismes structurent l'ensemble. Une Feature Calibration et un Temporal Representation Bottleneck compressent les features DINO en états du monde compacts, adaptés à la modélisation de la dynamique. Un Action-Grounded Representation Shaping n'achemine vers ce goulot que les gradients issus de la perte d'action. La politique décide ainsi de ce que la représentation encode, tandis que le modèle du monde apprend comment elle évolue. Il s'agit d'un travail de recherche (preprint arXiv), sans produit ni déploiement associé. L'intérêt tient à la conclusion des comparaisons contrôlées. Ni la fidélité de reconstruction, ni des features perceptuelles pré-entraînées prises isolément ne garantissent un apprentissage de politique efficace. Cela remet en cause une hypothèse répandue : les world models vidéo, coûteux à pré-entraîner, seraient la voie évidente vers des politiques généralistes. Ici, un espace latent compact, façonné par l'action, suffit à un score élevé sur RoboTwin 2.0 sans génération vidéo. Pour les équipes qui évaluent des architectures VLA (vision-language-action) ou monde-action, cela suggère qu'un budget de calcul peut se déplacer du pré-entraînement génératif vers la conception de la représentation. Deux réserves s'imposent. Les 93,6 % relèvent d'un benchmark simulé, qui ne dit rien du transfert sim-to-real. Et le 8,28 % sur RoboDojo montre qu'une tâche plus exigeante reste très loin d'être résolue, ce que le chiffre de RoboTwin masque. Ce travail s'inscrit dans la montée des modèles monde-action, qui cherchent à unifier la prédiction de futurs observés et le contrôle, en concurrence avec les VLA purs comme Pi-0 ou GR00T, et avec les approches fondées sur des modèles vidéo génératifs. Le choix de DINO prolonge l'usage des features auto-supervisées comme backbone visuel en robotique. Les prochaines étapes à surveiller sont une validation sur robot réel, des comparaisons à données de pré-entraînement équivalentes, et la publication du code et des poids. Le preprint ne mentionne pas de partenaire industriel ni d'acteur français ou européen.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source