RecherchearXiv cs.RO 19 octobre 2026

ORD-WM : apprentissage de la dynamique des corps rigides centrée sur les objets pour la modélisation 3D du monde en manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent ORD-WM, un modèle de monde 3D conçu pour la manipulation robotique, décrit dans un preprint arXiv (2610.23156) qui n'a pas encore été évalué par des pairs. Le système encode le nuage de points de chaque objet dans une représentation latente qui conserve sa géométrie. Pour cela, il utilise un autoencodeur variationnel à neurones vectoriels (vector-neuron VAE), supervisé par des champs de distance signée (SDF). Un modèle de dynamique conditionné par l'action prédit ensuite, objet par objet, des incréments de mouvement dans SE(3), c'est-à-dire la rotation et la translation d'un corps rigide. Ces transformations sont appliquées analytiquement à l'état latent courant, au lieu de laisser le réseau générer librement l'état suivant. Le résumé indique que les prédictions sur plusieurs pas restent stables et préservent la géométrie, et que le système permet un replanning temps réel pour de la commande prédictive (MPC) en boucle fermée, en simulation et sur des scénarios réels. Le résumé ne donne ni taux de réussite, ni temps de calcul, ni nombre d'objets, ni plateforme robotique, ni comparaison chiffrée.

L'enjeu est un défaut connu des modèles de monde appris. Les modèles basés sur l'image ou sur des représentations 3D denses ne contraignent pas explicitement le mouvement rigide des objets. Ils doivent donc apprendre implicitement qu'une tasse ou un bloc ne se déforme pas. Sur des rollouts longs, les erreurs s'accumulent, et la forme de l'objet dérive ou son mouvement devient incohérent. Pour un intégrateur, c'est ce qui limite la fiabilité de la planification par anticipation dans des tâches de pick-and-place ou d'assemblage. En séparant la géométrie persistante, qui reste fixe, de la pose, qui est la seule chose prédite, ORD-WM intègre un biais inductif de physique plutôt que de compter sur davantage de données. Cette approche reste liée à l'hypothèse de corps rigides. Les objets déformables, les câbles, les tissus et les liquides, très présents dans l'industrie, sortent de son périmètre. Il faudra aussi voir si les résultats tiennent hors du laboratoire, car les affirmations de « temps réel » ne sont pas chiffrées dans le résumé.

Ces travaux s'inscrivent dans la compétition entre deux familles d'approches. D'un côté, les politiques de type VLA (vision-langage-action) et les modèles de monde génératifs apprennent la dynamique de bout en bout à partir d'images ou de vidéos. De l'autre, les approches structurées intègrent des priors géométriques, comme ici les réseaux équivariants à neurones vectoriels et les représentations par SDF. ORD-WM relève du second camp. Il vise la fiabilité sur les scènes d'objets rigides, au détriment de la généralité. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des comparaisons directes avec les modèles de monde image et 3D dense, des tests sur des scènes encombrées avec perception bruitée, puis une éventuelle extension aux objets articulés ou déformables.

Dans nos dossiers

IA physique & VLA World models Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage rapide sur robot pour compétences de manipulation dynamique : le jonglage robotique

Un article publié sur arXiv (2608.26800v1) présente un cadre d'apprentissage en ligne permettant à un robot bimanuel d'apprendre à jongler directement sur du matériel physique, en moins de cinq minutes d'interaction réelle. Équipé de deux bras, de mains multi-doigts et d'une vision embarquée, le robot maîtrise cinq figures classiques de jonglage à trois balles : cascade, tennis, demi-douche, douche et boîte. La méthode, dite d'apprentissage régularisé par mémoire, combine un modèle local construit à partir de l'expérience accumulée sur le robot avec un modèle global préalable qui sert à extrapoler là où les données manquent. Un mécanisme de sécurité, appelé ensemble mutuellement atteignable, garantit que chaque transition entre lancer et rattrapage reste dans les limites articulaires et d'actionneurs des deux bras. Ce résultat s'attaque à l'écart persistant entre simulation et réalité en robotique : plutôt que de chercher à améliorer la fidélité du simulateur, les auteurs montrent qu'un modèle imparfait suffit comme socle à un apprentissage rapide directement sur le robot. Cela contredit l'hypothèse répandue selon laquelle un pré-entraînement massif ou une collecte de données prolongée est nécessaire pour des tâches de manipulation dynamique exigeant une coordination fine entre perception et action en temps réel. Pour les intégrateurs et décideurs industriels, l'approche suggère des robots capables de s'adapter en quelques minutes à une nouvelle tâche sur site plutôt qu'après des semaines de réentraînement hors ligne, ce qui réduirait le coût et les délais de déploiement de systèmes manipulateurs dextres. Le jonglage sert ici de banc d'essai à des compétences de manipulation dynamique et rapide, un registre distinct des tâches quasi statiques comme la préhension ou le tri qui dominent les démonstrations commerciales actuelles. L'abstract ne précise ni l'affiliation des auteurs ni la plateforme robotique utilisée, au-delà de sa description fonctionnelle. Ce travail s'inscrit dans une tendance de recherche visant à dépasser les politiques figées apprises hors ligne, au profit de robots capables d'affiner en continu leur comportement au contact du monde réel. Les auteurs présentent ce résultat comme une preuve de concept, une étape vers des systèmes qui exploitent des connaissances préalables imparfaites tout en s'améliorant continuellement par leur propre expérience physique.

RecherchePaper

1 source

3arXiv cs.RO

GAF : le champ d'action gaussien comme représentation 4D pour la modélisation du monde dynamique en manipulation robotique

Des chercheurs ont publié sur arXiv (version 5 de l'identifiant 2506.14135) une méthode intitulée GAF, pour Gaussian Action Field, qui introduit un cadre de perception 4D destiné à améliorer la précision des bras manipulateurs robotiques pilotés par vision. Le système s'appuie sur le 3D Gaussian Splatting (3DGS), une technique de reconstruction de scènes popularisée en 2023, qu'il étend avec des attributs de mouvement appris, permettant de modéliser simultanément la géométrie de la scène et la dynamique des actions robot dans le temps. GAF produit trois sorties couplées : une reconstruction de la scène courante, une prédiction de frames futures, et une estimation initiale d'action dérivée du mouvement gaussien. Un module de débruitage aligné action-vision vient ensuite affiner cette estimation. Sur les benchmarks testés, la méthode affiche des gains de +11,54 dB en PSNR, +0,3864 en SSIM et -0,5574 en LPIPS en qualité de reconstruction, ainsi qu'un taux de succès moyen supérieur de +7,3 points de pourcentage sur des tâches de manipulation robotique, par rapport aux meilleures méthodes actuelles. Ce gain de 7,3 % en taux de succès sur la manipulation est notable car il s'obtient sans changer le hardware ni la politique d'action de bas niveau : l'amélioration provient uniquement d'une meilleure représentation perceptive. Les approches Vision-to-Action (V-A), qui prédisent directement les commandes depuis les pixels, peinent face aux scènes dynamiques et aux occlusions partielles. Les méthodes Vision-to-3D-to-Action (V-3D-A), qui passent par une reconstruction 3D intermédiaire, gagnent en robustesse spatiale mais ignorent la dimension temporelle. En ajoutant explicitement le mouvement comme attribut appris dans la représentation gaussienne, GAF réduit ce que le secteur appelle le "reality gap" entre modèle perceptif et commande motrice réelle, un verrou central pour les bras industriels opérant dans des environnements non rigides. Le 3D Gaussian Splatting, base de GAF, a d'abord été développé pour la synthèse de nouvelles vues en vision par ordinateur, avant d'être rapidement adopté dans la robotique pour ses avantages en temps de rendu et en différentiabilité. Plusieurs groupes explorent déjà des extensions dynamiques de 3DGS pour la navigation et la saisie d'objets déformables. GAF se positionne directement face aux pipelines V-3D-A existants comme NeRF-based manipulation ou GaussianGrasping, ainsi qu'aux architectures VLA (Vision-Language-Action) qui contournent la reconstruction explicite. L'article reste à ce stade un preprint académique sans déploiement annoncé ni partenaire industriel mentionné ; les expériences sont conduites en environnement de laboratoire. Les prochaines étapes naturelles concerneraient la généralisation à des scènes multi-objets dynamiques et des tests sur des plateformes physiques commerciales comme les bras Franka ou UR.

RechercheOpinion

1 source

4arXiv cs.RO

Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides

Une équipe de chercheurs publie MRO-GWM (Multi Rigid Object Gaussian World Model), un modèle de monde action-conditionnel capable de prédire en 3D les effets des actions d'un robot sur des objets rigides. Déposé sur arXiv (réf. 2606.01950), le travail combine Gaussian splatting et apprentissage de dynamique : chaque objet de la scène est décrit par un ensemble de gaussiennes dans un référentiel canonique propre, son mouvement étant modélisé comme une transformation de corps rigide (rotation et translation). Un transformateur spatio-temporel prédit la trajectoire future des objets à partir de leur historique gaussien et des actions planifiées par le robot. L'architecture gère les occlusions partielles grâce à un entraînement sur reconstructions multi-vues. Les évaluations portent sur des datasets synthétiques d'objets ménagers en interaction avec un effecteur robot, et sur des tâches de manipulation non préhensile (pousser un objet sans le saisir) dans le cadre d'un contrôle prédictif par modèle (MPC), le tout exclusivement en simulation. L'association de modèles de monde action-conditionnels et de Gaussian splatting est pertinente : les premiers permettent de planifier sans essai-erreur coûteux, le second offre une représentation 3D différentiable adaptée à des géométries complexes sans maillage explicite. La décomposition objet-centrique améliore en théorie la généralisation à de nouvelles configurations de scène, contrairement aux encodages holistes. La validation sur manipulation non préhensile est notable car pousser un objet vers une cible est considéré comme un benchmark difficile : les contacts sont instables et mal modélisés par la plupart des simulateurs physiques. Ces résultats restent toutefois entièrement simulés et limités aux objets strictement rigides, sans aucun transfert sim-to-real documenté. Le Gaussian splatting connaît une adoption rapide en robotique depuis la publication de 3DGS (Kerbl et al., 2023), avec des travaux concurrents comme SplatSim, GaussianWorld ou des approches combinant NeRF et planification. MRO-GWM se distingue par son traitement explicite de la dynamique multi-objets avec interactions physiques, un axe moins couvert que la navigation ou la préhension isolée. Le gap sim-to-real demeure le verrou principal : une validation sur bras réel (type Franka ou UR5) constituerait l'étape naturelle, tout comme une extension aux objets articulés ou semi-rigides, aujourd'hui hors périmètre du modèle.

RecherchePaper

1 source