Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
C3-JEPA sous-marin : un modèle du monde à vues croisées centré objet pour le sauvetage par ROV
RecherchearXiv cs.RO 

C3-JEPA sous-marin : un modèle du monde à vues croisées centré objet pour le sauvetage par ROV

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente, dans une prépublication arXiv de septembre 2026, Underwater C³-JEPA, un modèle du monde prédictif et multi-caméras pour le renflouage sous-marin par ROV à courte distance et charge lourde. Sans capteur de contact, il prédit en espace latent l'évolution de l'objet cible pendant l'interaction physique et sous le retard hydrodynamique du véhicule, à partir de vues RGB synchronisées et des commandes du ROV. L'architecture encode chaque caméra en jetons "objet" et "contexte", fusionne les vues par attention sur une caméra masquée et prédit les états futurs conditionnés par la commande ; une "liaison faible" ancre cible et préhenseur à faible coût d'annotation, et une régularisation géométrique nommée SIGReg affine la représentation. Testé sur des vidéos réelles, le modèle reconstitue l'état d'un objet à partir d'une caméra exclue de l'entraînement.

Le résultat s'attaque à un point dur de la robotique sous-marine : l'absence de retour de contact exploitable sous l'eau et la traînée hydrodynamique qui brouille toute prédiction de mouvement. Les auteurs montrent que leur représentation transfère plus d'information utile aux tâches en aval qu'une architecture latente sans reconstruction, tout en gardant le prédicteur léger, un argument pour les architectures JEPA hors des benchmarks académiques ; l'interface sert à évaluer des commandes candidates en contrôle prédictif (MPC) et à entraîner des agents par simulation imaginée, une brique utile pour l'autonomie partielle des ROV en offshore ou en renflouage d'épaves. Fonctionner sur vidéo réelle, pas seulement en simulation, répond à la critique récurrente du secteur sur l'écart entre simulation et réalité.

Le travail prolonge la famille des architectures JEPA, popularisée par Yann LeCun chez Meta avec I-JEPA et V-JEPA, ici étendue à un cadre multi-caméras conditionné par la commande d'un véhicule, une combinaison inédite pour l'exploitation sous-marine. Il s'agit pour l'instant d'une publication de recherche : l'article ne mentionne ni déploiement, ni partenaire industriel, ni calendrier de mise en service. Le renflouage et la manipulation sous-marine à fort enjeu, épaves, maintenance offshore, interventions de défense, restent un segment où les grands noms de la robotique humanoïde sont absents, laissant le terrain à des laboratoires spécialisés et à l'industrie parapétrolière ; aucun acteur français ou européen n'est cité dans cette étude.

Dans nos dossiers

arXiv cs.RO

À lire aussi

AquaWAM : un modèle du monde et d'action sensible à la dynamique pour agents incarnés sous-marins
1arXiv cs.RO 

AquaWAM : un modèle du monde et d'action sensible à la dynamique pour agents incarnés sous-marins

Des chercheurs publient sur arXiv (v2, référence 2609.33299) AquaWAM, présenté comme le premier World Action Model (WAM) conçu pour des agents sous-marins. Un WAM permet à un robot d'anticiper les conséquences d'une action candidate avant de l'exécuter. Les WAM existants prédisent surtout des observations visuelles conditionnées par l'action. AquaWAM prédit à la place des états de navigation compacts. Il modélise la dynamique commandée et la dynamique passive: zone morte des propulseurs, glissement inertiel qui dépasse chaque commande, courants ambiants. Il perçoit via un DVL (capteur de vitesse Doppler), une centrale inertielle (IMU), un capteur de pression et des encodeurs d'articulations. Les caméras ne servent qu'à fournir la sémantique, c'est-à-dire les objectifs et la pose de la cible. Sur le benchmark USIM (20 tâches sous-marines), le modèle atteint 72,6 % de succès. Il décide 2,7 fois plus vite que U0 sur un NVIDIA Jetson AGX Orin. Sans les mesures de vitesse du DVL, il conserve 61,6 % de succès, contre 39,4 % pour U0. Ces résultats visent une hypothèse répandue dans les modèles du monde, selon laquelle prédire des pixels serait la voie générique vers le contrôle. Sous l'eau, l'inertie, la flottabilité, la traînée et la dérive continuent d'agir après la commande. Modéliser directement ces effets, plutôt que la scène, réduit la taille du modèle et le coût de calcul. La vitesse d'inférence sur Jetson AGX Orin, un module embarqué courant, compte pour les intégrateurs d'ROV et d'AUV, dont le calcul et l'énergie sont limités. La robustesse à la perte de capteurs répond à un problème opérationnel: un DVL perd son verrouillage sur le fond, et les eaux turbides dégradent la vision. L'écart entre 61,6 % et 39,4 % suggère une meilleure tolérance à la dégradation, à confirmer hors simulation. Il faut toutefois lire ces chiffres avec prudence. Les résultats proviennent d'un benchmark en simulation, USIM. L'abstract ne mentionne ni essai en bassin ni essai en mer. Il ne dit pas non plus si le comparatif avec U0 est réalisé à budget équivalent. Le résumé ne précise pas non plus l'écart de réalité entre simulation et milieu réel pour des courants variables. Le travail s'inscrit dans l'extension des WAM et des modèles vision-langage-action (VLA) au-delà des manipulateurs terrestres et des humanoïdes, vers des véhicules à dynamique passive marquée. U0 sert ici de référence pour l'embarqué sous-marin. Aucun acteur français ou européen n'est cité dans l'abstract. Les suites probables sont des validations en conditions réelles, l'ouverture éventuelle du code et des tests sur des véhicules physiques. Ce travail reste pour l'instant une publication de recherche, sans produit ni déploiement annoncé.

RecherchePaper
1 source
Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides
2arXiv cs.RO 

Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides

Une équipe de chercheurs publie MRO-GWM (Multi Rigid Object Gaussian World Model), un modèle de monde action-conditionnel capable de prédire en 3D les effets des actions d'un robot sur des objets rigides. Déposé sur arXiv (réf. 2606.01950), le travail combine Gaussian splatting et apprentissage de dynamique : chaque objet de la scène est décrit par un ensemble de gaussiennes dans un référentiel canonique propre, son mouvement étant modélisé comme une transformation de corps rigide (rotation et translation). Un transformateur spatio-temporel prédit la trajectoire future des objets à partir de leur historique gaussien et des actions planifiées par le robot. L'architecture gère les occlusions partielles grâce à un entraînement sur reconstructions multi-vues. Les évaluations portent sur des datasets synthétiques d'objets ménagers en interaction avec un effecteur robot, et sur des tâches de manipulation non préhensile (pousser un objet sans le saisir) dans le cadre d'un contrôle prédictif par modèle (MPC), le tout exclusivement en simulation. L'association de modèles de monde action-conditionnels et de Gaussian splatting est pertinente : les premiers permettent de planifier sans essai-erreur coûteux, le second offre une représentation 3D différentiable adaptée à des géométries complexes sans maillage explicite. La décomposition objet-centrique améliore en théorie la généralisation à de nouvelles configurations de scène, contrairement aux encodages holistes. La validation sur manipulation non préhensile est notable car pousser un objet vers une cible est considéré comme un benchmark difficile : les contacts sont instables et mal modélisés par la plupart des simulateurs physiques. Ces résultats restent toutefois entièrement simulés et limités aux objets strictement rigides, sans aucun transfert sim-to-real documenté. Le Gaussian splatting connaît une adoption rapide en robotique depuis la publication de 3DGS (Kerbl et al., 2023), avec des travaux concurrents comme SplatSim, GaussianWorld ou des approches combinant NeRF et planification. MRO-GWM se distingue par son traitement explicite de la dynamique multi-objets avec interactions physiques, un axe moins couvert que la navigation ou la préhension isolée. Le gap sim-to-real demeure le verrou principal : une validation sur bras réel (type Franka ou UR5) constituerait l'étape naturelle, tout comme une extension aux objets articulés ou semi-rigides, aujourd'hui hors périmètre du modèle.

RecherchePaper
1 source
WorldContact : un modèle du monde centré sur le contact pour l'apprentissage robotique à grande échelle
3arXiv cs.RO 

WorldContact : un modèle du monde centré sur le contact pour l'apprentissage robotique à grande échelle

Un article publié sur arXiv sous la référence 2609.19600v1 présente WorldContact, un modèle du monde ("world model") centré sur le contact, conçu pour la manipulation d'objets déformables comme les sacs de courses en plastique. Le système est construit à partir d'un nombre limité de trajectoires de haute qualité et prédit la dynamique des objets avec des pas de temps plus larges que le simulateur numérique classique dont il s'inspire, ce dernier nécessitant de très petits pas d'intégration pour capter les mouvements rapides et éviter l'interpénétration des surfaces. Les auteurs ont testé WorldContact sur 16 tâches de manipulation de sacs de courses. Sur un seul GPU Nvidia H100, les mesures de state-rollout montrent une accélération d'un facteur 10 par rapport au simulateur source, un chiffre qui exclut toutefois le rendu graphique et les entrées-sorties disque, ce qui limite sa comparabilité directe avec un temps d'exécution complet. Les données générées ont servi à affiner une politique vision-langage-action (VLA) existante, ensuite déployée sur un robot réel. Sur la tâche de levage de sac, le taux de réussite au premier essai passe de 65%, lorsque la politique est entraînée uniquement sur les données du simulateur d'origine, à 95% une fois le jeu de données enrichi par WorldContact. Ce résultat s'attaque à un goulot d'étranglement bien identifié dans la robotique de manipulation: l'expérience physique réelle nécessaire pour adapter un robot à un nouvel objet ou une nouvelle tâche reste coûteuse à collecter, et les objets déformables comme les tissus ou les emballages souples aggravent le problème car leur simulation fine est lente. Un modèle du monde dix fois plus rapide que la simulation physique classique, capable de produire des données d'entraînement synthétiques exploitables pour affiner une politique VLA, offre une piste concrète pour réduire ce coût. Le saut de 65% à 95% de succès sur un robot réel constitue une preuve empirique, quoique limitée à un seul type de tâche, que l'augmentation de données via world model peut combler une partie de l'écart entre simulation et réalité pour la manipulation déformable, un domaine où les politiques génériques peinent généralement à généraliser. L'étude s'inscrit dans la tendance croissante des modèles du monde appris comme alternative ou complément aux simulateurs physiques classiques en robotique, ces derniers étant pénalisés par leurs contraintes d'intégration numérique sur les phénomènes de contact rapide. L'abstract ne précise ni l'affiliation des auteurs ni de calendrier de déploiement au-delà de la validation expérimentale sur robot réel; les résultats, obtenus sur 16 tâches centrées sur un seul type d'objet, relèvent d'une preuve de concept plutôt que d'un système prêt à l'industrialisation, la généralisation à d'autres catégories d'objets déformables restant à démontrer.

RecherchePaper
1 source
SWIM : apprendre à partir des comportements ce qui compte pour les modèles du monde JEPA
4arXiv cs.RO 

SWIM : apprendre à partir des comportements ce qui compte pour les modèles du monde JEPA

Des chercheurs publient sur arXiv (2610.36662) SWIM, pour State Weighting with Inverse-Dynamics Model, une méthode d'entraînement des world models de type JEPA (joint-embedding prédictive architectures). Ces modèles planifient à partir d'images en prédisant des embeddings futurs plutôt que des pixels. Leur objectif de prédiction visuelle n'oblige pas l'espace latent à capturer l'état physique qui détermine l'avancement de la tâche. On peut superviser le modèle avec l'état du simulateur, mais il faut alors choisir les variables qui comptent. Ces variables sont aujourd'hui sélectionnées à la main ou pondérées uniformément, si bien que des coordonnées redondantes surpèsent la même variation et que des variables sans intérêt masquent les différences utiles. SWIM apprend les poids à partir de trajectoires hors ligne. Un modèle de dynamique inverse prédit les actions enregistrées à partir de l'état courant et des déplacements futurs observés. La contribution de chaque variable à cette prédiction fixe son poids. Ces poids définissent une métrique d'état pondérée, utilisée pour aligner les distances dans l'espace latent sur les distances entre états. Le modèle inverse ne sert qu'à l'entraînement, donc la planification à partir d'images ne coûte aucun calcul supplémentaire. Sur cinq tâches de manipulation robotique simulées, SWIM améliore systématiquement le taux de succès de planification par rapport à la pondération uniforme. Il s'agit d'un résultat de recherche validé uniquement en simulation. Le résumé ne chiffre ni l'ampleur du gain, ni les tâches, ni les baselines, ce qui incite à la prudence avant d'en tirer des conclusions. L'intérêt tient à un point faible reconnu des world models latents : rien ne garantit qu'ils encodent ce qui compte pour la tâche. Corriger cela sans surcoût à l'inférence compte pour le contrôle embarqué, où le budget de calcul est serré. La méthode suppose cependant d'avoir accès à l'état du simulateur pendant l'entraînement. En conditions réelles, cet état est rarement disponible, et le passage du simulateur au robot physique n'est pas traité ici. Pour un intégrateur, il n'y a donc aucun impact à court terme. Les JEPA, défendues par Yann LeCun et l'écosystème Meta, s'inscrivent dans une série de travaux sur la planification dans l'espace latent, comme DINO-WM. Ils font face aux modèles vision-langage-action (VLA) commerciaux, tels que Pi-0, GR00T N2 ou Helix, qui prédisent directement les actions sans planification explicite. Les prochaines étapes logiques sont des benchmarks plus larges, des comparaisons avec d'autres schémas de pondération et surtout une validation sur robots réels, sans quoi la portée industrielle reste incertaine.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source