RecherchearXiv cs.RO 9 novembre 2026

FATHOM : sélection de trajectoires d'actions par diffusion guidée par un modèle du monde, pour le suivi d'AUV à marqueurs épars

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

FATHOM est un cadre de contrôle publié sur arXiv (2611.08898) pour le suivi relatif entre véhicules sous-marins autonomes (AUV) coopératifs, à partir de marqueurs lumineux actifs. Ces marqueurs résistent mieux aux variations d'apparence dans l'eau, mais ils fournissent volontairement des observations parcimonieuses, qui deviennent incomplètes ou corrompues en cas d'occlusion, de réflexions ou de bruit de détection pendant les mouvements dynamiques. FATHOM combine trois briques. Un modèle de monde de type RSSM (récurrent state-space model) multimodal, supervisé par la tâche, fusionne les marqueurs structurés, les mesures inertielles, l'historique des actions et la dynamique temporelle en une « croyance » prédictive du suivi. Un a priori d'action par diffusion génère ensuite plusieurs trajectoires multi-propulseurs de type « expert ». Enfin, la dynamique latente apprise prédit les conséquences de chacune, et le système retient la meilleure selon un objectif à horizon glissant. La décision est mise à jour en continu à partir des capteurs embarqués. Les auteurs ne donnent dans le résumé ni chiffres de performance, ni taille de flotte, ni profondeur d'essai.

Pour les roboticiens, l'intérêt tient à la manière dont la diffusion est utilisée. La trajectoire générée n'est pas exécutée telle quelle: elle sert de réservoir de candidats, évalués par le modèle de monde avant sélection. Ce schéma de génération puis de sélection atténue le principal défaut des politiques de diffusion en boucle ouverte, qui produisent des actions plausibles mais pas forcément adaptées à l'état réel. Il répond aussi à l'observabilité partielle, constante en milieu sous-marin où le GPS est indisponible et la vision dégradée. Les auteurs affirment que les essais sur un vrai AUV, avec comparaisons à des méthodes fondées sur la pose et ablations de composants, montrent un suivi robuste sur des mouvements nominaux et difficiles, avec visibilité partielle des marqueurs « naturelle » et exécution temps réel embarquée, sans retour de capture de mouvement. C'est un point à nuancer: le résumé ne précise ni les métriques ni l'ampleur des essais, et ce sont des résultats d'une preprint non évaluée par les pairs. La mention de comparaisons « fortes » vient des auteurs eux-mêmes.

Ce travail s'inscrit dans la convergence entre apprentissage par modèle de monde, popularisé par la famille Dreamer et ses RSSM, et politiques génératives par diffusion, désormais courantes en manipulation robotique. Son transfert à la robotique sous-marine, où les données sont rares et coûteuses, reste moins documenté. Il s'oppose aux chaînes classiques d'estimation de pose suivies d'un contrôleur, qui échouent dès que les marqueurs disparaissent. Les suites logiques seraient des essais multi-véhicules, des environnements plus turbides et une validation en conditions opérationnelles, par exemple pour l'inspection d'infrastructures ou les essaims d'AUV. Aucun partenaire industriel, calendrier ni déploiement n'est annoncé: il s'agit à ce stade d'un résultat de recherche.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

World models Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

De la prédiction à la décision : sélection d'action guidée par modèle du monde pour l'excavation continue de tas

Une équipe de recherche présente dans un article publie en preprint sur arXiv (2609.15382) le World-Action Model (WAM), un système de décision pour l'excavation autonome par chargeuse sur pneus. Comme chaque scoop modifie le relief disponible pour l'action suivante, WAM génère plusieurs trajectoires de godet candidates, éliminé celles géométriquement impossibles, prédit conjointement pour chacune le changement de terrain et le volume charge, puis exécuté celle au chargement prédit le plus élevé avant de replanifier depuis le nouveau relief observe. Sur 32 épisodes de test MinSlope a géométries distinctes, ce classement par modèle du monde applique a des propositions générées par diffusion fait chuter le nombre moyen de passes de godet de 651,8 a 540,6 (-17,1%), préservé un taux de réussite de 32/32 et améliore chaque épisode teste individuellement. En comparaison système complet, WAM termine ses 32 épisodes contre 29 sur 32 pour une politique "soft actor-critic" entraînée séparément. L'équipe a aussi valide l'interface sur des données de chargeuse grandeur réelle et déployé la boucle complète perception-proposition-prédiction-sélection-exécution en conditions physiques, via une implémentation ROS2/TensorRT traitant cinq candidats en 72,4 millisecondes sur un module Jetson AGX Orin. Le résultat vise un problème central du terrassement autonome: chaque action transforme l'environnement de la décision suivante, ce qui rend l'anticipation des conséquences plus déterminante que la seule qualité du mouvement exécuté. En montrant qu'une couche de décision fondée sur un modèle du monde améliore a la fois l'efficacité, moins de passes pour un même résultat, et la fiabilité, taux de complétion supérieur a une politique de renforcement entraînée de bout en bout, l'étude indique que le gain vient du choix explicite entre plusieurs actions possibles plutôt que de la seule politique de mouvement. Pour les intégrateurs et fabricants d'équipements de chantier et de mines, une baisse de 17% du nombre de passes se traduit directement en gains de temps de cycle a l'échelle d'une flotte, même si ces chiffres restent issus de la simulation, l'expérience physique ne démontrant pour l'instant que la faisabilité de la boucle fermée en conditions réelles. Le travail s'inscrit dans l'automatisation des engins de terrassement, ou les approches existantes reposent soit sur des politiques de mouvement générées par diffusion sans raisonnement explicite sur les conséquences terrain, soit sur de l'apprentissage par renforcement comme le soft actor-critic utilise ici en comparaison. Les auteurs testent également plusieurs représentations d'entrée, étendues spatiales et cinq architectures de réseau afin d'identifier un prédicteur "structure par la physique" a la fois précis et rapide, une contribution méthodologique distincte du résultat applicatif. A ce stade, il s'agit d'un article de recherche en preprint, valide sur chargeuse grandeur réelle en boucle expérimentale mais sans déploiement en flotte ni acteur industriel nomme, ce qui le situe cote recherche amont dans un domaine ou l'automatisation des chargeuses et pelles intéressé autant les laboratoires que les fabricants d'équipements de chantier et de mines.

RecherchePaper

1 source

2arXiv cs.RO

LeWAM : un modèle d'action du monde JEPA avec MPC guidé par pilotage de diffusion

LeWAM, présenté sur arXiv (2610.12407v1), est un « world action model » (WAM) : un transformeur bidirectionnel qui gère quatre modes dans un même réseau, à savoir la dynamique directe, la dynamique inverse, la dynamique arrière et la prédiction de politique. Le modèle s'appuie sur un espace latent de type JEPA sans décodeur, entraîné de bout en bout à travers ces quatre modes. Les auteurs revendiquent trois résultats. D'abord, des sondes linéaires lisent l'état du robot et des objets dans le latent de LeWAM mieux que dans celui de LeWM (Le World Model, un JEPA à dynamique directe seule), tandis que le latent ignore les distracteurs visuels aussi bien que LeWM et bien mieux qu'un WAM fondé sur la reconstruction. Ensuite, en boucle fermée, LeWAM égale une politique classique à flow matching entraînée sur le même encodeur à taille équivalente, tout en fournissant en plus un modèle du monde. Enfin, pour la planification, échantillonner des actions brutes dans un MPC laisse le planificateur exploiter les erreurs du modèle de dynamique. Planifier dans l'espace de bruit de la tête de politique, une approche de « diffusion steering », améliore les performances en boucle fermée. Pour les équipes qui conçoivent des politiques robotiques, le résultat le plus utile est sans doute le troisième. Le MPC avec modèle appris a un défaut connu : l'optimiseur cherche les actions qui font mentir le modèle, et non celles qui réussissent la tâche. Contraindre la recherche au voisinage de ce que la politique sait produire limite ce biais, sans exiger un modèle du monde parfait. Le deuxième résultat compte aussi : unifier politique et modèle du monde ne dégrade pas le contrôle, ce qui évite de maintenir deux réseaux. L'argument de fond est que des représentations prédictives, sans reconstruction de pixels, se montrent plus robustes aux distracteurs visuels, un point critique en environnement d'atelier ou d'entrepôt, où l'éclairage et l'arrière-plan varient. Il faut toutefois rester prudent. Le résumé ne donne ni chiffres de succès, ni noms de benchmarks, ni nombre de tâches, ni indication de test sur robot réel. On ignore donc l'ampleur des gains et leur transfert hors simulation. Ce travail prolonge deux courants : les architectures JEPA, portées par l'école de Yann LeCun autour de l'apprentissage de représentations prédictives, et les world action models qui prédisent conjointement actions et observations futures, généralement à partir de latents reconstructifs, souvent issus de modèles de vidéo ou de diffusion. LeWAM se positionne en alternative plus légère et plus alignée avec l'état physique. Il se compare à LeWM, sa base directe, et aux WAMs à reconstruction, plutôt qu'à des VLA de grande échelle comme Pi-0 ou GR00T. Il s'agit d'un preprint v1, sans relecture par les pairs. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, les tests sur matériel réel et le passage à l'échelle avec des données multi-tâches.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Évaluation comparative de modèles génératifs de trajectoires pour le contrôle par inférence active

Des chercheurs publient sur arXiv (2610.05692, deuxième version) GenAIF, un cadre de commande par inférence active générative. Un seul modèle génératif de trajectoires, entraîné sur des démonstrations et des interventions d'action mesurées, fournit deux éléments. Le premier est une politique conditionnée par un objectif. Le second est une correspondance probabiliste entre états et observations. Les auteurs en tirent trois exigences pour le modèle: des propositions d'actions utiles, une prédiction fidèle sous actions imposées, et une évidence d'observation probabiliste pour la mise à jour des croyances et le calcul du gain d'information attendu. Ils comparent quatre familles (diffusion, Transformers autorégressifs, autoencodeurs variationnels conditionnels ou CVAE, et flow matching) sur une tâche de manipulation MuJoCo avec plusieurs conditions physiques. La diffusion donne le meilleur contrôle sur toutes les dynamiques testées. Le CVAE offre une prédiction à court horizon comparable pour une inférence nettement plus rapide. Après un changement d'inclinaison non annoncé, la diffusion préentraînée met à jour sa croyance le plus vite parmi les modèles d'origine. Un fine-tuning sur des démonstrations de récupération accélère encore l'identification et maintient un suivi précis. Pour les équipes qui construisent des politiques apprises, le résultat chiffre un arbitrage concret entre qualité de contrôle et coût d'inférence. La diffusion est la plus performante mais la plus lourde, le CVAE est un compromis crédible quand la latence compte, et la réutilisation de trajectoires réduit le calcul. L'intérêt tient aussi à la capacité d'adaptation. Un modèle capable de dire quand ses observations contredisent ses prédictions peut détecter un changement physique, comme une charge ou une pente modifiée, sans modèle dynamique explicite. Les limites sont nettes: tout reste en simulation, sur une seule tâche, et le résumé ne donne aucun chiffre de taux de réussite ni de temps de calcul. L'écart simulation-réel n'est donc pas abordé, et il s'agit d'un travail académique, pas d'un produit. Le travail se situe au croisement de deux courants. Les politiques génératives dominent la manipulation apprise: Diffusion Policy, ACT (basé sur un CVAE) et Pi-0 (flow matching) en sont les références. L'inférence active, issue des neurosciences computationnelles, peine à s'imposer en robotique appliquée faute de modèles de dynamique exploitables. GenAIF propose de combler ce manque avec des modèles appris sur démonstrations. La suite logique passe par une validation sur robots physiques, davantage de tâches et des comparaisons directes avec les politiques de type VLA déjà déployées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source