Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés
RecherchearXiv cs.RO 

J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un préprint publié sur arXiv (identifiant 2606.28712) introduit J-LAW (Joint Localization and Actionable World Modeling), une architecture qui fusionne le SLAM classique et les modèles de monde conditionnés par l'action dans un unique graphe de facteurs probabilistes. L'objectif MAP (Maximum A Posteriori) commun optimise simultanément les poses métriques des objets, les états latents du monde et les embeddings latents de landmarks. Le pont entre ces deux formulations est un encodeur latent conditionné par la pose et un facteur de couplage pose-latent appris. Les expériences portent sur deux benchmarks : PushT, une tâche de manipulation planaire, et WildGS, un environnement de reconstruction 3D gaussienne. Les résultats montrent que la correction par graphe couplé réduit l'erreur quadratique moyenne de prédiction latente et la dérive de point final par rapport au rollout en boucle ouverte, tandis que la fermeture de boucle latente améliore la cohérence globale de trajectoire.

L'enjeu est structurant pour la robotique de manipulation : les systèmes actuels souffrent d'une dichotomie entre localisation précise et planification prédictive. Le SLAM produit des cartes métriques que les planificateurs ne savent pas exploiter directement ; les modèles de monde appris prédisent l'effet des actions mais perdent la cohérence spatiale sur des horizons longs, limitant leur utilité en déploiement réel. J-LAW démontre qu'en couplant ces deux estimations, chaque composante améliore l'autre : une meilleure localisation stabilise la prédiction latente, et réciproquement. C'est une réponse partielle à la dérive en open-loop, problème concret dans les pipelines de manipulation autonome. Pour les équipes travaillant sur des systèmes VLA ou de navigation, ce cadre suggère une représentation unifiée, métrique et actionnable, sans orchestrer deux pipelines distincts.

La séparation entre SLAM et modèles de monde appris est historiquement ancrée : le SLAM probabiliste date des années 2000, tandis que les modèles de monde deep (RSSM, DreamerV3) sont apparus dans la décennie suivante. Plusieurs travaux récents tentent ce rapprochement dans le champ des VLA, où la cohérence spatiale devient un enjeu croissant. J-LAW se positionne comme une contribution théorique structurée via la formalisation en graphe de facteurs, et non comme un système prêt au déploiement. Limite à noter : les expériences restent sur des benchmarks standardisés, sans validation sur robot physique réel en scène dynamique. Aucun partenariat industriel ni timeline de transfert n'est mentionné dans ce préprint.

Dans nos dossiers

World modelsarXiv cs.RO

À lire aussi

CogWAM : aligner la cognition sémantique et la modélisation du monde et de l'action via des interfaces événementielles
1arXiv cs.RO 

CogWAM : aligner la cognition sémantique et la modélisation du monde et de l'action via des interfaces événementielles

CogWAM, un modèle « monde-action » (world-action model) guidé par la cognition, est décrit dans un preprint arXiv (2609.37721v1). Son principe est de placer entre le raisonnement sur la tâche et l'apprentissage monde-action une interface sémantique explicite, appelée Semantic State. Cet état persistant mémorise les événements de la tâche déjà accomplis et la sous-tâche active. Il n'est mis à jour que lorsque les observations signalent une transition sémantique, si bien que le contexte de tâche survit à plusieurs séquences d'actions (action chunks). Deux familles de requêtes conditionnées par la progression, WORLD et ACTION, extraient l'information utile à la prédiction du futur et à la génération des commandes. À l'entraînement, le Semantic State fournit un contexte de progression commun aux deux branches. À l'inférence, la branche de prédiction est supprimée et les actions sont produites directement à partir des observations et de l'état maintenu. Sans pré-entraînement supplémentaire sur des actions de robot, le modèle atteint 15,56 de score et 11,70 % de taux de succès sur RoboDojo, et revendique l'état de l'art sur BiCoord. Les essais réels portent sur de la manipulation bimanuelle en boucle fermée, avec 16,4 régénérations du Semantic State en moins qu'une mise à jour à chaque pas de temps. Le texte ne précise ni la base de comparaison de ce chiffre, ni le nombre d'essais, ni les tâches réelles. L'intérêt tient à un problème connu des politiques robotiques récentes : additionner raisonnement sémantique et prédiction du monde futur ne garantit pas que les prédictions locales et les actions restent cohérentes avec l'avancement de la tâche. En rendant la progression explicite et en ne la recalculant que sur événements, CogWAM vise aussi le coût de calcul, puisque retirer la branche de prédiction à l'inférence allège le déploiement. Pour un intégrateur, la persistance du contexte sur des tâches longues à deux bras est le vrai sujet, plus que le score. Il faut cependant relativiser. Un taux de succès de 11,70 % sur RoboDojo reste très bas en valeur absolue, et ce type de benchmark simulé ne dit rien de la fiabilité en production. Aucun temps de cycle, aucune plateforme matérielle ni aucun taux de succès réel ne sont fournis. On reste au stade de la recherche académique, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la convergence entre modèles vision-langage-action (VLA), tels que Pi-0, GR00T ou Helix, et modèles du monde qui prédisent les observations futures. Le premier ensemble apporte la généralisation sémantique. Le second apporte une représentation de la dynamique physique. La difficulté est de les faire coopérer sur des horizons longs. CogWAM propose une réponse par une mémoire d'événements structurée, là où d'autres approches s'appuient sur des planificateurs hiérarchiques ou sur des contextes visuels longs. Le preprint ne mentionne aucun pilote, aucune diffusion de code ni aucun calendrier. Les prochaines étapes à surveiller sont une évaluation sur davantage de tâches réelles, des comparaisons directes avec les VLA de référence et une éventuelle publication des poids.

RecherchePaper
1 source
JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint
2arXiv cs.RO 

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

RechercheActu
1 source
Localisation par graphe de facteurs assistée par contact pour l'échantillonnage sous-marin
3arXiv cs.RO 

Localisation par graphe de facteurs assistée par contact pour l'échantillonnage sous-marin

Des chercheurs publient sur arXiv (référence 2608.26932v1) un système baptisé « Contact-Aided Factor-Graph Localization », conçu pour les véhicules sous-marins autonomes effectuant des prélèvements rapprochés sur le fond marin. Le système fusionne, dans un graphe de facteurs de type smoothing, les événements de contact d'un manipulateur à succion avec l'odométrie visuelle adaptative, des détections d'objets par apprentissage, et les capteurs embarqués, dont un loch Doppler (DVL) couplé à une centrale inertielle. Les facteurs d'odométrie visuelle et de repérage d'amers (bearing-range) sont pondérés selon les statistiques d'inliers, afin d'éviter que des images visuellement pauvres ne déstabilisent l'estimateur, tandis que les contacts physiques sont traités comme des facteurs à haute confiance générant des fermetures de boucle implicites, sans reconnaissance de lieu basée sur l'apparence. Le système peut s'initialiser entièrement en ligne, pendant le mouvement. Les auteurs ont validé l'approche en bassin, en environnement portuaire et en simulation. Pour les intégrateurs et opérateurs de robotique sous-marine, l'apport tient au traitement du contact physique comme primitive de localisation à part entière, et non comme simple sous-produit de la manipulation. Sur les fonds marins plats et peu texturés, les caméras orientées vers le bas souffrent d'ambiguïté d'échelle, de dégénérescence latérale et d'un suivi de features instable, tandis que la fusion inertielle-DVL seule ne corrige aucune dérive structurelle. En exploitant les événements de succion du bras manipulateur comme contraintes géométriques informatives, le système réduit la dérive de trajectoire et améliore la précision de revisite d'objets, comparé à une navigation par filtrage classique ou à des formulations en graphe sans contact. Le résultat conforte l'idée que l'interaction physique incarnée peut compenser la dégradation perceptuelle propre aux environnements sous-marins, un problème structurel pour l'échantillonnage automatisé en eaux profondes ou en zones de biofouling. L'estimation d'état sous-marine reste historiquement dépendante du couple DVL/centrale inertielle, complété ponctuellement par odométrie visuelle ou acoustique, deux approches connues pour dériver en l'absence de repères stables. Le papier s'inscrit dans une lignée de recherches sur la localisation SLAM sous-marine appliquée au prélèvement, à l'inspection d'infrastructures immergées ou à la biologie marine, un segment où les essais en conditions réelles au-delà du bassin ou du port restent rares. Les auteurs ne précisent ni calendrier de déploiement industriel ni partenaire commercial; les résultats publiés se limitent à des tests contrôlés, sans validation en mer ouverte ou en grande profondeur, ce qui laisse ouverte la question du passage à l'échelle vers des missions d'échantillonnage autonome en environnement opérationnel.

RecherchePaper
1 source
Modèle du monde humanoïde avec génération conjointe des états et des actions
4arXiv cs.RO 

Modèle du monde humanoïde avec génération conjointe des états et des actions

Des chercheurs proposent HWAM (Humanoid World Action Model), une politique pour robots humanoïdes qui génère conjointement les actions de référence et l'état corporel réellement atteint après exécution, c'est-à-dire l'état proprioceptif post-exécution. L'entraînement repose sur trois chemins conditionnels complémentaires. Le chemin « Policy » débruite conjointement des trajectoires état-action à partir des seules observations courantes, ce qui correspond aux conditions de déploiement. Le chemin de modélisation dynamique directe (FDM) prédit les observations visuelles futures à partir des actions et des états post-exécution. Le chemin de modélisation dynamique inverse (IDM) reconstruit la trajectoire conjointe à partir des transitions visuelles. L'évaluation porte sur trois tâches réelles avec l'humanoïde LimX OLI. HWAM obtient le meilleur taux de réussite parmi les références comparées. Sur la tâche « Candy Picking », il atteint 70,6 %, contre 43,3 % pour Fast-WAM. Les résultats des deux autres tâches ne sont pas détaillés dans le résumé disponible. Le travail s'attaque à un problème peu visible dans les démonstrations : l'écart entre action et exécution. Dans les systèmes humanoïdes hiérarchiques, la politique (VLA ou WAM) sort des actions de référence que le contrôle du corps entier met ensuite en œuvre, avec la dynamique du robot, l'équilibre et les contacts. Le mouvement réellement réalisé peut donc différer de la consigne. Sans modéliser cet état réalisé, la prédiction visuelle du futur doit expliquer à la fois l'évolution de la scène et ces écarts, ce qui brouille le lien entre une action et son résultat physique. En faisant de l'état post-exécution une cible explicite, HWAM injecte directement dans l'apprentissage une supervision du mouvement exécuté. Pour les intégrateurs, l'enseignement est que le goulot d'étranglement des manipulateurs humanoïdes se situe aussi dans la couche de contrôle bas niveau, et pas seulement dans la perception ou le langage. Il faut toutefois rester prudent. Le gain de plus de 27 points sur Candy Picking provient d'une seule tâche, d'un seul robot et d'un nombre d'essais non précisé dans le résumé. Il s'agit d'un résultat de laboratoire publié en préprint sur arXiv, sans déploiement industriel ni produit associé. Ce travail s'inscrit dans l'évolution des politiques VLA, qui apprennent les actions directement depuis des observations multimodales, vers les World Action Models, qui ajoutent la prédiction visuelle du futur pour mieux générer les actions. Fast-WAM, la référence directe citée, représente cette seconde famille. La comparaison avec d'autres approches de la catégorie, comme Pi-0 ou GR00T, n'est pas mentionnée dans le résumé. Le choix du LimX OLI, humanoïde de la société LimX, indique aussi que la recherche sur la manipulation humanoïde s'appuie de plus en plus sur des plateformes de fabricants chinois. Les prochaines étapes naturelles seraient une validation sur davantage de tâches et de morphologies, ainsi qu'une comparaison avec les modèles de fondation généralistes. Aucun calendrier de pilote ni de publication de code n'est annoncé dans le texte disponible.

RecherchePaper
1 source