Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés
RecherchearXiv cs.RO 

J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un préprint publié sur arXiv (identifiant 2606.28712) introduit J-LAW (Joint Localization and Actionable World Modeling), une architecture qui fusionne le SLAM classique et les modèles de monde conditionnés par l'action dans un unique graphe de facteurs probabilistes. L'objectif MAP (Maximum A Posteriori) commun optimise simultanément les poses métriques des objets, les états latents du monde et les embeddings latents de landmarks. Le pont entre ces deux formulations est un encodeur latent conditionné par la pose et un facteur de couplage pose-latent appris. Les expériences portent sur deux benchmarks : PushT, une tâche de manipulation planaire, et WildGS, un environnement de reconstruction 3D gaussienne. Les résultats montrent que la correction par graphe couplé réduit l'erreur quadratique moyenne de prédiction latente et la dérive de point final par rapport au rollout en boucle ouverte, tandis que la fermeture de boucle latente améliore la cohérence globale de trajectoire.

L'enjeu est structurant pour la robotique de manipulation : les systèmes actuels souffrent d'une dichotomie entre localisation précise et planification prédictive. Le SLAM produit des cartes métriques que les planificateurs ne savent pas exploiter directement ; les modèles de monde appris prédisent l'effet des actions mais perdent la cohérence spatiale sur des horizons longs, limitant leur utilité en déploiement réel. J-LAW démontre qu'en couplant ces deux estimations, chaque composante améliore l'autre : une meilleure localisation stabilise la prédiction latente, et réciproquement. C'est une réponse partielle à la dérive en open-loop, problème concret dans les pipelines de manipulation autonome. Pour les équipes travaillant sur des systèmes VLA ou de navigation, ce cadre suggère une représentation unifiée, métrique et actionnable, sans orchestrer deux pipelines distincts.

La séparation entre SLAM et modèles de monde appris est historiquement ancrée : le SLAM probabiliste date des années 2000, tandis que les modèles de monde deep (RSSM, DreamerV3) sont apparus dans la décennie suivante. Plusieurs travaux récents tentent ce rapprochement dans le champ des VLA, où la cohérence spatiale devient un enjeu croissant. J-LAW se positionne comme une contribution théorique structurée via la formalisation en graphe de facteurs, et non comme un système prêt au déploiement. Limite à noter : les expériences restent sur des benchmarks standardisés, sans validation sur robot physique réel en scène dynamique. Aucun partenariat industriel ni timeline de transfert n'est mentionné dans ce préprint.

Dans nos dossiers

World modelsarXiv cs.RO

À lire aussi

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint
1arXiv cs.RO 

JEPA-WAM : des politiques vision-langage-action apprises par modélisation du monde à embarquement conjoint

JEPA-WAM, un nouveau modèle de monde latent (world action model, WAM) pour le contrôle robotique, est présenté dans un article publié le 11 août 2026 sur arXiv (2608.09381v1). Le système s'appuie sur l'espace latent pré-entraîné V-JEPA, l'architecture d'auto-supervision vidéo développée par Meta AI, et couple prédiction de transition et génération d'action continue via un prédicteur partagé, plutôt que de générer explicitement des vidéos futures comme le font les WAM à base vidéo, coûteux à déployer. Sur le benchmark LIBERO-Plus, JEPA-WAM atteint 79,2 % de réussite, le meilleur score parmi les méthodes sans pré-entraînement à grande échelle sur des politiques robotiques. Instancié sur le modèle pi0.5 déjà pré-entraîné, il grimpe à 86,3 %, la meilleure performance globale rapportée dans l'article. Des expériences complémentaires sur le simulateur RoboTwin 2.0 et sur des tâches de manipulation bimanuelle en conditions réelles confirment une bonne généralisation face aux variations visuelles et spatiales. Ce travail s'attaque à un compromis central dans l'apprentissage de politiques vision-langage-action (VLA) : les modèles de monde générant explicitement des vidéos futures sont coûteux en calcul et en latence, tandis que les approches latentes existantes sacrifient souvent la richesse de la représentation prédictive ou la séparent du chemin utilisé pour générer l'action. En démontrant qu'un même prédicteur partagé peut porter à la fois la supervision de transition et la prédiction d'action sans déconnecter représentation et politique, JEPA-WAM fournit un argument empirique en faveur de l'unification des deux tâches dans une même colonne vertébrale visuelle. Pour les équipes de recherche et les intégrateurs en robotique, l'intérêt pratique tient au fait que la méthode s'applique aussi à des politiques VLA déjà pré-entraînées, comme pi0.5, sans modifier leurs chemins de perception et d'action d'origine, ce qui laisse entrevoir un gain applicable à des systèmes existants plutôt qu'une architecture entièrement nouvelle à réentraîner. Il s'agit d'un article de recherche publié sur arXiv, sans annonce de produit ni de déploiement commercial : les résultats reposent sur des benchmarks de simulation (LIBERO-Plus, RoboTwin 2.0) complétés par des essais réels limités en manipulation bimanuelle, sans précision sur le nombre de robots ou les sites concernés. JEPA-WAM s'inscrit dans la lignée des architectures d'apprentissage par prédiction latente issues de V-JEPA, et se positionne face à l'écosystème grandissant des politiques VLA telles que pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Les auteurs ne précisent aucun calendrier de suite, pilote industriel ou partenariat, ce qui situe cette publication au stade de la recherche fondamentale plutôt qu'à une étape de déploiement à court terme.

RechercheActu
1 source
Localisation robotique holistique : estimation d'état par graphes de facteurs, indépendante de la tâche et du dispositif
2arXiv cs.RO 

Localisation robotique holistique : estimation d'état par graphes de facteurs, indépendante de la tâche et du dispositif

Des chercheurs du Robotic Systems Lab de l'ETH Zurich, le laboratoire suisse connu pour le robot quadrupède ANYmal, ont publié la version 2 de leur article sur Holistic Fusion, un framework open source de fusion de capteurs pour la localisation et l'estimation d'état des robots mobiles. Le code est disponible sur GitHub (leggedrobotics/holistic_fusion) accompagné d'une page projet dédiée. Contrairement aux approches classiques conçues pour un scénario ou un robot précis, Holistic Fusion traite la fusion de capteurs comme un problème d'estimation combiné : l'état local et global du robot d'un côté, un nombre théoriquement illimité de variables dynamiques de l'autre, avec alignement automatique des référentiels. Techniquement, le système repose sur une formulation en graphe de facteurs qui intègre directement des mesures absolues, locales et de repères (landmarks) exprimées dans des référentiels différents, en les modélisant comme des marches aléatoires. Une attention particulière est portée à la fluidité et à la cohérence locale pour éviter les sauts d'estimation. Les auteurs rapportent une estimation d'état en ligne à faible latence sur du matériel robotique standard, avec une localisation globale à faible dérive calculée au rythme de mesure de la centrale inertielle (IMU). Pour l'industrie robotique, l'intérêt tient moins à un exploit spectaculaire qu'à la promesse d'un outil générique : la plupart des solutions de fusion de capteurs actuelles sont hard-codées pour une tâche donnée (drone, robot à pattes, véhicule à roues), ce qui oblige les intégrateurs à réécrire leurs pipelines de localisation à chaque nouveau cas d'usage. Un framework agnostique de la tâche et de la configuration matérielle, s'il tient ses promesses en conditions réelles au-delà des cinq scénarios testés, réduirait le travail d'ingénierie nécessaire pour porter une pile de navigation d'une plateforme à une autre, un enjeu concret pour les fabricants de robots mobiles industriels (AMR) et les intégrateurs multi-plateformes. L'équipe a validé le framework sur trois plateformes robotiques distinctes couvrant cinq scénarios réels, sans préciser lesquelles dans le résumé, ce qui limite l'évaluation indépendante des performances annoncées. Cette version 2 remplace une première publication d'avril 2025 sur arXiv, signe d'un travail itératif plutôt que d'une annonce ponctuelle. Le positionnement open source, plutôt inhabituel pour ce type de brique technique critique, s'inscrit dans la tradition du laboratoire, déjà connu pour la publication de ses outils autour d'ANYmal et de la navigation legged.

UELe framework open source pourrait être adopté par les intégrateurs européens de robots mobiles industriels, mais aucune entreprise ou institution française n'est directement impliquée.

RecherchePaper
1 source
GWM-VLA : une modélisation latente du monde tenant compte de la géométrie pour le VLA
3arXiv cs.RO 

GWM-VLA : une modélisation latente du monde tenant compte de la géométrie pour le VLA

Publié sur arXiv sous la référence 2608.07619 (août 2026), GWM-VLA est un nouveau cadre de modélisation latente du monde pour les modèles vision-langage-action (VLA) utilisés en manipulation robotique. L'architecture combine trois éléments : un module d'encodage multi-vues géométriquement conscient, nommé VGGT-Ω, qui agrège à chaque pas de temps les flux de plusieurs caméras pour construire un état multi-vues cohérent ; un modèle du monde latent qui prédit uniquement les tokens de patch de l'étape suivante pour une vue cible unique, la caméra de poignet du bras robotique dans les expériences, plutôt que de reconstruire l'intégralité de la scène multi-vues ; et une représentation d'action latente partagée qui conditionne à la fois ce modèle du monde et une tête d'action par flow-matching, entraînée simultanément par supervision de prédiction latente et par les actions robotiques réelles. Les auteurs testent le système en simulation et sur robot réel, sans détailler de chiffres de performance dans le résumé public. L'enjeu vise une faiblesse connue des VLA : leurs performances de manipulation, solides en conditions contrôlées, se dégradent souvent face à des changements visuels ou environnementaux comme l'éclairage, la position de caméra ou l'arrière-plan. La plupart des modèles du monde latents existants encodent chaque vue caméra indépendamment et prédisent la dynamique globale de la scène sans modéliser explicitement les relations géométriques entre vues, ce qui fragilise la robustesse. En imposant une cohérence géométrique multi-vues dès l'encodage, GWM-VLA s'inscrit dans les efforts récents pour combler l'écart entre démonstrations en laboratoire et déploiement réel, un point sensible pour les intégrateurs qui évaluent des politiques VLA de type Pi-0, GR00T N2 ou Helix pour des lignes de production ou de la logistique, où la variabilité des scènes est la norme plutôt que l'exception. GWM-VLA s'ajoute à une vague de recherches associant modélisation du monde et apprentissage d'actions pour renforcer la généralisation des politiques robotiques, un axe explore en parallèle par plusieurs laboratoires travaillant sur les architectures VLA à grande échelle. L'article ne précise ni l'affiliation institutionnelle des auteurs ni de comparaison chiffrée avec des bases de référence publiées, ce qui en fait pour l'instant une contribution académique en preprint, non revue par les pairs, plutôt qu'un produit ou un déploiement industriel. Aucune date de publication en conférence, aucun partenariat industriel ni feuille de route de déploiement ne sont mentionnés ; la validation indépendante de la robustesse annoncée reste donc à établir par la communauté.

RecherchePaper
1 source
Estimation des forces multi-contacts pour robots continus via graphes de facteurs paramétrés par gaussiennes
4arXiv cs.RO 

Estimation des forces multi-contacts pour robots continus via graphes de facteurs paramétrés par gaussiennes

Des chercheurs ont publié en préprint sur arXiv (arXiv:2606.29165) un nouveau cadre d'estimation unifiée de la forme et des forces de contact pour robots continus. Ces structures flexibles et déformables, contrairement aux robots articulés classiques, peuvent naviguer dans des environnements non structurés et des espaces confinés, à l'image d'un endoscope actif ou d'un bras chirurgical souple. Le verrou central : estimer en temps réel la position et l'intensité des forces de contact extérieures s'exerçant à des points inconnus le long du corps du robot est mathématiquement mal conditionné, particulièrement lorsque plusieurs contacts sont simultanés. La solution repose sur un graphe de facteurs intégrant une paramétrisation par mélange gaussien des forces externes, couplée à un modèle probabiliste de tige de Cosserat discrétisée, référence mécanique standard pour les structures élastiques filiformes. Le système fusionne trois flux capteurs : déformation (strain), tension des tendons et pose du robot. En simulation numérique, la méthode surpasse les approches existantes pour la localisation et l'amplitude des forces, aussi bien en contact unique qu'en contacts multiples. Une variante progressive, introduisant des fonctions de base à la demande, permet une estimation séquentielle des contacts lors d'une tâche de navigation en espace confiné. La capacité à estimer des forces de contact multiples en ligne est un verrou opérationnel majeur pour les robots continus. En chirurgie mini-invasive ou en inspection de conduites, le robot entre inévitablement en contact avec son environnement à des points non prédéfinis : une mauvaise estimation des forces peut provoquer des lésions tissulaires ou des blocages mécaniques. L'approche probabiliste par graphe de facteurs gère explicitement les incertitudes de modélisation et de capteurs, là où les méthodes déterministes échouent en multi-contact. La réduction de dimensionnalité via les mélanges gaussiens contourne le mal-conditionnement sans discrétisation spatiale excessive, rendant le calcul tractable en ligne. Les robots continus font l'objet d'une recherche académique soutenue depuis deux décennies, avec des cibles en endoscopie, inspection industrielle et intervention en milieu sinistré. La modélisation par tiges de Cosserat reste la référence théorique dominante, mais l'estimation multi-contact demeure un problème ouvert face auquel des approches concurrentes existent : réseaux de neurones pour la calibration haptique, capteurs FBG (Fiber Bragg Grating) distribués, ou méthodes d'apprentissage par contact. Ce travail n'est pas affilié à une entreprise commerciale identifiée et n'a été validé qu'en simulation numérique, limite importante à souligner avant tout transfert vers des applications cliniques ou industrielles réelles. Des expérimentations sur robot physique constitueraient la suite logique annoncée.

RecherchePaper
1 source