RecherchearXiv cs.RO 11 septembre 2026

FARM : lire les signaux d'échec dans les états prédictifs internes d'un modèle du monde robotique figé

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (identifiant 2609.11445v1, article encore non revu par les pairs) FARM, pour Failure-Aware Readout from World Models, une méthode de détection d'échec pour robots qui exploite un modèle du monde robotique déjà entraîné, appelé VLA-JEPA, sans le modifier. Le système ajoute une simple couche de lecture supervisée de 33 985 paramètres par-dessus les états prédictifs internes gelés de ce modèle, afin de produire à chaque pas de temps un score d'échec ainsi qu'une estimation de risque causal sur toute la trajectoire. En validation croisée à cinq plis sur sept tâches sources, FARM atteint un AUROC/AUPRC poolé de 85,68/88,59, et se classe premier en performance sur tâches connues parmi 15 méthodes concurrentes évaluées sur un benchmark de dix tâches. Les auteurs testent ensuite le système sur quatre populations de robots réels équipés de bras PIPER X, SO-101 et Franka, en transférant la lecture fixe ou en l'adaptant seule, sans jamais réentraîner le modèle prédictif de base. Le surcoût de calcul mesuré n'est que de 0,2256 milliseconde de latence CUDA en moyenne, une fois l'état prédictif disponible.

Ce résultat répond à un problème pratique pour quiconque déploie des politiques vision-langage-action (VLA) en environnement réel: comment savoir qu'un robot est en train d'échouer, en temps réel, sans multiplier les capteurs externes ni entraîner un modèle de supervision distinct pour chaque tâche. La démonstration que les représentations internes d'un modèle du monde déjà entraîné, une fois gelées, contiennent nativement cette information suggère que la sécurité d'exécution peut devenir une brique légère et réutilisable plutôt qu'un sous-système coûteux à développer par intégrateur. Pour les décideurs industriels qui évaluent des piles VLA génériques, l'argument est net: un module de quelques dizaines de milliers de paramètres, quasi gratuit en latence, généralisable à plusieurs bras robotiques différents, réduit fortement le coût d'ajout d'une couche de confiance sur des politiques déjà déployées.

Le concept de JEPA (Joint Embedding Predictive Architecture), popularisé par les travaux de Yann LeCun chez Meta AI, sert ici de socle prédictif; VLA-JEPA en est une déclinaison orientée robotique combinant vision, langage et action. FARM s'inscrit dans un paysage où plusieurs modèles fondation robotiques rivalisent pour la généralisation, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, mais il ne cherche pas à concurrencer ces politiques génératives: il propose une couche de supervision complémentaire, greffable sur n'importe quel backbone de type JEPA déjà entraîné. À ce stade, il s'agit d'une publication académique validée sur du matériel réel en laboratoire, non d'un produit commercialisé ni d'un déploiement industriel annoncé, et aucun calendrier de mise en œuvre chez un intégrateur ou un partenaire n'est mentionné dans l'article.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

JailWAM : pirater les modèles d'action du monde dans le contrôle robotique

Des chercheurs ont publié JailWAM, premier framework d'évaluation de jailbreak conçu spécifiquement pour les World Action Models (WAM), ces modèles qui pilotent directement des robots manipulateurs à partir d'instructions en langage naturel. Décrit dans un article déposé sur arXiv (identifiant 2604.05498, version 2), le système repose sur trois composants. Le premier, Visual-Trajectory Mapping, convertit les sorties d'action hétérogènes de différentes architectures de WAM en une représentation de trajectoire visuelle commune, ce qui permet de comparer des modèles différents sur une même base. Le deuxième, un Risk Discriminator, classe les résultats selon trois niveaux de gravité physique croissante : conformité de sécurité, échec de mouvement, et risque catastrophique. Le troisième, une Dual-Path Verification Strategy, combine un tri rapide des candidats d'attaque avec une simulation physique en boucle fermée réservée aux cas jugés dangereux, afin de réduire le coût de calcul. Testé dans l'environnement de simulation RoboTwin, JailWAM atteint un taux de réussite d'attaque de 84,2 % contre le modèle LingBot-VA. Ce résultat illustre concrètement que les WAM, censés traduire fidèlement des consignes en gestes physiques sûrs, restent vulnérables à des instructions adversariales capables de provoquer des comportements dangereux du bras ou du robot. Pour les intégrateurs industriels et les décideurs qui envisagent de déployer ces modèles vision-langage-action en usine ou en entrepôt, l'étude rappelle qu'aucun garde-fou standardisé n'existe encore contre ce type d'attaque, contrairement au red-teaming déjà bien établi pour les grands modèles de langage textuels. Le chiffre de 84,2 % a toutefois été obtenu en simulation, pas sur du matériel physique réel, ce qui laisse ouverte la question d'un éventuel écart sim-to-real ; la tendance qu'il révèle sur la fragilité de l'alignement sécuritaire des WAM reste néanmoins significative. Ce travail s'inscrit dans la vague de recherche sur les modèles vision-langage-action qui équipent la nouvelle génération de robots humanoïdes et de bras manipulateurs, dans la lignée de modèles comme Pi-0, GR00T N2 ou Helix. JailWAM transpose au monde physique des méthodologies de jailbreak déjà développées pour les modèles de langage textuels. Les auteurs appellent explicitement à davantage de recherche sur l'évaluation de sécurité et l'alignement des systèmes robotiques embarqués, signe d'un besoin encore naissant de standards de certification avant tout déploiement industriel à grande échelle. Aucun acteur français ou européen du secteur n'apparaît dans cette étude.

RechercheActu

1 source

2arXiv cs.RO

JEPA-WAM : prédiction d'embeddings conjoints par étapes pour les modèles monde-action en manipulation robotique

Des chercheurs présentent JEPA-WAM (arXiv:2608.10780), qui ajoute a un World-Action Model fonde sur Motus un module Stage-JEPA, un prédicteur Joint-Embedding Predictive Architecture conditionne par objectif. L'architecture distingue un futur physique court terme, capturant l'évolution locale de la scene pour l'exécution du geste, d'un futur sémantique au niveau de l'étape, qui représente la progression de la tache d'une phase a la suivante. Stage-JEPA s'appuie sur un encodeur V-JEPA2 gelé pour extraire l'état courant a partir de l'observation et de l'instruction, puis prédit la cible latente de l'étape suivante inférée. Sur 50 taches du benchmark de simulation RoboTwin 2.0, en environnements propres et randomises, le système atteint 90,25 % de réussite globale et réduit de 5,97 % le nombre moyen d'étapes d'exécution dans les épisodes réussis par rapport a la meilleure base de comparaison testée. Ce travail cible une limite connue des politiques vision-langage-action généralistes : la plupart représentent le futur comme un court segment vidéo-action fixe, ce qui capture la dynamique locale mais ignore la progression d'une tache a plusieurs étapes. En séparant prédiction court terme et planification sémantique par étape, JEPA-WAM propose une piste pour réduire l'écart entre réactivité immédiate et raisonnement a plus long horizon, un enjeu partage par des architectures comme Pi-0, GR00T N2 ou Helix qui visent la généralisation entre taches. Le gain de 5,97 % en nombre d'étapes suggère une meilleure efficacité d'exécution sans perte de taux de réussite, un signal utile pour des intégrateurs cherchant a raccourcir les cycles, même si ces résultats restent obtenus en simulation et non en déploiement réel. L'approche s'inscrit dans la lignée des architectures Joint-Embedding Predictive popularisées par V-JEPA et V-JEPA2, des modèles du monde auto-supervises entraines sur vidéo et repris ici comme encodeur gelé plutôt que reentraine. Le choix d'un WAM fonde sur Motus situe la contribution dans la famille grandissante des modèles combinant prédiction du monde et génération d'action, en concurrence avec les approches VLA de Physical Intelligence (Pi-0), Nvidia (GR00T N2) ou Figure (Helix) ; aucun acteur européen n'apparait dans cette publication. L'article, publie sur arXiv sous la référence 2608.10780, ne fixe aucun calendrier de transfert vers des robots physiques ni de partenariat industriel, l'étape suivante habituelle pour ce type de recherche étant la validation hors simulation avant toute intégration commerciale.

RecherchePaper

1 source

3arXiv cs.RO

IA physique : des modèles du monde aux modèles d'action, un tutoriel concis pour la robotique

Un article publié sur arXiv (2607.00836) dresse un état des lieux conceptuel des "world models" utilisés en robotique et en simulation générative, un terme dont le périmètre varie fortement selon les communautés de recherche. Les auteurs proposent une définition unifiée : un modèle du monde est un système conditionné par l'action qui prédit l'évolution future des observations ou des états pertinents pour une tâche donnée. Ils distinguent deux grandes familles : les modèles dans l'espace des observations, qui prédisent des images ou vidéos brutes, et les modèles dans l'espace des états, qui travaillent sur des représentations compactes. Chaque approche est comparée selon quatre critères : fidélité visuelle, structuration spatiale, interprétabilité physique et facilité d'usage pour le contrôle. Le papier introduit ensuite les "world action models", qui relient ces prédictions du futur à des actions robotiques exécutables, avec quatre paradigmes identifiés : imaginer puis exécuter, prédiction d'action conditionnée par des features vidéo, modélisation conjointe vidéo-action, et prédiction vidéo auxiliaire pour l'apprentissage de politiques. Cette clarification terminologique a une portée pratique pour les équipes qui développent des politiques robotiques : elle aide à choisir entre un modèle générateur de pixels, coûteux en calcul mais riche visuellement, et un modèle d'état plus léger, plus proche du contrôle temps réel mais moins interprétable. Elle formalise aussi un débat de fond du secteur : les modèles de génération vidéo produisent des démonstrations spectaculaires, mais leur utilité réelle pour piloter un bras ou un humanoïde reste à prouver, faute de garanties physiques strictes, ce qui rejoint les critiques récurrentes sur l'écart entre démo et déploiement réel. En distinguant explicitement l'approche "imaginer puis exécuter" des méthodes qui apprennent directement une politique conjointe vidéo-action, le tutoriel donne aux intégrateurs une grille de lecture pour évaluer les annonces commerciales selon ce qu'elles modélisent vraiment, plutôt que sur la seule qualité de leurs vidéos. Ce travail arrive alors que les world models occupent une place croissante dans la course aux modèles vision-langage-action, portée par des systèmes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui combinent tous, à des degrés divers, prédiction du futur et génération d'actions. Sans analyser directement ces produits commerciaux, la taxonomie proposée offre un cadre académique pour resituer ces systèmes les uns par rapport aux autres, à un moment où la recherche universitaire tente de structurer conceptuellement un domaine dont la vitesse de publication industrielle a largement dépassé la théorie.

RecherchePaper

1 source

4arXiv cs.RO

L'ancrage physique de l'état est-il indispensable aux modèles du monde JEPA au-delà de la prédiction ?

Une équipe de recherche a publié sur arXiv en août 2026 (référence 2608.06799) un article décrivant PSG-JEPA, un modèle du monde pour la robotique fondé sur l'architecture JEPA (Joint Embedding Predictive Architecture). Les modèles JEPA existants apprennent une dynamique latente conditionnée par l'action à partir de séquences d'observations, mais rien ne garantit que cet espace latent encode fidèlement l'état physique du robot. PSG-JEPA ajoute deux objectifs d'entraînement complémentaires : ancrer chaque latent individuel dans l'état proprioceptif du robot, et ancrer les paires de latents dans les variations d'angles articulaires sur plusieurs horizons temporels, sans changer l'architecture ni le coût de calcul à l'inférence. Les auteurs testent la méthode à trois niveaux (identifiabilité par sondage, planification sur latents figés, apprentissage de politiques en simulation et sur robot réel) et rapportent une amélioration constante face aux modèles de référence, sans détailler de chiffres précis ni la plateforme robotique utilisée. Ce travail s'attaque à une limite connue des modèles du monde de type JEPA, popularisés par Yann LeCun et Meta AI comme alternative à la prédiction pixel par pixel : un objectif de prédiction pure n'oblige pas la représentation latente à rester interprétable en termes d'état physique, ce qui peut dégrader la planification et le contrôle appris en aval. En montrant qu'un ancrage explicite sur la proprioception et les angles articulaires améliore à la fois l'identifiabilité, la planification et l'apprentissage de politiques sans surcoût à l'inférence, PSG-JEPA apporte un argument concret pour les équipes développant des piles de contrôle fondées sur des modèles du monde plutôt que sur l'apprentissage par renforcement pur, validé en simulation comme sur robot physique. PSG-JEPA s'inscrit dans la lignée des recherches sur les architectures JEPA appliquées à la robotique, un courant qui cherche à remplacer les modèles du monde génératifs coûteux en pixels par des représentations latentes compactes, dans un paysage où coexistent des approches vision-langage-action comme Pi-0 ou GR00T N2. Publié comme simple soumission arXiv non encore relue par les pairs, le travail reste une contribution académique dont l'impact dépendra de sa reproduction par d'autres équipes et de son adoption dans des piles de contrôle réelles.

RecherchePaper

1 source