Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
LeWorldModel préserve-t-il la géométrie locale des actions ?
RecherchearXiv cs.RO 

LeWorldModel préserve-t-il la géométrie locale des actions ?

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv en octobre 2026 (préprint v1, sans relecture par les pairs) teste si le modèle de monde préentraîné LeWorldModel (LeWM) reproduit fidèlement l'effet de petites variations d'action. Les auteurs comparent les réponses du simulateur à celles du modèle. Ils mesurent la sensibilité aux actions avec des matrices de Gram à trois échelles de perturbation, sur près d'un millier d'états des environnements Reacher et OGBench Cube. À la plus petite échelle, les directions d'action les plus sensibles du modèle s'écartent de celles du simulateur d'un angle médian d'environ 36° sur Reacher et 42° sur Cube. Multiplier la perturbation par dix réduit l'écart de Gram normalisé médian d'environ 70 % sur Reacher et 47 % sur Cube. Sur des directions d'action non vues pendant l'estimation, les Grams de l'environnement prédisent la réponse dans l'espace latent avec une erreur médiane de 17 % et 28 %, contre 26 % et 38 % pour une référence isotrope de même trace. Les erreurs de LeWM sont plus élevées à cette échelle.

Pour les équipes qui planifient ou optimisent des actions par rétropropagation dans un modèle de monde appris, la fidélité locale de la sensibilité compte autant que la qualité des prédictions à long terme. Un modèle peut sembler précis sur des trajectoires entières tout en déformant la géométrie fine des effets d'action. Le résultat suggère que l'évaluation doit se faire échelle par échelle, car les géométries mesurées en pixels et en embeddings varient davantage d'une échelle à l'autre que celle de l'état physique. Les auteurs ne montrent aucun impact sur le contrôle, et ils le disent : la conséquence pour la performance de planification reste une question ouverte. Il ne faut donc pas en conclure que LeWM échoue en pratique.

Ce travail s'inscrit dans l'essor des modèles de monde latents, utilisés comme simulateurs appris pour la planification en robotique, avec l'espoir de réduire la dépendance aux simulateurs physiques coûteux. Les limites du protocole sont nettes : deux environnements simulés seulement, aucune tâche de contrôle en boucle fermée et aucune comparaison avec d'autres modèles de monde. La suite logique serait de relier ces écarts de géométrie au taux de réussite de planificateurs réels, et de tester d'autres architectures.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

World modelsarXiv cs.RO

À lire aussi

Une phénoménologie de la géométrie neuronale dans les modèles vision-langage-action (VLA)
1arXiv cs.RO 

Une phénoménologie de la géométrie neuronale dans les modèles vision-langage-action (VLA)

Une étude publiée sur arXiv (v1, octobre 2026) s'intéresse à la forme que prend le monde à l'intérieur des politiques vision-langage-action (VLA), ces modèles qui convertissent images et instructions en commandes moteur. Les travaux antérieurs avaient montré que des variables de tâche, comme la position de l'objet ou l'orientation du poignet, sont lisibles linéairement dans les activations internes. Les auteurs soulignent que cette lisibilité prouve seulement qu'une variable est présente, pas la géométrie de ses valeurs, qui peut être courbe et multidimensionnelle. Combinant balayages contrôlés, trajectoires naturelles, sondes linéaires et interventions sur les activations, ils établissent une taxonomie de sept concepts liés à la tâche. La géométrie observée est surtout multidimensionnelle et façonnée par les contraintes de l'action. Les limites physiques des articulations font de l'orientation du poignet un arc ouvert plutôt qu'un cercle. La distance à la cible, pourtant un simple scalaire, occupe deux sous-espaces orthogonaux : une « règle grossière » pour l'approche et une « règle fine » pour la saisie. Ces structures réapparaissent dans deux autres modèles VLA entraînés sur des données de robots réels. Le résumé ne nomme ni les modèles ni les laboratoires. L'intérêt est d'abord méthodologique, mais concret. Savoir qu'une information existe dans un réseau ne suffit pas à le diagnostiquer ou à le piloter. Connaître sa forme ouvre la voie à des interventions plus ciblées, et les auteurs montrent une manipulation des activations le long de la géométrie propre à un concept. Le fait que les mêmes formes apparaissent hors simulation, sur plusieurs modèles, suggère qu'il ne s'agit pas d'artefacts. Pour les intégrateurs et les équipes qui valident des VLA avant déploiement, cela alimente la piste de l'interprétabilité comme outil de débogage et de contrôle, au-delà des seuls taux de réussite. Il s'agit toutefois de recherche fondamentale : aucune amélioration de performance en production n'est chiffrée. Le travail s'inscrit dans le débat sur la lisibilité linéaire des représentations, déjà bien documentée pour les modèles de langage, et qu'il cherche à prolonger vers l'action physique. Les politiques VLA commerciales ou open source, de type Pi-0, GR00T ou Helix, sont déployées surtout comme des boîtes noires évaluées sur des benchmarks. Les auteurs parlent d'une « phénoménologie initiale », ce qui indique un défrichage plutôt qu'une méthode mûre. La suite logique serait de tester ces géométries sur davantage d'architectures et de tâches, puis d'en dériver des outils de steering ou de sécurité exploitables en conditions industrielles.

RecherchePaper
1 source
De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée
2arXiv cs.RO 

De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée

Des chercheurs proposent CPR, un cadre d'apprentissage en deux étapes qui apprend à des politiques de manipulation robotique des représentations prédictives complémentaires à partir de clips vidéo multi-vues. Lors du pré-entraînement, un modèle de fondation 3D gelé fournit des caractéristiques géométriques denses, compressées en représentations géométriques prédictives. Celles-ci sont optimisées pour préserver la structure de la scène et son évolution temporelle. Une supervision par l'action est ensuite appliquée aux transitions géométriques afin d'extraire une représentation motrice complémentaire, centrée sur les transitions pertinentes pour l'action. En post-entraînement, la géométrie prédictive est transférée au moyen de requêtes de géométrie (geometry queries), tandis que la représentation motrice guide les caractéristiques intermédiaires le long du chemin de génération d'actions. Les observations futures ne servent que de supervision privilégiée à l'entraînement et ne sont pas nécessaires à l'inférence. L'évaluation couvre les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que des tâches réelles bimanuelles et à un seul bras. Le gain absolu atteint 10,4 points de pourcentage sur l'évaluation WidowX. Les auteurs annoncent aussi un transfert vers plusieurs architectures VLA (vision-langage-action) et vers des WAM (modèles d'action du monde), avec des progrès en prédiction du monde futur comme en prédiction d'actions. Le code doit être publié sur GitHub (dépôt xuxiaoxxxx/CPR), mais ne l'est pas encore. Ce travail s'attaque à une question laissée ouverte : comment représenter la géométrie prédictive pour qu'elle serve réellement à générer des actions. Les approches existantes se limitent à enrichir la politique avec la géométrie des observations courantes, ou à ajouter la prédiction du futur comme simple supervision auxiliaire. Séparer la représentation géométrique de la représentation motrice, puis ne garder que les requêtes et le guidage au moment de l'inférence, évite de dépendre d'images futures coûteuses ou indisponibles en déploiement. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la compatibilité annoncée avec plusieurs architectures VLA : l'approche se présente comme un module de pré-entraînement réutilisable, pas comme une politique de plus. Il faut toutefois rester prudent. Les gains les plus chiffrés viennent de benchmarks simulés, notamment SimplerEnv avec WidowX, dont le rapport à la fiabilité en production reste faible. Le résumé ne donne ni taux de réussite absolus, ni nombre d'essais réels, ni temps de cycle, ni coût de calcul du pré-entraînement. Il s'agit d'un preprint non évalué par des pairs. Le travail s'inscrit dans la course à la manipulation généraliste fondée sur des VLA, où les modèles de fondation visuels et 3D sont de plus en plus réutilisés comme briques de perception. Les benchmarks cités, LIBERO et LIBERO-Plus (robustesse aux perturbations) et SimplerEnv (évaluation reproductible de politiques réelles en simulation), sont devenus des références courantes mais restent des proxys imparfaits. La suite dépendra de la publication du code et de réplications indépendantes, en particulier sur des tâches longues et des plateformes différentes de WidowX. Aucun pilote industriel ni calendrier de commercialisation n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
XGenAct : des modèles d'action du monde enrichis par la géométrie grâce à la génération inter-tâches
3arXiv cs.RO 

XGenAct : des modèles d'action du monde enrichis par la géométrie grâce à la génération inter-tâches

Des chercheurs publient sur arXiv (2610.03516) XGenAct, un modèle d'action du monde (WAM, pour world action model) qui prédit l'évolution conjointe des observations et des actions d'un robot. Le système représente cinq types de signaux comme des vidéos RGB, via des codecs déterministes : images RGB, actions du robot, profondeur métrique, normales de surface et segmentation par rôle fonctionnel. Un seul transformeur de diffusion vidéo, entraîné avec un seul objectif, apprend la prédiction temporelle dans tous ces espaces. À l'entraînement, le modèle échantillonne des tâches de perception et d'action, sans têtes spécialisées par modalité. Sur des tâches RLBench non vues à l'entraînement, il atteint 52 % de réussite en boucle fermée dans une comparaison externe à cinq tâches, contre 26 % pour les meilleures références évaluées. Il prédit aussi la profondeur et la segmentation futures plus précisément que les pipelines qui génèrent d'abord du RGB puis appliquent un expert de perception figé. Pour les équipes qui travaillent sur la manipulation, le résultat va dans le sens d'une hypothèse encore discutée : prédire uniquement des pixels RGB et des actions ne suffit pas à doter un modèle de la compréhension spatiale dont la préhension a besoin. Les approches existantes ajoutent quelques tâches géométriques via des branches ou des têtes dédiées, ce qui fragmente à la fois la supervision et l'architecture. Encoder toute la supervision spatiale dans le même format vidéo simplifie la pile logicielle : pas de décodeur par modalité à maintenir, et un même modèle sert à générer et à percevoir. Le doublement du taux de réussite face aux meilleures références est notable, mais il reste à relativiser. Il provient d'une évaluation en simulation, sur seulement cinq tâches de comparaison externe, et RLBench est un banc d'essai académique qui ne reflète ni le bruit des capteurs ni la variabilité d'un site industriel. Rien dans l'abstract ne dit que le modèle a été testé sur un robot réel, ni quel coût de calcul impose un transformeur de diffusion vidéo à l'inférence, deux points décisifs pour un intégrateur. Ce travail s'inscrit dans la montée des modèles d'action du monde, qui reprennent les modèles génératifs vidéo pour le contrôle robotique, en concurrence avec les VLA (vision-language-action) classiques de type Pi-0 ou GR00T, qui prédisent directement des actions sans modéliser l'évolution de la scène. La limite de ces WAM, que XGenAct cherche à corriger, est leur supervision centrée sur le RGB. Il s'agit d'une préimpression : elle n'a pas été relue par des pairs et aucun code, jeu de données ni calendrier de déploiement n'est mentionné dans l'abstract. Les prochaines étapes à surveiller sont la validation sur robot physique, la mesure de la latence en boucle fermée et la reproduction des résultats par d'autres laboratoires sur des benchmarks plus variés que RLBench.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Géométrie de l'effecteur final conditionnée par le résultat dans les modèles vision-langage-action
4arXiv cs.RO 

Géométrie de l'effecteur final conditionnée par le résultat dans les modèles vision-langage-action

Une étude analyse 15 000 déploiements en boucle fermée de quatre politiques vision-langage-action (VLA) sur le benchmark de manipulation LIBERO, en comparant la géométrie des trajectoires du bras terminal plutôt que les seuls taux de réussite. Sur 3 600 paires de politiques appariées par configuration, la distance médiane normalisée de dynamic time warping est de 0,0120 mètre quand les deux politiques réussissent la tâche, contre 0,0380 mètre quand une seule y parvient. Cette hiérarchie se confirme pour chaque tâche, chaque paire de politiques et neuf représentations testées, même si son ampleur varie fortement selon la représentation choisie. Les paires en double échec, plus séparées encore, reposent sur un échantillon jugé trop restreint pour être concluant. Le résultat répond empiriquement à une question clé pour la manipulation robotique: savoir si des politiques VLA différentes qui réussissent la même tâche empruntent des trajectoires réellement comparables ou seulement des résultats similaires par des chemins distincts. La proximité géométrique observée en cas de succès partagé va dans le sens d'un lien entre contrainte de tâche et trajectoire, sans trancher entre chevauchement des données d'entraînement et contraintes physiques propres à la tâche. Mais l'étude prévient qu'une faible distance entre politiques ne vaut pas interchangeabilité, des différences résiduelles mesurables subsistant même face à une base de référence appariée, ce qui doit inciter intégrateurs et décideurs à ne pas juger l'équivalence de deux modèles sur le seul taux de succès. Le travail s'inscrit dans un contexte où l'évaluation des politiques VLA repose presque exclusivement sur le taux de réussite, sans examen de la manière dont chacune atteint ce résultat, alors que le secteur multiplie les architectures et interfaces d'action concurrentes pour la manipulation robotique. En s'appuyant sur LIBERO, benchmark de référence en simulation, et sur quatre politiques non nommées individuellement, les auteurs proposent une méthode reproductible fondée sur le dynamic time warping pour comparer les trajectoires plutôt que les seuls scores binaires. Ils relèvent enfin que sous stress visuel composite, classement des politiques et composition des paires évoluent ensemble, un point qui appelle des travaux futurs sur la robustesse comparative des VLA en conditions visuelles dégradées, enjeu direct pour leur fiabilité en déploiement industriel.

RecherchePaper
1 source