Aller au contenu principal
Les trajectoires imaginées sont cinématiques, pas dynamiques : diagnostic d'un échec des modèles du monde à long horizonIllustration générée par IA
RecherchearXiv cs.RO 

Les trajectoires imaginées sont cinématiques, pas dynamiques : diagnostic d'un échec des modèles du monde à long horizon

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent un nouveau diagnostic pour expliquer pourquoi les modèles du monde (world models) utilises en apprentissage par renforcement échouent sur les longs horizons de prédiction. Publie sur arXiv (2607.05966v1), le papier avance que l'explication habituelle, l'erreur qui s'accumule au fil des pas de simulation, est trop générique et ne dit rien sur la nature de cette erreur. Les auteurs proposent une distinction cinématique versus dynamique: un modèle du monde peut imaginer des trajectoires qui restent plausibles au niveau des positions et vitesses (cinématique) sans respecter les forces, frottements et contraintes physiques réelles (dynamique). Pour le mesurer, ils introduisent l'iKCE (imagined Kinematic-Consistency Error), un indicateur pas-a-pas qui compare une trajectoire imaginée a une référence cinématique en forme close, complète par un protocole de perturbation testant si l'iKCE réagit quand les conditions physiques franchissent une frontière de régime. Applique a un checkpoint public de DreamerV3 entraine sur la tache walker-walk du DeepMind Control Suite, l'iKCE des trajectoires imaginées est environ cent fois supérieur a celui de trajectoires réelles équivalentes.

Le résultat le plus parlant vient d'un balayage du coefficient de friction traversant la frontière ou la marche du robot s'effondre: la récompense de la politique entraînée chute brutalement dans cette zone, mais l'iKCE du modèle reste statistiquement plat, preuve que le modèle n'a jamais vraiment intègre la dynamique physique sous-jacente et se contente d'extrapoler des formes de mouvement. Pour l'industrie qui mise sur les modèles du monde pour la planification robotique ou l'apprentissage par simulation, ce travail fournit un outil concret pour distinguer un modèle qui "a compris la physique" d'un modèle qui reproduit des motifs de surface, une nuance cruciale avant tout transfert vers du contrôle réel.

Le papier s'inscrit dans la lignée des travaux sur les world models (PlaNet, Dreamer, DreamerV3) largement utilises en RL base sur modèle, ou la fiabilité des rollouts imagines conditionne directement la qualité des politiques apprises. Les auteurs précisent que leur diagnostic est surtout discriminant aux horizons dépassant la période de marche de l'agent, ouvrant la voie a des benchmarks de robustesse dynamique applicables a d'autres architectures et environnements que DMC walker-walk.

Dans nos dossiers

À lire aussi

Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA
Illustration générée par IA
1arXiv cs.RO 

Quand les instructions récupèrent des trajectoires : diagnostic et atténuation des échecs de généralisation des modèles VLA

Des chercheurs publient sur arXiv une analyse des échecs de généralisation des modèles vision-langage-action (VLA), accompagnée d'une méthode de correction baptisée Equivariant Counterfactual Training (ECT). Le constat de départ est que des VLA dépassent 90 % de réussite sur les tâches vues à l'entraînement et résistent aux changements parasites qui ne modifient pas l'action requise (éclairage, objets non pertinents). Ils échouent en revanche dès qu'une modification contrefactuelle impose une action différente, par exemple permuter la position de deux objets. Les auteurs nomment ce défaut « instruction-action binding » : la politique réagit au langage comme à la vision, mais ne les combine pas pour choisir l'action adaptée. Les analyses comportementales, menées sur des versions affinées de π0.5 et de GR00T-N1.7, montrent que les rollouts ratés répètent souvent le comportement de la tâche source ou basculent vers une autre tâche démontrée. Le langage n'est donc pas ignoré : il sert d'index vers une famille de trajectoires connues, et le retour visuel n'en ajuste que l'exécution. Sur le simulateur LIBERO-PRO, l'ECT complet fait passer le taux de réussite moyen de π0.5 en permutation de positions de 36 % à 59 %. Sur CALVIN, où les contreparties existent déjà dans les données, la seule fonction de perte ECT améliore l'enchaînement de cinq tâches sans nouvelle démonstration. Sur un bras UR5e réel, à budget de démonstrations constant, le succès sur positions inédites passe de 8 % à 88 %. Ces résultats portent sur un point central pour le déploiement industriel : un score de robustesse agrégé peut masquer une faiblesse structurelle. Un VLA qui encaisse les perturbations visuelles banales peut rester un récupérateur de trajectoires, incapable de reconfigurer son geste quand la même consigne exige un mouvement différent dans une scène modifiée. Pour un intégrateur, c'est le cas typique d'une cellule dont l'agencement change entre deux lots. Le travail suggère aussi qu'une partie du problème tient à la composition des données et à l'objectif d'imitation, et non à la taille du modèle : lorsque l'action reste conditionnellement étroite, une solution ancrée dans la scène et une solution indexée sur l'instruction sont indiscernables sur les démonstrations. Corriger cela par des paires contrefactuelles, plutôt que par plus de volume, est une piste peu coûteuse. Une réserve s'impose : le gain de 8 % à 88 % vient d'un seul robot et d'un protocole à budget fixe, et le gain en simulation (+23 points) est plus modeste. L'étude s'inscrit dans une série de travaux sur les limites de généralisation des VLA, alors que π0.5 de Physical Intelligence et la famille GR00T de NVIDIA servent de références ouvertes pour les politiques généralistes. Les benchmarks comme LIBERO-PRO et CALVIN ont été conçus pour mesurer cette généralisation, et les auteurs montrent que certains scores flatteurs reposent sur la mémorisation. Les suites probables sont des validations sur d'autres plateformes, des tâches plus longues et d'autres architectures de VLA. Il s'agit d'un préprint non évalué par les pairs, sans produit ni déploiement annoncé.

RecherchePaper
1 source
Diagnostic et filtrage dynamique des modèles du monde d'occupation pour la cartographie active
Illustration générée par IA
2arXiv cs.RO 

Diagnostic et filtrage dynamique des modèles du monde d'occupation pour la cartographie active

Les chercheurs ont figé le planificateur et fait varier uniquement l'occupation fournie, du sans-complétion à la vérité terrain complète en passant par des corrections partielles via un oracle (faux positifs supprimés, faux négatifs restaurés), pour un article déposé sur arXiv sous la référence 2609.06820 (version 2), qui diagnostique une faille méthodologique dans la cartographie active en robotique, où un robot choisit ses points de vue caméra pour reconstruire une scène 3D inconnue à l'aide de réseaux d'occupation préentraînés servant de modèles du monde. Il en ressort que corriger uniquement l'un ou l'autre type d'erreur n'améliore pas de façon fiable la couverture finale de la scène. Même l'occupation parfaite gagne surtout en efficacité du trajet, pas en couverture finale atteinte. Les auteurs proposent enfin un filtrage dynamique qui garde les prédictions en zone inexplorée mais supprime celles répétées sans confirmation, ce qui réoriente, selon des exemples préliminaires, le choix des points de vue vers des surfaces atteignables jusque-là négligées. Ce résultat fissure une hypothèse répandue dans le secteur : qu'améliorer la précision géométrique d'un modèle du monde par occupation suffit à améliorer l'exploration autonome. Pour les concepteurs de robots de cartographie active, drones d'inspection ou véhicules autonomes d'entrepôt (AMR) qui s'appuient sur ce type de perception prédictive, le message est clair : la qualité brute du réseau d'occupation n'est pas le principal goulot d'étranglement, le planificateur et l'accessibilité du terrain pesant au moins autant sur la performance finale. Cela pousse les intégrateurs à investir dans le traitement dynamique de la confiance accordée aux prédictions plutôt que dans la seule précision du réseau de complétion 3D. Le travail s'inscrit dans le champ de longue date de la cartographie active et de la sélection de la meilleure vue suivante, désormais recoupé par la généralisation des réseaux d'occupation appris comme modèles du monde, une tendance parallèle à celle des modèles vision-langage-action utilisés en manipulation. Publié en version 2 sur arXiv en septembre 2026, signe de la révision d'un travail antérieur, l'article reste une contribution académique testée en conditions contrôlées, sans partenaire industriel ni déploiement matériel mentionné. Les auteurs qualifient eux-mêmes leurs résultats de préliminaires : le filtrage dynamique reste à valider à plus grande échelle et à intégrer dans un pipeline complet, potentiellement sur robot réel.

RecherchePaper
1 source
PILOT : guider la planification à long horizon d'un modèle du monde pour la manipulation robotique grâce à des sous-objectifs imaginés et des a priori de politique
Illustration générée par IA
3arXiv cs.RO 

PILOT : guider la planification à long horizon d'un modèle du monde pour la manipulation robotique grâce à des sous-objectifs imaginés et des a priori de politique

Des chercheurs proposent PILOT (Policy-Initialized Local Optimization with Temporal subgoals), une méthode de planification par modèle du monde latent pour la manipulation robotique à long horizon, publiée sur arXiv dans une version révisée (v2). Le principe combine deux modèles de fondation. Un modèle vidéo convertit une instruction en langage naturel en sous-objectifs visuels, et une politique vision-langage-action (VLA) initialise la méthode d'entropie croisée (CEM), qui affine ensuite les séquences d'actions vers chaque sous-objectif grâce à un modèle du monde conditionné par l'action. Aucune image de but n'est requise à l'inférence. Avec 40 démonstrations pour affiner les deux modèles, PILOT atteint 68,8 % de réussite sur quatre tâches réelles avec un bras UR5e, contre 55,0 % sans initialisation par la politique, 13,8 % pour la politique seule et 0,0 % pour la planification directe vers le but final. En simulation, le gain atteint 30 points sur les tâches longues de Push-T et 22 points sur LIBERO-10, par rapport à l'exécution directe de la même politique. Le résultat s'adresse à un problème concret : les VLA seuls décrochent sur les enchaînements longs, et les planificateurs à base de modèle du monde manquent de guidage temporel et gaspillent leur budget d'échantillonnage. Les deux briques se révèlent complémentaires, l'amélioration de l'une ou de l'autre augmentant le taux de succès. Un détail notable : une politique faible, qui ne réussit que 3,3 % des tâches Push-T moyennes en autonomie, reste un a priori utile. Une politique imparfaite peut donc servir de point de départ à une optimisation, plutôt que d'être écartée. Il faut toutefois relativiser. Quatre tâches, un seul type de robot et 40 démonstrations relèvent du laboratoire, et un taux de 68,8 % reste loin des seuils de fiabilité exigés en production. Aucune donnée de temps de cycle n'est fournie, alors que l'optimisation CEM sur modèle du monde ajoute un coût de calcul à l'inférence. Ces travaux s'inscrivent dans la convergence entre modèles vidéo génératifs, modèles du monde et politiques VLA de type Pi-0 ou GR00T, qui cherchent à compenser la fragilité de l'exécution directe sur les horizons longs. Le choix de générer des sous-objectifs à partir du langage, plutôt que de les annoter à la main, vise à rendre l'approche plus facile à déployer. Il s'agit d'une publication de recherche, sans produit ni pilote industriel annoncé. Les suites logiques sont des tests sur davantage de tâches et d'embodiments, une mesure du coût de calcul et une comparaison avec des VLA entraînés sur des volumes de données bien plus importants.

RecherchePaper
1 source
Planification cinodynamique par échantillonnage avec des modèles du monde
Illustration générée par IA
4arXiv cs.RO 

Planification cinodynamique par échantillonnage avec des modèles du monde

Des chercheurs proposent d'abandonner les optimiseurs habituels (CEM, MPPI) au profit d'une planification de mouvement par échantillonnage cinématique et dynamique appliquée aux modèles du monde visuels. Leur méthode utilise le modèle appris comme propagateur d'un arbre de recherche dans l'espace latent. Deux stratégies d'exploration y sont déclinées : un RRT guidé par plus proches voisins et un KPIECE fondé sur des projections. L'expansion de l'arbre est calculée par lots, nativement sur GPU, pour bien exploiter le matériel. L'évaluation s'appuie sur un DINO-WM standard, sans réentraînement spécifique, testé sur quatre domaines simulés et sur une tâche réelle de poussée de bloc avec un robot. En simulation, les deux approches égalent ou dépassent le taux de succès de CEM et MPPI, avec un temps de planification jusqu'à 13,8 fois inférieur. Sur le robot réel, le taux de succès gagne 20 %. Le papier ne détaille pas, dans son résumé, l'ampleur absolue des taux de succès ni la taille des échantillons de test. L'enjeu dépasse l'optimisation de vitesse. Les modèles du monde visuels prédisent les conséquences d'actions à partir d'images, mais les optimiseurs qui les pilotent sont myopes : ils échouent dès que la progression exige un mouvement que la fonction objectif ne récompense pas, comme contourner un bloc avant de le pousser. Les auteurs montrent que les stratégies d'échantillonnage conçues pour la recherche en haute dimension dans l'espace de configuration se transposent directement à l'espace latent. L'arbre traverse ainsi des états intermédiaires que CEM et MPPI ne tirent jamais. Pour les intégrateurs et les équipes qui visent des tâches de manipulation à horizon long, le message est que le goulot d'étranglement tient autant à l'algorithme de planification qu'à la qualité du modèle du monde. Il faut toutefois rester prudent : quatre environnements simulés et une seule tâche réelle, très proche de la simulation, ne disent rien de la robustesse sur des scènes industrielles encombrées, déformables ou à contacts riches. Le gain de 20 % sur robot réel reste modeste et son intervalle de confiance n'est pas indiqué. Ce travail s'inscrit dans la montée des modèles du monde latents, dont DINO-WM, qui s'appuie sur des représentations visuelles DINO pré-entraînées pour prédire l'évolution des scènes sans reconstruction de pixels. La planification par échantillonnage de trajectoires (CEM, MPPI) est devenue la norme dans ce cadre, au prix des limites décrites plus haut. Les auteurs ramènent à ce domaine un héritage de la robotique classique : RRT et KPIECE, utilisés de longue date dans les planificateurs de mouvement de type OMPL. Il s'agit d'une publication académique (arXiv, version 1, octobre 2026), sans produit ni déploiement annoncé. Les suites naturelles sont des tests sur des tâches plus longues et plus variées, sur d'autres modèles du monde, et une comparaison avec les approches de politiques VLA apprises de bout en bout, qui évitent la planification explicite.

RecherchePaper
1 source