Aller au contenu principal
PILOT : guider la planification à long horizon d'un modèle du monde pour la manipulation robotique grâce à des sous-objectifs imaginés et des a priori de politiqueIllustration générée par IA
RecherchearXiv cs.RO 

PILOT : guider la planification à long horizon d'un modèle du monde pour la manipulation robotique grâce à des sous-objectifs imaginés et des a priori de politique

2 sources couvrent ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASources croisées · 2
Egalement couvert par :arXiv cs.RO ↗

Des chercheurs proposent PILOT (Policy-Initialized Local Optimization with Temporal subgoals), une méthode de planification par modèle du monde latent pour la manipulation robotique à long horizon, publiée sur arXiv dans une version révisée (v2). Le principe combine deux modèles de fondation. Un modèle vidéo convertit une instruction en langage naturel en sous-objectifs visuels, et une politique vision-langage-action (VLA) initialise la méthode d'entropie croisée (CEM), qui affine ensuite les séquences d'actions vers chaque sous-objectif grâce à un modèle du monde conditionné par l'action. Aucune image de but n'est requise à l'inférence. Avec 40 démonstrations pour affiner les deux modèles, PILOT atteint 68,8 % de réussite sur quatre tâches réelles avec un bras UR5e, contre 55,0 % sans initialisation par la politique, 13,8 % pour la politique seule et 0,0 % pour la planification directe vers le but final. En simulation, le gain atteint 30 points sur les tâches longues de Push-T et 22 points sur LIBERO-10, par rapport à l'exécution directe de la même politique.

Le résultat s'adresse à un problème concret : les VLA seuls décrochent sur les enchaînements longs, et les planificateurs à base de modèle du monde manquent de guidage temporel et gaspillent leur budget d'échantillonnage. Les deux briques se révèlent complémentaires, l'amélioration de l'une ou de l'autre augmentant le taux de succès. Un détail notable : une politique faible, qui ne réussit que 3,3 % des tâches Push-T moyennes en autonomie, reste un a priori utile. Une politique imparfaite peut donc servir de point de départ à une optimisation, plutôt que d'être écartée. Il faut toutefois relativiser. Quatre tâches, un seul type de robot et 40 démonstrations relèvent du laboratoire, et un taux de 68,8 % reste loin des seuils de fiabilité exigés en production. Aucune donnée de temps de cycle n'est fournie, alors que l'optimisation CEM sur modèle du monde ajoute un coût de calcul à l'inférence.

Ces travaux s'inscrivent dans la convergence entre modèles vidéo génératifs, modèles du monde et politiques VLA de type Pi-0 ou GR00T, qui cherchent à compenser la fragilité de l'exécution directe sur les horizons longs. Le choix de générer des sous-objectifs à partir du langage, plutôt que de les annoter à la main, vise à rendre l'approche plus facile à déployer. Il s'agit d'une publication de recherche, sans produit ni pilote industriel annoncé. Les suites logiques sont des tests sur davantage de tâches et d'embodiments, une mesure du coût de calcul et une comparaison avec des VLA entraînés sur des volumes de données bien plus importants.

À lire aussi

2AM : ancrer la mémoire de l'agent pour guider des modèles d'action pilotables en manipulation à long horizon
Illustration générée par IA
1arXiv cs.RO 

2AM : ancrer la mémoire de l'agent pour guider des modèles d'action pilotables en manipulation à long horizon

Publiée le 11 septembre 2026 sur arXiv sous la référence 2609.11308, une nouvelle architecture baptisée 2AM propose une autre méthode pour la manipulation robotique à long horizon, ces tâches multi-étapes qui exigent de se souvenir de ce qui a déjà été fait. Le système sépare strictement deux rôles : un agent multimodal conserve seul la mémoire de la tâche et traduit l'historique des interactions en instructions de sous-tâches en langage naturel, complétées par des indices optionnels en 2D (points de préhension, de dépose et de déplacement) ; un modèle d'action unique, basé uniquement sur des images RGB et sans état interne entre les épisodes, exécute le mouvement. Pour le rendre pilotable, les auteurs ont enrichi les démonstrations d'étiquettes d'indices structurées et entraîné le modèle avec abandon aléatoire de conditions, bruit spatial et décalage temporel, afin qu'il tolère des instructions imparfaites. Testé sur le benchmark LIBERO-Mem, sans profondeur, sans géométrie calculée en ligne ni déplacement d'objets planifié, 2AM atteint un taux de complétion moyen de 76,3 %, contre 14,8 % pour la meilleure référence publiée à ce jour, soit un gain de 61,5 points, avec 63,0 % de réussite au sens large et 11,8 % au sens strict. Ce résultat vise un problème méthodologique récurrent des systèmes agentiques actuels, qui combinent souvent des modèles vision-langage-action (VLA) avec planificateurs et outils géométriques, parfois appuyés par de la profondeur ou une géométrie calibrée : il devient difficile de savoir si les gains viennent d'observations plus riches, d'outils moteurs alternatifs ou de la politique elle-même, et si les échecs viennent de la politique ou d'une interface langagière mal spécifiée. En réduisant volontairement la panoplie d'outils au profit d'une interface à plus haute bande passante entre agent et modèle d'action, 2AM isole la variable de précision du pilotage. Le résultat suggère que la mémoire de tâche peut rester entièrement côté agent, sans être intégrée dans la politique d'action, un choix opposé à la tendance qui consiste à faire porter mémoire et raisonnement par un seul grand modèle entraîné de bout en bout. Pour les équipes qui développent des modèles d'action génératifs comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, ce travail introduit une hypothèse alternative : la capacité effective d'un modèle dépendrait autant de la précision avec laquelle il est piloté que de ce qu'il a appris à l'entraînement, ce qui interroge la course actuelle aux VLA toujours plus massifs. Le travail s'inscrit dans la lignée des benchmarks LIBERO, largement utilisés en apprentissage de politiques robotiques, dont LIBERO-Mem constitue une extension dédiée aux tâches à mémoire longue. Il se positionne en creux face aux architectures dominantes du secteur, qui empilent VLA, planificateurs symboliques et perception 3D pour gérer des séquences de manipulation complexes, une approche que la publication critique implicitement pour son opacité dans l'attribution des performances. Aucun déploiement matériel réel n'est mentionné : les résultats restent circonscrits à la simulation et au benchmark, sans validation sur robot physique ni pilote industriel annoncé. L'affiliation institutionnelle des auteurs et un calendrier de suite ne sont pas précisés, ce qui situe cette publication au stade de la recherche amont plutôt que d'un produit ou d'un partenariat commercial.

RechercheActu
1 source
RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon
Illustration générée par IA
2arXiv cs.RO 

RM-WAM : modèles d'action du monde à mémoire augmentée et fiables pour la manipulation robotique à long horizon

Des chercheurs proposent RM-WAM, un « World Action Model » (WAM) à mémoire augmentée, décrit dans un préprint arXiv (2610.15305, v2). Les WAM prédisent conjointement les états visuels futurs et les actions du robot, mais la plupart décident à partir de la seule observation courante. Pour contourner cette limite, RM-WAM combine deux mémoires complémentaires. La première est une mémoire d'état visuel à court terme, qui capte la dynamique récente de l'interaction. La seconde est une mémoire d'événements latents, qui encode les transitions d'état sur un horizon plus long. Un schéma d'apprentissage contrefactuel fait varier l'historique accessible tout en gardant fixes les entrées courantes et les cibles de prédiction. Le modèle apprend ainsi à estimer l'utilité de la mémoire selon le contexte. Un mécanisme de « gating » sensible à cette utilité décide ensuite, au cas par cas, quelle part de l'historique injecter dans le backbone qui prédit monde et actions. Le résumé ne donne aucun chiffre (taux de succès, tâches, robots, jeux de données), et il faut donc attendre le texte complet pour juger de l'ampleur des gains. L'enjeu touche à un point faible connu des politiques de manipulation, la fiabilité sur les tâches longues. Dans un assemblage ou un kitting multi-étapes, deux scènes visuellement identiques peuvent correspondre à des étapes différentes de la tâche. Une politique sans mémoire hésite alors ou répète une action déjà faite. L'approche naïve consiste à empiler les observations passées, mais les auteurs soulignent qu'elle peut injecter des informations périmées, désalignées avec l'étape en cours ou contaminées par des erreurs. Ces défauts faussent la prédiction du monde et font s'accumuler les erreurs en boucle fermée. Leur thèse est que la mémoire doit être traitée comme une ressource prédictive sélective, pas comme un contexte toujours bénéfique. Pour les intégrateurs, cela rappelle que la robustesse en production dépend moins de la taille du contexte que de la qualité de sa sélection. Il faut toutefois rester prudent : sans benchmarks publiés dans le résumé, rien ne dit que la méthode fonctionne sur du matériel réel ni qu'elle surpasse nettement les bases de comparaison. Ces travaux s'inscrivent dans la montée des modèles du monde appliqués à la robotique. Ceux-ci prolongent les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T en y ajoutant la prédiction vidéo du futur. Le problème de la mémoire longue reste ouvert pour toute cette famille, et plusieurs équipes testent des fenêtres d'historique, des tokens de mémoire ou des représentations d'événements. RM-WAM se distingue par son estimation d'utilité apprise par contrefactuel, au lieu d'une mémoire appliquée uniformément. Il s'agit d'une publication académique, sans produit ni déploiement annoncé. Sa valeur dépendra de la reproduction des résultats, de la publication éventuelle du code et de tests sur des tâches longues réelles.

RecherchePaper
1 source
Modèle du monde à quantification vectorielle : planification de mouvement par rétroaction latente pour la manipulation robotique
Illustration générée par IA
3arXiv cs.RO 

Modèle du monde à quantification vectorielle : planification de mouvement par rétroaction latente pour la manipulation robotique

Des chercheurs proposent le Vector-Quantized World Model (VQ-WM), un cadre de planification de mouvement à retour d'information latent pour la manipulation robotique, décrit dans la version 2 d'un preprint arXiv (2610.25600). L'architecture combine deux étages. Un prédicteur latent discret modélise les transitions entre états visuels quantifiés par vecteurs, ce qui permet au planificateur de chercher en profondeur et de trouver le plus court chemin vers le but par recherche discrète. Un contrôleur continu appris atteint ensuite ces états planifiés l'un après l'autre, en s'appuyant sur le retour visuel pour corriger les déviations. L'innovation technique tient à la métrique de quantification. Là où la quantification vectorielle classique utilise la distance euclidienne, les auteurs emploient un nouvel estimateur du temps de premier passage, utilisé comme quasi-métrique, afin que l'abstraction de planification reflète ce que le contrôleur sait réellement atteindre. L'évaluation physique porte sur la tour de Hanoï, avec 100 % de réussite à partir de données de jeu courtes. Sur des benchmarks en simulation couvrant manipulation et locomotion, la méthode devance les meilleurs modèles du monde de 13,3 à 85,3 points de pourcentage. L'intérêt tient à l'un des points faibles les plus cités des approches actuelles, la manipulation à long horizon. Les auteurs affirment que les modèles fondation de pointe, qu'il s'agisse de VLA (vision-langage-action) ou de WAM (world action models), ne réussissent la tâche que si la trace de la solution figure dans leurs données d'entraînement. VQ-WM, lui, recompose des solutions longues à partir de démonstrations courtes. Si ce résultat se confirmait, il plaiderait pour des architectures hybrides, où la recherche explicite et le contrôle par retour visuel complètent l'apprentissage de politiques de bout en bout, et pour une collecte de données moins coûteuse, car elle n'aurait plus à couvrir chaque séquence complète. Il faut toutefois rester prudent. Hanoï est une tâche structurée, à états discrets bien définis et à solution connue, très éloignée du désordre d'un entrepôt ou d'une ligne d'assemblage. L'écart de 13,3 à 85,3 points est une fourchette très large, qui dépend sans doute fortement des benchmarks et des baselines retenus. Le résumé ne précise ni le nombre d'essais, ni le robot utilisé, ni les temps de cycle. Ces travaux s'inscrivent dans la montée des modèles du monde visuels pour la planification, qui se heurtent à l'accumulation des erreurs de prédiction, à la complexité de la recherche et à des plans latents que le contrôleur bas niveau ne peut pas exécuter. VQ-WM s'attaque à ces trois obstacles. Il se place face aux VLA comme Pi-0 ou GR00T, et face aux WAM, qui dominent les démonstrations industrielles actuelles. Il s'agit d'une publication académique, non d'un produit ni d'un pilote : aucune commercialisation ni calendrier n'est annoncé. Les prochaines étapes à surveiller sont la validation sur des tâches non structurées, avec des objets variés et des perturbations réelles, ainsi que la publication du code et des données.

RecherchePaper
1 source
GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique

Des chercheurs ont publié le 10 juin 2026 un preprint arXiv (2606.10025) présentant GHOST, un framework pour politiques visuomotrices de manipulation robotique capables de généraliser au-delà de leur distribution d'entraînement. L'architecture repose sur une factorisation hiérarchique en deux niveaux : une politique haut niveau qui prédit le prochain sous-objectif sous forme de distribution sur les poses 3D de l'effecteur terminal à partir d'observations RGB-D multi-vues, et un contrôleur bas niveau conditionné sur ces objectifs qui génère les actions spécifiques à l'embodiment physique du robot. Pour relier les deux niveaux, les auteurs introduisent une interface spatiale qui projette les sous-objectifs 3D prédits dans le plan image sous forme de heatmaps de l'effecteur, une représentation volontairement simple mais compatible avec les pipelines d'entraînement existants. La politique haut niveau est entraînée sur des vidéos de démonstrations humaines brutes, sans retargeting d'actions, tandis que la politique bas niveau reste entraînée exclusivement sur des données robot. Le résultat central est que cette décomposition hiérarchique améliore systématiquement les performances et la robustesse par rapport à une Diffusion Policy plate (architecture de référence populaire depuis les travaux de Chi et al. en 2023) sur une suite de tâches de manipulation. L'insight clé est que les sous-objectifs en espace cartésien de l'effecteur sont largement "embodiment-agnostic" : la même politique haut niveau peut s'appliquer à différentes architectures de robots sans réentraînement complet. Cela contourne un goulot d'étranglement majeur dans le domaine, le retargeting d'actions depuis les démonstrations humaines, qui introduit habituellement un bruit significatif et limite la qualité des données d'entraînement. GHOST s'inscrit dans un courant actif de recherche sur l'utilisation des vidéos humaines comme source de supervision low-cost pour la robotique de manipulation, aux côtés d'approches comme pi-0 de Physical Intelligence ou des travaux sur les VLA (Visual-Language-Action models) de Google DeepMind avec RT-2 et GR00T N2 de NVIDIA. La principale limitation à noter : il s'agit d'un preprint non encore peer-reviewed, sans données de déploiement réel ni métriques de cycle time en contexte industriel. Les résultats concernent une suite de tâches de laboratoire ; la tenue à l'échelle dans des environnements moins contrôlés reste à démontrer. Aucun partenariat industriel ni timeline de commercialisation n'est annoncé.

RecherchePaper
1 source