Illustration générée par IAPILOT : guider la planification à long horizon d'un modèle du monde pour la manipulation robotique grâce à des sous-objectifs imaginés et des a priori de politique
Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie
Des chercheurs proposent PILOT (Policy-Initialized Local Optimization with Temporal subgoals), une méthode de planification par modèle du monde latent pour la manipulation robotique à long horizon, publiée sur arXiv dans une version révisée (v2). Le principe combine deux modèles de fondation. Un modèle vidéo convertit une instruction en langage naturel en sous-objectifs visuels, et une politique vision-langage-action (VLA) initialise la méthode d'entropie croisée (CEM), qui affine ensuite les séquences d'actions vers chaque sous-objectif grâce à un modèle du monde conditionné par l'action. Aucune image de but n'est requise à l'inférence. Avec 40 démonstrations pour affiner les deux modèles, PILOT atteint 68,8 % de réussite sur quatre tâches réelles avec un bras UR5e, contre 55,0 % sans initialisation par la politique, 13,8 % pour la politique seule et 0,0 % pour la planification directe vers le but final. En simulation, le gain atteint 30 points sur les tâches longues de Push-T et 22 points sur LIBERO-10, par rapport à l'exécution directe de la même politique.
Le résultat s'adresse à un problème concret : les VLA seuls décrochent sur les enchaînements longs, et les planificateurs à base de modèle du monde manquent de guidage temporel et gaspillent leur budget d'échantillonnage. Les deux briques se révèlent complémentaires, l'amélioration de l'une ou de l'autre augmentant le taux de succès. Un détail notable : une politique faible, qui ne réussit que 3,3 % des tâches Push-T moyennes en autonomie, reste un a priori utile. Une politique imparfaite peut donc servir de point de départ à une optimisation, plutôt que d'être écartée. Il faut toutefois relativiser. Quatre tâches, un seul type de robot et 40 démonstrations relèvent du laboratoire, et un taux de 68,8 % reste loin des seuils de fiabilité exigés en production. Aucune donnée de temps de cycle n'est fournie, alors que l'optimisation CEM sur modèle du monde ajoute un coût de calcul à l'inférence.
Ces travaux s'inscrivent dans la convergence entre modèles vidéo génératifs, modèles du monde et politiques VLA de type Pi-0 ou GR00T, qui cherchent à compenser la fragilité de l'exécution directe sur les horizons longs. Le choix de générer des sous-objectifs à partir du langage, plutôt que de les annoter à la main, vise à rendre l'approche plus facile à déployer. Il s'agit d'une publication de recherche, sans produit ni pilote industriel annoncé. Les suites logiques sont des tests sur davantage de tâches et d'embodiments, une mesure du coût de calcul et une comparaison avec des VLA entraînés sur des volumes de données bien plus importants.
Dans nos dossiers




