RecherchearXiv cs.RO 21 octobre 2026

PLaCA : apprendre le changement latent futur au niveau des patchs pour générer des actions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

PLaCA, présenté dans une prépublication arXiv (2610.27657), est un framework de type « world-to-action » destiné aux modèles Vision-Language-Action (VLA), ces modèles qui produisent des actions robotiques à partir d'images et d'instructions en langage naturel. Plutôt que de générer l'image future complète, comme le font certains world-action models, ou de la compresser en une représentation latente très dense, PLaCA prédit directement, à partir de l'entrée multimodale courante, le changement latent futur au niveau de patchs spatiaux. Deux mécanismes s'y ajoutent: une supervision sensible au changement, qui pondère davantage les régions où la scène évolue fortement, et une interface « futur vers action » qui injecte explicitement ce changement prédit dans la génération des actions. Sur LIBERO-Long, le taux de succès atteint 79,0 %, soit 5,0 points de plus que la base de référence « Action-only ». Sur CALVIN, la longueur moyenne de séquence réussie passe de 2,784 à 3,564 tâches enchaînées. Seuls 2,95 % des paramètres du modèle sont mis à jour lors de la seconde phase d'entraînement.

L'intérêt tient à l'équilibre recherché entre coût de calcul et finesse de l'information. Générer des images futures complètes est coûteux et gaspille de la capacité sur des pixels sans pertinence pour la tâche, tandis qu'un latent trop compressé efface les variations locales, par exemple le déplacement d'un objet manipulé. Prédire le changement par patch conserve cette localisation à moindre coût. Le faible taux de paramètres mis à jour suggère qu'il est possible d'ajouter une capacité d'anticipation à un VLA existant sans le réentraîner entièrement, un argument pratique pour les équipes qui disposent d'un modèle de base et de budgets de calcul limités. Il faut toutefois relativiser: les résultats proviennent uniquement de benchmarks en simulation, sans validation sur robot réel, ni mesure de latence d'inférence ou de robustesse hors distribution. Un score de 79,0 % sur LIBERO-Long reste, de plus, nettement inférieur à ce qu'affichent d'autres approches récentes sur cette suite, et le gain de 5 points est modeste.

Ce travail s'inscrit dans la tendance des world-action models, qui cherchent à doter les VLA d'une capacité de prédiction de la dynamique de l'environnement, entre génération vidéo et modélisation latente. LIBERO et CALVIN restent les références de la manipulation à long horizon, mais leur capacité à prédire les performances industrielles est discutée. Les prochaines étapes naturelles seraient des tests sur robots physiques, des comparaisons directes avec des baselines à prédiction d'images complètes et des études d'ablation sur la taille des patchs. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé: il s'agit à ce stade d'une contribution de recherche.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

NestedVLA : apprendre à consolider et à générer des compétences pour les modèles vision-langage-action (VLA)

NestedVLA, proposé par le groupe WanyuGroup et soumis à NeurIPS 2026 (preprint arXiv 2610.23271), s'attaque à un problème précis des modèles vision-langage-action (VLA) : consolider des compétences apprises séparément sur des tâches et des plateformes hétérogènes. Plutôt que d'agréger des paramètres, la méthode les génère. Un hypernetwork imbriqué, conditionné par la tâche cible, synthétise les paramètres d'un « action expert » adapté à cette tâche, qui se combine avec un VLA de base gelé. Les résidus du modèle vision-langage, compressés et propres à chaque tâche, sont conservés à part. Sur trois benchmarks d'apprentissage par renforcement (MetaWorld, ManiSkill, CALVIN), les auteurs annoncent un gain moyen de 41 points de pourcentage face à la meilleure méthode de fusion de modèles. Sur ManiSkill, l'écart avec un fine-tuning dédié à chaque tâche tombe à 1 point, et il se réduit nettement sur CALVIN. Le code est publié sur GitHub. L'intérêt tient à la façon dont le problème est posé. Aujourd'hui, les données robotiques sont éclatées entre plateformes, l'entraînement multitâche conjoint souffre d'interférences entre tâches, et la fusion de modèles crée des conflits de paramètres ou exige de modifier l'architecture. Pour un intégrateur qui accumule des compétences par site ou par client, la perspective d'apprendre chaque skill de son côté puis de les consolider après coup, sans réentraîner l'ensemble, est séduisante, d'autant que les auteurs mettent en avant un coût de stockage réduit par rapport à la conservation d'un modèle complet par tâche. Il faut toutefois rester prudent. Les résultats proviennent uniquement de benchmarks simulés, sans validation sur robot réel, et l'écart sur CALVIN n'est pas comblé. Le chiffre de 41 points est mesuré contre le meilleur baseline de fusion, pas contre un entraînement multitâche conjoint. Rien ne dit encore que la méthode tient à l'échelle de VLA de production, ni quel est le surcoût d'inférence lié à la génération des paramètres. Ce travail s'inscrit dans la course aux VLA généralistes, avec des références comme Pi-0, GR00T ou Helix, qui misent surtout sur de grands jeux de données agrégés et un entraînement conjoint. L'approche post hoc par hypernetwork rejoint les recherches sur la fusion de modèles et les adaptateurs légers de type LoRA, qu'elle cherche à dépasser sur le plan des conflits de paramètres. Il s'agit d'un preprint soumis à relecture, sans calendrier de déploiement industriel. Les prochaines étapes à surveiller sont des tests sur robots physiques, des comparaisons avec des VLA de grande taille et la reproduction indépendante des résultats à partir du code publié.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

MotionWeave : apprendre la dynamique future centrée sur le mouvement pour les politiques vision-langage-action

MotionWeave, un framework de recherche publié sur arXiv (2609.39324v1), propose une nouvelle façon d'entraîner les politiques Vision-Language-Action (VLA), ces modèles qui convertissent images et instructions en langage naturel en commandes pour le robot. Le système prédit des « action chunks », c'est-à-dire des séquences d'actions futures, et s'appuie sur deux modules. L'Action-Induced Motion Grounder (AIMG) part des représentations d'action et de proprioception pour construire, pour chaque pas de temps futur, une requête qui localise dans les tokens visuels courants la zone d'interaction concernée. L'Horizon Residual Composer (HRC) calcule ensuite les différences entre zones d'interaction à des horizons adjacents, les encode comme indices de mouvement temporels et les injecte dans les tokens d'action via un résiduel à porte (gated residual). À l'entraînement, des masques du bras robotique rendus à partir des images futures servent à construire une supervision de type divergence KL. À l'inférence, seule l'observation courante est utilisée. Sur six tâches MetaWorld, MotionWeave atteint 75,3 % de succès moyen, soit 8,6 points de plus que π0 (66,7 %), avec des gains marqués sur les tâches d'interaction soutenue. Le code est disponible sur GitHub. L'intérêt tient au problème que cible ce travail. Plusieurs VLA intègrent désormais des world models pour enrichir une supervision souvent limitée à des étiquettes d'action éparses. Prédire des images ou des vidéos futures oblige toutefois le modèle à reproduire de l'apparence sans lien avec le contrôle (textures, arrière-plan). Guider l'action avec une représentation visuelle globale du futur ne garantit pas non plus que chaque action corresponde à un changement visuel local précis. MotionWeave répond en supervisant la dynamique de mouvement plutôt que le rendu, sans coût supplémentaire à l'inférence, un point utile pour les intégrateurs soumis à des contraintes de latence. Les résultats appellent néanmoins de la prudence : six tâches en simulation, un seul benchmark et un seul point de comparaison cité, π0. Rien ne dit que le gain de 8,6 points se maintient sur des robots réels, des scènes encombrées ou des benchmarks plus larges. Aucune démonstration matérielle ni déploiement n'est annoncé, il s'agit d'une preuve de concept académique. Ce travail s'inscrit dans la course à l'enrichissement des VLA par des modèles du monde, après les approches qui prédisent des vidéos futures ou des images-objectifs. π0, de Physical Intelligence, reste la référence de base de nombreuses comparaisons, et MetaWorld un banc d'essai standard mais simulé, donc éloigné des conditions industrielles. La suite logique consisterait à valider la méthode sur plusieurs benchmarks, face à d'autres VLA récents, puis sur matériel réel. Le dépôt ouvert permettra à la communauté de vérifier ces chiffres. Aucun acteur européen n'est mentionné dans cette publication.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Le raisonnement comme distribution : des latents de plan génératifs pour les modèles vision-langage-action (VLA)

Des chercheurs proposent le Generative Plan Latent (GPL), une méthode qui change la façon dont les politiques vision-langage-action (VLA) représentent leur étape de raisonnement avant d'agir. Plutôt que de compresser cette décision intermédiaire en une seule représentation, le GPL la modélise comme une distribution conditionnelle de faible dimension sur les plans possibles : quel objet saisir, quelle prise adopter, quel itinéraire suivre. Selon les auteurs, ce raisonnement devient alors « adressable » sans réentraîner la VLA. Les plans peuvent être échantillonnés pour couvrir les alternatives, sélectionnés à la demande (steering) et repondérés selon les résultats observés en déploiement (adaptation aux résultats). Les tests portent sur la manipulation dans SimplerEnv avec le modèle π0 (Pi-0), puis sur RoboCasa, LIBERO et un domaine de labyrinthe. Le chiffre central : le pilotage du plan fait passer la part d'exécutions qui suivent la consigne de 0,48 à 0,94, alors qu'appliquer le même guidage à la distribution d'actions native ne produit aucun gain fiable. L'enjeu touche un point faible des VLA à raisonnement : quand plusieurs plans sont valides, un modèle qui s'engage sur un seul masque les alternatives que l'opérateur ou le système aurait pu choisir ou corriger. Pour un intégrateur, la capacité de dire « prends cet objet » ou « passe par là » et d'obtenir cette exécution dans 94 % des cas plutôt que dans moins de la moitié est une propriété de contrôlabilité qui compte autant que le taux de réussite brut. Le résultat suggère aussi qu'il vaut mieux agir sur une couche de décision explicite que sur la distribution d'actions bas niveau. L'adaptation par les résultats de déploiement ouvre une voie vers une amélioration en service sans réentraînement coûteux. Les auteurs nuancent toutefois : un plan explicite n'est utile que s'il porte une information de décision que l'observation ne détermine pas déjà. Ces travaux s'inscrivent dans la montée des VLA qui raisonnent avant d'agir, après la première vague de politiques de type π0 qui prédisent directement les actions. La portée reste à relativiser : il s'agit d'un préprint arXiv (v1), évalué uniquement en simulation (SimplerEnv, RoboCasa, LIBERO) et sur un labyrinthe, sans validation sur robot réel ni évaluation indépendante. Le gain de 0,48 à 0,94 vaut pour la fidélité à la consigne dans ces benchmarks, pas pour des cadences ou taux de réussite industriels. La suite logique sera de tester le GPL sur d'autres architectures de VLA et sur du matériel physique, là où les plans multiples et les contraintes de déploiement sont réels.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Temporal GRPO : au-delà du crédit au niveau trajectoire dans l'apprentissage par renforcement pour modèles vision-langage-action

Des chercheurs publient sur arXiv (référence 2608.13026, nouvelle soumission) une méthode baptisée Temporal GRPO, qui corrige un défaut du post-entraînement par renforcement des politiques vision-langage-action (VLA). Dans l'approche standard dite GRPO, un seul score d'avantage est calculé pour toute une trajectoire de robot et appliqué uniformément à chacune de ses actions. Une trajectoire qui réussit plusieurs étapes valides mais échoue ensuite voit donc pénalisées les actions ayant produit un progrès réel plus tôt, un biais que les auteurs nomment "aliasing du crédit au niveau de la trajectoire". Temporal GRPO découpe chaque tâche en étapes détectables, aligne chaque rollout sur les intervalles d'actions propres à ces étapes, et ne compare entre elles que les trajectoires ayant atteint la même étape ; les avantages calculés par étape sont ensuite appliqués aux intervalles correspondants lors d'une seule mise à jour de la politique. Sur le benchmark de simulation RoboTwin 2.0, la méthode améliore le taux de réussite des tâches et l'efficacité d'échantillonnage, avec des gains constants quel que soit l'horizon des tâches. Sur LIBERO-Long, des mises à jour contrôlées montrent qu'elle préserve les étapes prérequises communes aux trajectoires et concentre l'amélioration précisément à la première étape où les résultats divergent. Ce travail cible un maillon technique précis mais central de l'entraînement des politiques VLA par renforcement : l'attribution du crédit sur des tâches longues et multi-étapes, un problème connu qui limite l'apprentissage à partir du seul signal succès/échec de fin de tâche. Pour les équipes qui post-entraînent des politiques robotiques par renforcement plutôt que par simple imitation, un mauvais découpage du crédit désapprend des comportements pourtant corrects, ralentissant la convergence et gonflant le nombre d'essais nécessaires avant tout transfert vers le réel. Les gains reproductibles observés sur deux benchmarks distincts constituent une preuve technique que le crédit par étape, plutôt qu'au niveau global de la trajectoire, améliore l'efficacité d'échantillonnage, un facteur déterminant pour rendre l'apprentissage par renforcement viable à grande échelle sur des tâches robotiques composites. GRPO (Group Relative Policy Optimization) est une méthode popularisée dans l'entraînement des grands modèles de langage avant d'être reprise pour post-entraîner des politiques VLA à partir d'un signal de succès facile à obtenir à grande échelle. RoboTwin 2.0 et LIBERO-Long sont des environnements de simulation standards du champ, utilisés ici sans déploiement matériel ni annonce de partenariat industriel. L'article ne précise ni affiliation des auteurs ni publication de code ; il s'agit à ce stade d'une contribution méthodologique évaluée uniquement en simulation, susceptible d'intéresser les laboratoires développant des politiques VLA généralistes confrontées aux mêmes limites de crédit lors du passage à l'échelle.

RechercheActu

1 source