RecherchearXiv cs.RO 9 novembre 2026

PRISM : routage de primitives par mélange de compétences en contexte pour une adaptation VLA sans oubli

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent PRISM, une méthode d'adaptation de modèles VLA (Vision-Language-Action, politiques robotiques pilotées par le langage) qui vise à conserver les compétences déjà acquises tout en les recomposant dans des tâches longues. Le principe: chaque famille de compétences est stockée comme un adaptateur LoRA de faible rang, dédié à l'« action expert » du modèle, dans une banque de primitives. Ces primitives, complétées par des résidus de bas rang propres à chaque compétence, sont combinées à l'inférence par un routeur conditionné par le VLM, qui lit la représentation du préfixe à chaque segment d'actions (« chunk ») pour suivre l'avancement de la tâche. Le routeur est supervisé par des étiquettes issues d'un oracle déterministe dérivé des actions. Pendant l'entraînement sur tâches composites, les primitives restent gelées, ce qui préserve par construction les adaptateurs de base. Sont en revanche mis à jour l'encodeur visuel, le LoRA de langage, les résidus, le routeur, les projections d'action partagées et le MLP temporel. Sur le benchmark de simulation RoboCasa365, PRISM atteint 56,43 % de succès sur les compétences atomiques et 20,00 % sur les tâches composites longues, contre 17,86 % et 17,50 % pour un fine-tuning LoRA en deux étapes de π0.5. Une validation est aussi annoncée sur un robot réel AgileX PIPER.

L'enjeu dépasse le gain de score. La recette standard consiste à absorber chaque nouvelle tâche dans une mise à jour partagée unique, ce qui expose à l'oubli catastrophique et n'offre aucun point d'ancrage pour réutiliser une compétence au bon moment d'une trajectoire. Les auteurs montrent que cette structure existe déjà de façon latente: les mises à jour LoRA par compétence occupent un sous-espace de faible dimension, clairement distinguable, et un LoRA composite y concentre environ la moitié de son énergie de Frobenius, contre presque rien pour un témoin de rotation aléatoire. Pour un intégrateur, l'idée d'une bibliothèque de compétences modulaires, versionnables et non écrasées par les ajouts suivants est séduisante. Les chiffres demandent toutefois de la prudence: le gain est massif sur l'atomique (environ 38 points) mais modeste sur le composite (2,5 points), et 20 % de succès sur les tâches longues reste très loin d'un seuil industriel. La validation réelle est présentée sans métriques dans le résumé.

Ce travail s'inscrit dans la lignée de π0.5 de Physical Intelligence, devenu la base de référence de nombreuses études d'adaptation par LoRA, et dans les recherches sur les mélanges d'experts et le routage de compétences, face à des approches concurrentes comme GR00T ou Helix, qui misent davantage sur la mise à l'échelle des données et des modèles. RoboCasa365 sert ici de banc d'essai en cuisine domestique simulée, et l'AgileX PIPER est un bras léger bon marché, courant en laboratoire. Il s'agit d'un préprint arXiv (v1), sans relecture par les pairs ni code ou déploiement annoncés. Les prochaines étapes à surveiller sont des évaluations réelles chiffrées, la robustesse du routeur hors de l'oracle supervisé et la capacité à ajouter de nouvelles primitives sans réentraînement.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques

Des chercheurs proposent SPECTRA (Spectral Movement Primitive, SMP), un framework d'apprentissage par imitation dans le domaine fréquentiel pour la manipulation robotique, décrit dans un article publié sur arXiv (2607.06978v1). Le principe consiste à représenter les démonstrations de trajectoire par des coefficients de Fourier tronqués sur horizon fini, plutôt que par des points temporels bruts. Une bande de fréquences basses, sélectionnée empiriquement, capture la géométrie dominante du mouvement, tandis que les harmoniques plus élevées, responsables d'une croissance disproportionnée des dérivées (vitesse, accélération, jerk), sont écartées. Un modèle GMM/GMR (mélange de gaussiennes avec régression) conditionné par le contexte et sensible au référentiel prédit les coefficients de la bande de tâche dans un repère canonique ; la trajectoire cartésienne obtenue est ensuite convertie en espace articulaire via cinématique inverse séquentielle. Un régulateur couplé en phase limite la progression temporelle demandée sans toucher aux coefficients spectraux, imposant ainsi les limites de vitesse et d'accélération articulaires tout en conservant le chemin de l'effecteur. Les auteurs valident l'approche sur plusieurs critères (reconstruction de la bande de tâche, robustesse à des démonstrations corrompues, généralisation hors distribution entre repères non vus, admissibilité dynamique en espace articulaire, préservation du chemin) et un déploiement réel sur un bras Franka Panda. Le problème que cible SPECTRA est concret pour tout intégrateur en apprentissage par imitation : les pipelines classiques apprennent une trajectoire en espace de tâche puis lui imposent après coup des limites d'exécution (filtrage, lissage, écrêtage, mise à l'échelle temporelle), ce qui déforme souvent le chemin de l'effecteur jugé critique pour la tâche, par exemple lors d'un versement, d'une insertion de pièce ou du suivi d'un contour précis. En couplant génération de trajectoire et régulation dynamique dès la conception, dans le domaine fréquentiel, SPECTRA évite cette distorsion a posteriori : les résultats rapportés montrent une réduction substantielle des violations dynamiques et du jerk, tout en préservant le chemin voulu pendant la régulation de phase. Pour la robotique industrielle, où les cycles de préhension et d'insertion tolèrent mal les à-coups mécaniques, cela offre une alternative aux primitives de mouvement dynamiques (DMP) classiques et aux méthodes de lissage a posteriori. Les primitives de mouvement existent depuis les Dynamic Movement Primitives (DMP), introduites il y a une vingtaine d'années et largement utilisées en apprentissage par imitation pour encoder des trajectoires robustes et reproductibles. SPECTRA s'en démarque en travaillant dans le domaine fréquentiel plutôt que temporel, et en couplant explicitement génération de tâche et contraintes d'exécution articulaire plutôt que de les traiter séparément. Le choix du Franka Panda comme plateforme de validation, un bras collaboratif conçu par l'allemand Franka Robotics (ex Franka Emika) très utilisé en recherche académique, ancre les travaux dans l'écosystème européen de manipulation robotique. L'article ne mentionne ni calendrier de transfert industriel ni partenariat commercial : il s'agit à ce stade d'une contribution de recherche évaluée en laboratoire, dont la suite logique serait une validation sur des tâches de manipulation plus complexes et une comparaison directe avec les approches DMP existantes.

UEImpact indirect: la validation s'appuie sur un bras Franka Panda, plateforme concue par l'allemand Franka Robotics, mais aucun partenariat, financement ou deploiement commercial en France/UE n'est mentionne.

RecherchePaper

1 source

2arXiv cs.RO

MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences

MAST-VLA, proposé dans un preprint arXiv (2610.32312), est un cadre de politique vision-langage-action (VLA) destiné à la manipulation robotique multi-compétences. Il s'attaque à une faiblesse des VLA généralistes actuels, qui modélisent mal deux aspects d'une même consigne : quelle compétence élémentaire exécuter (saisir, pousser, ouvrir, etc.) et où, comment entrer en contact avec l'objet et le déplacer. Le système repose sur deux mécanismes. Dans le LLM qui sert de colonne vertébrale, des adaptateurs LoRA-MoE (mélange d'experts à faible rang) conditionnés par la compétence utilisent des « skill-query tokens » et des biais de routage pour spécialiser chaque expert. En parallèle, une carte d'affordance prédite, c'est-à-dire une carte de chaleur des zones d'interaction pertinentes, est convertie en prior spatial au niveau des patchs d'image, qui alimente la tête d'action. Sur le benchmark CALVIN ABC→D, qui teste l'enchaînement de tâches longues dans une scène jamais vue à l'entraînement, MAST-VLA atteint une longueur moyenne de 4,65 tâches sur des séquences de cinq sous-tâches, un résultat présenté comme l'état de l'art. Des essais sur robot réel sont aussi mentionnés. L'intérêt tient à la méthode plus qu'au score. Les VLA généralistes plafonnent souvent sur les séquences longues, où l'erreur d'une étape se propage aux suivantes. Séparer explicitement le « quoi » (la compétence) du « où » (l'affordance) est une piste crédible pour gagner en robustesse sans multiplier les données. L'usage de LoRA-MoE est aussi pragmatique : on spécialise des sous-réseaux légers au lieu de réentraîner un modèle entier, ce qui intéresse les intégrateurs qui adaptent un modèle de base à de nouveaux gestes. Il faut toutefois rester prudent. CALVIN est un benchmark simulé, et une moyenne de 4,65 sur 5 approche la saturation, ce qui limite sa valeur discriminante. Le résumé ne donne ni nombre de tâches réelles, ni taux de réussite, ni type de robot, et les mots « validé sous bruit de perception et de contrôle » ne remplacent pas des chiffres. L'écart entre démonstration et déploiement reste donc entier. Ce travail s'inscrit dans la course aux politiques VLA ouvertes et généralistes, avec des références comme Pi-0 de Physical Intelligence, OpenVLA, GR00T de NVIDIA ou Helix de Figure, qui privilégient en général l'échelle des données et des modèles. MAST-VLA suit une autre voie, plus structurée, qui injecte des priors de compétence et de géométrie dans l'architecture. Plusieurs travaux récents sur CALVIN suivent des idées proches, avec des affordances ou des trajectoires intermédiaires. Le preprint n'a pas encore été relu par des pairs, et le résumé n'annonce ni code ni poids publiés. La suite à surveiller est donc la publication de ces éléments, des tests sur des benchmarks plus exigeants (LIBERO, SimplerEnv) et des résultats réels chiffrés avant de juger sa portée industrielle.

RecherchePaper

1 source

3arXiv cs.RO

Récupération hiérarchique de compétences pour l'adaptation efficiente des modèles vision-langage-action

Des chercheurs présentent Hierarchical Skill Retrieval (HSR), un framework de récupération de démonstrations pour adapter plus efficacement les modèles Vision-Language-Action (VLA) à de nouvelles tâches de manipulation robotique avec peu de données spécifiques. Plutôt que de chercher des correspondances de tâches complètes, rares dans les jeux de données existants, HSR décompose une tâche cible en séquences de compétences candidates, évalue chaque plan selon sa plausibilité sémantique et la fiabilité des compétences estimée à partir du jeu de données préalable, puis combine récupération de langage au niveau sous-tâche et reclassement par caractéristiques comportementales pour sélectionner des démonstrations pertinentes et compatibles. La politique est ensuite adaptée via un pipeline en deux étapes séparant acquisition générale de compétences et finetuning spécifique à la tâche. Sur le benchmark LIBERO et sur plusieurs tâches de manipulation en conditions réelles, HSR améliore le taux de succès moyen de 10,3% et 21,3% respectivement par rapport à la meilleure méthode de référence. Vidéos et code sont disponibles sur le site du projet. Ce travail s'attaque à un problème très concret pour l'industrie robotique : les modèles VLA préentraînés sur de vastes jeux de données de démonstrations perdent en performance dès qu'on les confronte à des tâches nouvelles avec peu d'exemples, un frein majeur au déploiement rapide chez les intégrateurs. En structurant la récupération autour de compétences réutilisables plutôt que de tâches entières, HSR propose une piste pour réduire le coût de collecte de données lors du transfert vers de nouveaux environnements ou de nouvelles chaînes de production, un enjeu central pour quiconque cherche à industrialiser des bras robotiques ou des humanoïdes au-delà des démonstrations en laboratoire. Le gain plus marqué en conditions réelles (21,3%) qu'en simulation (10,3%) suggère que l'approche hiérarchique compense particulièrement bien le bruit et la variabilité du monde physique, un point souvent négligé par les méthodes de récupération fondées sur la seule similarité visuelle ou l'appariement de langage au niveau tâche. HSR s'inscrit dans la lignée des travaux récents sur l'adaptation efficace des modèles VLA de type Pi-0 ou GR00T, où la question centrale reste de savoir comment tirer parti de grands jeux de données hétérogènes sans réentraînement coûteux pour chaque nouvelle tâche. Les auteurs positionnent leur méthode par rapport aux approches de récupération existantes basées sur la similarité visuelle, les représentations état-action ou l'appariement de langage au niveau tâche, qu'ils jugent insuffisantes face à la structure hiérarchique des tâches de manipulation à long horizon. Le code et les vidéos de démonstration étant publiés en accès libre, la validation par la communauté sur d'autres benchmarks et plateformes robotiques déterminera si ces gains se généralisent au-delà de LIBERO et des tâches réelles testées par les auteurs.

RechercheOpinion

1 source

4arXiv cs.RO

RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire

Des chercheurs présentent RoboHarness, un dispositif logiciel qui se greffe sur des modèles vision-langage-action (VLA) déjà entraines pour améliorer leur robustesse face au bruit perceptif et aux variations d'environnement, sans reentrainer les poids du réseau. L'architecture combine trois briques opérant en ligne, une récupération contrastive a double mémoire (RAG), un orchestrateur vision-langage pilote par un grand modèle de langage multimodal capable d'attribuer causalement les échecs d'exécution, et des interventions extensibles via le Model Context Protocol (MCP), auxquelles s'ajoute un module hors ligne de consolidation mémoire qui distille les traces d'exécution en connaissances a priori réutilisables. Les auteurs ont teste ce système sur trois modèles VLA de base, Pi-0, Pi-0.5 et SmolVLA, sur les benchmarks LIBERO-PRO et sur LIBERO-RoboHarness, un nouveau benchmark qu'ils ont eux-mêmes conçu. Resultat annonce: un gain moyen de taux de réussite absolu de 56,6%, avec une amélioration de 89,1% sur les taches longues enchaînées (long-horizon task chaining). Le code source et la page projet sont publies sur GitHub, sous le compte LZY-1021. Le papier, publie sur arXiv, en est a sa troisième version révisée. Cette approche cible une faiblesse connue des modèles VLA généralistes: leur fragilité des qu'ils sortent de la distribution de données d'entrainement, un écart souvent masque dans les démonstrations mais critique pour un déploiement industriel réel. En proposant une couche additive et sans fine-tuning, applicable a plusieurs backbones existants, RoboHarness s'inscrit dans une tendance émergente consistant a traiter la robustesse comme un problème d'orchestration et de mémoire en contexte plutôt que de seul entrainement. Pour les intégrateurs, cela laisse entrevoir la possibilité de renforcer des politiques VLA déjà déployées sans refaire les couteux cycles de collecte de données et de reentrainement, un argument potentiellement déterminant pour l'adoption en environnement industriel variable. Les modèles VLA généralistes, tels Pi-0 développe par Physical Intelligence, occupent une place croissante dans la robotique manipulatrice, aux cotes d'autres approches généralistes du secteur. RoboHarness ne constitue pas un nouveau modèle mais un harnais complémentaire, positionne comme correctif a la faiblesse structurelle de mémoire et d'attribution causale des VLA figes. Les benchmarks utilises restant majoritairement simules (suite LIBERO), la validation sur robot physique et en conditions industrielles reste l'étape a surveiller pour juger de la portée réelle de ces gains annonces.

RechercheActu

1 source