RecherchearXiv cs.RO 10 juillet 2026

SkillPlug : extraction non supervisée de compétences pour l'adaptation en few-shot dans la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (arXiv:2607.08354v1, soumission nouvelle) SkillPlug, un framework destiné à l'apprentissage par imitation visuomotrice en robotique de manipulation. Le système se présente comme un module "plug-in" qui vient s'ajouter à une politique visuomotrice existante : il ajoute un module de conditionnement par compétences ("skill-conditioning") et extrait, à partir de démonstrations multi-tâches brutes et sans supervision, une bibliothèque de compétences partagée et réutilisable. L'extraction repose sur des objectifs auto-supervisés conçus pour produire des primitives comportementales compactes, non redondantes et transférables d'une tâche à l'autre. Une fois cette bibliothèque figée, l'adaptation à une nouvelle tâche ne nécessite plus qu'un réentraînement léger : seuls un routeur et une tête d'action sont ajustés, sans réentraînement complet de bout en bout. Les auteurs rapportent des tests sur deux bancs d'essai en simulation et sur un robot réel, avec une amélioration observée à la fois en performance multi-tâches et en adaptation à partir de peu de démonstrations (few-shot). L'abstract ne fournit toutefois aucun chiffre précis de gain de taux de réussite ni détail sur les bancs de test utilisés, ce qui limite la portée vérifiable des résultats à ce stade.

L'enjeu pratique visé est réel pour les intégrateurs robotiques : la plupart des politiques actuelles sont entraînées de bout en bout et n'offrent aucune structure explicite pour réutiliser des comportements déjà appris, ce qui rend le transfert vers de nouvelles tâches coûteux en données. En figeant une bibliothèque de compétences et en ne réentraînant qu'un routeur léger, SkillPlug promet une adaptation à moindre coût de calcul et de données, un point sensible pour tout déploiement industriel où recollecter des centaines de démonstrations par nouvelle tâche n'est pas viable économiquement.

Ce travail s'inscrit dans un courant de recherche plus large qui cherche à réintroduire une structure compositionnelle (bibliothèques de compétences, primitives réutilisables) dans des politiques d'apprentissage par imitation de plus en plus dominées par des modèles monolithiques de type VLA (vision-language-action). Il s'agit ici d'une publication de recherche académique, sans acteur industriel ni produit commercial associé, et sans mention de comparaison directe avec des systèmes VLA à grande échelle déployés dans l'industrie. Les prochaines étapes attendues seraient une évaluation à plus grande échelle et une comparaison chiffrée face aux approches de politique de bout en bout dominantes.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Adaptation cinématique basée sur la force et le couple pour les tâches de manipulation robotique

Publié sur arXiv le 21 août 2026 (arXiv:2608.21592v1), l'article présente une méthode d'adaptation cinématique en ligne pour la manipulation robotique en contact riche, où la relation entre les articulations d'un robot et l'outil qu'il tient change à chaque prise, parfois presque instantanément lors des changements de mode de contact, notamment pour les mains multi-doigts dont les points de contact ne sont pas fixés à l'avance. Les auteurs dérivent une loi de mise à jour dont la stabilité est démontrée mathématiquement: elle identifie la cinématique d'un outil inconnu à partir des seules mesures articulaires et d'un capteur de force/couple monté au poignet, sans aucune mesure extéroceptive de la pointe de l'outil, aussi bien en rigide qu'avec un contrôleur de compliance en boucle interne. L'identification ne porte que sur les directions excitées par le mouvement: la longueur d'un outil reste inobservable lors d'une insertion rigide en ligne droite, mais devient partiellement observable via le relâchement passif d'une boucle compliante. Une formulation alternative en programme quadratique reproduit le terme de prédiction de cette loi mais échoue à reproduire son terme de suivi. La validation reste, pour l'instant, une simulation d'insertion cheville-trou. Ce travail cible un verrou concret pour l'industrie: la plupart des systèmes de manipulation supposent une cinématique outil-effecteur fixe et connue, ce qui impose de recalibrer le robot à chaque changement d'outil ou de préhenseur, un frein à la polyvalence recherchée par les intégrateurs et les concepteurs de mains robotiques multi-doigts. En rendant l'estimation purement proprioceptive, sans caméra ni capteur tactile dédié, l'approche réduit l'instrumentation nécessaire pour des tâches de prise pleine main où les points de contact varient à chaque saisie. Elle s'inscrit aussi dans un débat plus large de la recherche en robotique: découpler l'apprentissage de la politique de tâche, par exemple via apprentissage par renforcement, de l'adaptation aux spécificités physiques d'un robot, d'une main ou d'un outil donné, dans l'idée de faciliter le transfert de politiques apprises vers d'autres configurations matérielles sans réentraînement complet. Les auteurs présentent ce travail comme une première étape d'un programme de recherche plus large, et non comme une solution aboutie: aucune validation sur robot physique n'est rapportée, seulement une simulation simple d'insertion, ce qui laisse ouverte la question du passage à l'échelle sur des prises complexes et sur du matériel réel. Le résumé public n'identifie ni laboratoire ni entreprise, et aucun lien n'est établi avec des plateformes commerciales comme Figure ou Tesla Optimus, ni avec des modèles vision-langage-action tels que Pi-0 ou GR00T N2. La démarche s'inscrit dans la lignée des recherches sur la manipulation dextre adaptative et l'estimation en ligne de paramètres physiques, un axe exploré en parallèle par plusieurs laboratoires de robotique pour réduire la dépendance des politiques de manipulation à une calibration extéroceptive précise.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper

1 source

3arXiv cs.RO

SkillMemo : un cadre de mémoire de compétences guidé par des experts pour la manipulation robotique compositionnelle

Un article déposé sur arXiv début août 2026 présente SkillMemo, un framework de mémoire de compétences pour la manipulation robotique compositionnelle. Il vise une limite connue des politiques de diffusion (Diffusion Policy) et des modèles vision-langage-action (VLA): leur difficulté à généraliser hors distribution faute de jeux de données de trajectoires suffisamment vastes. Un module de segmentation guidé par experts, bâti sur une architecture Mixture-of-Experts, découpe les démonstrations longues en compétences atomiques via des coefficients de gating appris, puis les stocke dans une mémoire épisodique sous forme de paires clé-valeur compactes. À l'inférence, le modèle récupère les compétences pertinentes et les fusionne avec sa distribution de gating courante pour affiner ses prédictions d'action. Sur des benchmarks de simulation et des tâches réelles de manipulation, SkillMemo améliore les backbones DP et VLA et dépasse le modèle de référence π0.5. La rareté des trajectoires embarquées à grande échelle limite structurellement la capacité des VLA et des DP à recombiner des compétences apprises séparément pour des tâches nouvelles, un écart souvent pointé entre démonstrations de laboratoire et robustesse réelle. En misant sur une mémoire de compétences réutilisables plutôt que sur un réentraînement systématique, SkillMemo réduit cette dépendance aux données sans changer d'architecture de base, un enjeu direct pour les intégrateurs qui ont besoin de politiques capables de composer des compétences déjà apprises face à des tâches variables. Battre π0.5, référence largement citée dans la littérature récente, renforce la crédibilité de l'approche mémoire pour la généralisation compositionnelle, un problème que le simple passage à l'échelle des modèles n'a pas suffi à résoudre. SkillMemo s'inscrit dans la lignée des travaux récents sur les politiques de diffusion et les modèles VLA, devenus les deux paradigmes dominants pour piloter bras et robots humanoïdes à partir de démonstrations, et répond à un constat partagé: ces modèles peinent à sortir du cadre de leurs données d'entraînement dès qu'une tâche combine des sous-compétences dans un ordre inédit. À ce stade, SkillMemo reste un travail de recherche en preprint, validé sur des benchmarks de simulation et des tâches réelles en laboratoire, sans indication de code public, de partenariat industriel ni de calendrier de déploiement. Son positionnement face à π0.5 en fait néanmoins une référence probable pour les prochains travaux sur la mémoire de compétences en robotique.

RecherchePaper

1 source

4arXiv cs.RO

Compétences en poids, mémoire en code : apprentissage hybride pour la manipulation robotique dépendante de la mémoire

Une équipe de recherche a publié le 11 août 2026 sur arXiv (référence 2608.09410) un article intitulé "Skills in Weights, Memory in Code", présentant HyMeS, un framework hybride destiné à la manipulation robotique dépendant de la mémoire à long terme. Le système associe une politique vision-langage-action (VLA) markovienne, qui apprend les compétences motrices de bas niveau par imitation learning basée sur le gradient, à un agent de codage chargé de la gestion de la mémoire de haut niveau. Cet agent apprend par heuristique, en mettant à jour de façon itérative un système de règles exécutables à partir des retours d'essais (rollouts). Une vérification multimodale de l'achèvement des étapes, combinant signaux proprioceptifs et jugements d'un modèle vision-langage sur plusieurs images, permet de rafraîchir la mémoire en boucle fermée. Sur le benchmark RoboMemArena, HyMeS fait grimper le taux de succès cumulé moyen de 52,5% à 66,2% et le taux de succès par tâche de 41,3% à 60,1% par rapport au modèle de référence pi0.5, tout en dépassant le système concurrent PrediMem de 4,5 points en succès cumulé et 14,5 points en succès par tâche. L'enjeu dépasse la simple performance chiffrée: la plupart des politiques VLA actuelles génèrent chaque action à partir de l'observation courante ou d'un historique court et fixe, ce qui les rend inadaptées aux tâches non markoviennes où le robot doit se souvenir d'informations glanées bien plus tôt dans la séquence. En séparant les compétences motrices, apprises par imitation et figées dans les poids du réseau, de la logique de mémoire, gérée en code exécutable et adaptable sans nouvelles démonstrations, HyMeS promet une généralisation compositionnelle plus économe en données: seules les compétences motrices réutilisables nécessitent des démonstrations, pas chaque configuration de tâche dépendante de l'historique. Pour les intégrateurs et laboratoires travaillant sur des tâches industrielles multi-étapes (tri, assemblage séquentiel), c'est un argument direct contre le coût prohibitif de collecte de données propre aux approches VLA de bout en bout. Le travail s'inscrit dans la lignée des modèles VLA généralistes tels que pi0.5 (Physical Intelligence), utilisé ici comme référence, et se positionne face à d'autres approches de mémoire augmentée comme PrediMem. Il s'agit à ce stade d'un préprint arXiv validé uniquement sur le benchmark RoboMemArena, sans validation annoncée sur robot physique ni pilote industriel.

RecherchePaper

1 source