RecherchePandaily 24 octobre 2026

RoboSkill de Fudan : les agents robotiques enregistrent ce qu'ils apprennent sous forme de compétences réutilisables (texte et code)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'Institute of Trustworthy Embodied Intelligence de l'université Fudan ont publié sur arXiv RoboSkill, un cadre logiciel qui permet à un agent robotique généraliste de conserver ce qu'il apprend en situation. L'article s'intitule « Explore, Execute, Evolve: A Skill Acquisition and Reuse Loop for Embodied Agents », et le code est disponible sur GitHub. Le principe : l'agent explore une tâche, puis enregistre la méthode qui a fonctionné sous forme de « compétence » composée d'instructions écrites et du code effectivement exécuté. Sur le benchmark de simulation LIBERO-10, avec un budget de quatre heures et des essais répétés, les meilleurs agents atteignent 100 % de réussite. Sur robot réel, le meilleur agent réussit 91,7 % des tâches simples et 80 % des tâches difficiles. Le coût reste le temps : les simulations durent jusqu'à 94,5 minutes en moyenne, et les tâches réelles réussies demandent 20 à 27 minutes. RoboSkill agit sur deux leviers. L'ajout du toucher (pression, force, couple) permet à l'agent de savoir si la pince est en contact sans reprendre une image. Le temps moyen d'un agent passe ainsi de 25,35 à 15,93 minutes en simulation, et une tâche réelle de récupération de tube à essai de 33,63 à 20 minutes. La capitalisation de compétences, mise à jour après chaque tâche, fait passer un agent de 94,5 à 35,9 minutes.

Le résultat le plus instructif concerne le format des compétences. Passer de compétences en texte seul à texte plus code réduit le temps moyen des quatre agents testés. Pour l'un d'eux, le temps tombe de 67,1 à 39,9 minutes et la réussite dès la première tentative monte de 15 % à 67,5 %. Globalement, les auteurs annoncent des gains de 12,5 à 25 points de réussite au premier tour sur LIBERO-10, des économies de temps de simulation de 7,6 à 72,4 % et un gain de 8,3 points sur robot réel. Ils affirment aussi que les compétences se transfèrent entre tâches et entre modèles d'agents différents. Pour les intégrateurs, l'enjeu est de contourner le coût des démonstrations téléopérées, des remises à zéro de scène et des répétitions qu'exigent les modèles vision-langage-action (VLA) à chaque site. Il faut toutefois relativiser : 20 à 27 minutes pour une tâche réussie restent incompatibles avec un temps de cycle industriel. Le gain porte sur le déploiement et l'adaptation, pas sur la cadence d'exécution. Ces chiffres viennent des auteurs, sur un benchmark de simulation et un nombre restreint de tâches réelles, sans validation indépendante.

Ces travaux s'inscrivent dans un virage où des agents multimodaux généralistes observent, raisonnent et écrivent du code de commande à la volée, en alternative aux politiques VLA entraînées sur des données propres à chaque site. Leur limite est la boucle observer, raisonner, agir, vérifier, où le raisonnement entre deux petits mouvements de bras peut prendre plusieurs minutes. RoboSkill tente de la réduire par la mémoire procédurale plutôt que par un modèle plus rapide. Il s'agit à ce stade d'une publication de recherche, sans produit ni pilote industriel annoncé. L'étape suivante sera de vérifier si les compétences tiennent hors du cadre contrôlé, sur des scènes variées, et si le temps d'exécution peut approcher les exigences de production. Le travail s'ajoute à une série d'efforts chinois sur les données tactiles et les modèles d'intelligence incarnée, comme la collecte de 30 000 heures de données tactiles ou l'open source de Lambda-0 par Amap.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Politique de contrainte de surface pour l'apprentissage de compétences robotiques contraintes et dynamiquement réalisables

Des chercheurs ont déposé en mai 2026 sur arXiv (identifiant 2605.31321) un article présentant la Surface Constraint Policy (SCP), une méthode destinée à améliorer la fiabilité des robots dans des tâches de manipulation dextre impliquant des contraintes de surface complexes et de forme libre. L'approche encode la géométrie de surface à partir de démonstrations humaines via une fonction noyau gaussien pondérée en deux dimensions. Sur cette base, une politique de diffusion infère des intentions d'action à partir d'entrées multimodales (observations visuelles et retour d'état du robot), qui sont ensuite transformées en primitives de mouvement dynamique contraintes à la surface (DMPs, Dynamic Movement Primitives) via une méthode de mapping par similarité. Ce pipeline produit des trajectoires à la fois géométriquement admissibles et dynamiquement réalisables. Les auteurs font état de taux de succès et d'une stabilité de contact supérieurs aux méthodes comparées, sans que le résumé ne détaille les métriques précises ni les benchmarks utilisés. Ce travail pointe un angle mort persistant des approches actuelles d'apprentissage par imitation à base de diffusion : les politiques classiques génèrent des actions de manière stochastique, sans modéliser explicitement la géométrie de la surface de contact. En pratique, cela se traduit par des glissements, des décrochages ou des trajectoires physiquement inadmissibles, problèmes rédhibitoires pour des applications industrielles comme le polissage, l'assemblage surfacique ou le soudage. L'originalité de SCP tient à l'intégration des contraintes géométriques dès la génération d'action, couplée à des DMPs qui garantissent la faisabilité dynamique. Pour les intégrateurs et les équipes R&D, cette approche représente un pas concret vers la répétabilité requise en production, là où la stabilité du contact prime sur la généralisation toutes-tâches. Ce travail s'inscrit dans une vague de recherche intense autour des politiques de diffusion pour la manipulation robotique, initiée par Diffusion Policy (Chi et al., 2023, Columbia University) et accélérée par des acteurs comme Physical Intelligence avec pi0, Google DeepMind avec RT-2, ou encore ACT de Stanford. Les primitives de mouvement dynamique mobilisées ici sont un outil classique de la robotique depuis les travaux de Schaal dans les années 2000, mais leur couplage avec un pipeline de diffusion moderne pour gérer des contraintes surfaciques constitue l'apport original de la méthode. Les limitations pointées par les auteurs sont partagées par la plupart des architectures VLA actuelles, ce qui signale un axe de recherche pertinent pour quiconque vise le déploiement industriel. Les prochaines étapes naturelles incluraient une validation sur des surfaces déformables ou en mouvement, ainsi qu'un test de passage à l'échelle avec une plus grande diversité de tâches et de morphologies robotiques.

RecherchePaper

1 source

2arXiv cs.RO

Redonner vie au « Code as Policy » : des agents de pointe écrivent, appellent et font évoluer les outils robotiques

Des chercheurs publient URAI (Universal Robot-Agent Interface), un cadre qui sépare les rôles entre modèles de pointe et code exécutable pour la manipulation robotique. Un agent de programmation écrit des outils robotiques réutilisables ou spécifiques à une tâche à partir de l'intention de la tâche, puis les affine grâce au retour d'exécution et aux consignes humaines. Un agent d'exécution choisit et paramètre ces outils d'après les observations courantes. Chaque appel déroule localement un mouvement complet (approche, saisie, retrait) avant de rendre la main à l'agent. Les révisions validées persistent d'un épisode à l'autre sans toucher aux poids du modèle, et une interface graphique et une API communes donnent aux humains et aux agents accès aux mêmes outils. Sur cinq tâches du banc RoboDojo et quatre agents d'exécution figés, le taux de succès agrégé passe de 18,0 % à 53,0 % par rapport au contrôle direct des bouts de doigts, avec le gain le plus net sur Swap Blocks. Trois agents sur quatre terminent leurs épisodes 1,3 à 1,5 fois plus vite, avec 1,5 à 1,7 fois moins de tokens de sortie. Le coût de DeepSeek-V4-Flash, lui, varie à peine. Le cadre est aussi évalué sur sept tâches réelles avec un robot bimanuel AgileX : manipulation d'objets, pliage de textile et morpion en interaction avec un humain. L'intérêt tient à l'arbitrage que ce travail rend mesurable. Faire raisonner un modèle de pointe à chaque mouvement élémentaire rend la manipulation lente et gourmande en tokens, ce qui pèse directement sur la latence et le coût d'exploitation d'un déploiement. Ici, le code absorbe les séquences de mouvement, et le modèle ne garde que la décision de haut niveau entre deux appels. Le résultat le plus instructif est la comparaison avec un programme écrit à l'avance : avec les mêmes outils, il n'atteint que 24 %, contre 56 % pour deux agents qui décident après chaque appel. Autrement dit, la boucle de rétroaction au niveau du modèle compte autant que la qualité des outils. À nuancer : les gains de vitesse ne sont pas uniformes, l'évaluation en simulation reste limitée à cinq tâches, et les résultats réels sur sept tâches AgileX sont décrits sans les chiffres détaillés dans le résumé. Pour un intégrateur, l'idée d'une bibliothèque d'outils améliorable sans réentraînement est séduisante, mais sa robustesse en production reste à démontrer. Ce travail relance l'approche « code as policy », où un modèle de langage génère directement du code de contrôle. Cette approche avait montré ses limites lorsque le programme généré gérait seul toutes les décisions suivantes. URAI y répond en gardant le modèle dans la boucle. Il se place face aux politiques VLA (vision-langage-action) entraînées de bout en bout, comme Pi-0 ou GR00T, qui exigent des données de téléopération et des mises à jour de poids, alors qu'URAI s'appuie sur des modèles génériques figés et sur l'écriture d'outils. Les deux voies pourraient se combiner, des VLA fournissant des primitives que des agents orchestreraient. Il s'agit d'un preprint (arXiv, v1) : aucun produit, calendrier de déploiement ni partenaire industriel n'est annoncé. Les prochaines étapes à surveiller sont une validation sur davantage de tâches réelles, des comparaisons directes avec des VLA, et la reproductibilité sur d'autres matériels que l'AgileX.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

V2-STRep : représentations structurées de tâches ancrées dans un VLM pour des compétences robotiques réutilisables issues de vidéos générées

Un article publié sur arXiv (référence 2609.20582v1, mis en ligne le 18 septembre 2026) présente V2-STRep, un framework de recherche "zero-shot" qui transforme des vidéos de manipulation générées par IA en compétences robotiques réutilisables. Le principe consiste à remplacer l'enregistrement de démonstrations physiques par un robot pour chaque tâche par une vidéo synthétique, produite par un modèle de génération vidéo à partir d'une image de scène initiale et d'une instruction textuelle. Les auteurs relèvent que cette vidéo générée ne capture qu'une seule réalisation, propre à une scène donnée, sans expliciter la structure de la tâche ni ses contraintes géométriques. V2-STRep corrige ce manque en s'appuyant sur un modèle vision-langage (VLM) pour bâtir une représentation structurée : phases de mouvement, références et contraintes, décrites via des structures géométriques minimales (points, points-normales, axes, plans, poses 6D complètes). Les indices 2D fournis par le VLM sont ensuite reprojetés en 3D à partir d'observations RGB-D, pour reconstruire la géométrie de la tâche et les poses de prise candidates. Des règles propres à chaque type de géométrie transfèrent ensuite le mouvement vers de nouvelles scènes, tandis qu'une optimisation de trajectoire sous contraintes couple sélection de prise et planification complète du mouvement, en exploitant la liberté de rotation restante pour respecter les limites articulaires. Sur six tâches de manipulation réelles, la méthode affiche un taux de réussite supérieur aux méthodes de référence testées, un transfert fiable entre scènes différentes, et une capacité d'adaptation à de nouvelles instructions compatibles sans régénérer de vidéo. Pour les intégrateurs et laboratoires de robotique, l'intérêt tient moins à un produit qu'à une piste méthodologique : contourner le goulot d'étranglement de la collecte de démonstrations téléopérées, coûteuse et lente à faire passer à l'échelle, en s'appuyant sur des modèles de génération vidéo déjà entraînés sur des vidéos humaines. Le travail répond directement à une limite connue de cette approche, à savoir qu'une vidéo générée reste ancrée dans la scène où elle a été produite et ne se généralise pas telle quelle. En démontrant un transfert entre scènes et une adaptation à de nouvelles instructions sans nouvelle génération vidéo, l'étude nuance l'idée reçue que les modèles vidéo-vers-action ne fonctionnent qu'en circuit fermé, scène par scène. Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter des vidéos humaines ou générées comme substitut aux démonstrations robotiques réelles, en complément des approches VLA entraînées sur des données massives de téléopération comme Pi-0, GR00T N2 ou Helix. Il ne s'agit ici que d'un article de recherche à l'état de preprint, validé sur six tâches en laboratoire, sans annonce de produit, de partenariat industriel ni de déploiement chez un intégrateur. Aucun acteur français ou européen n'est cité dans ces travaux. Les prochaines étapes attendues, classiques pour ce type de publication, sont l'élargissement du nombre de tâches testées, la comparaison avec davantage de baselines, puis une éventuelle reprise par des équipes industrielles cherchant à réduire leurs coûts de collecte de données.

RecherchePaper

1 source

4arXiv cs.RO

Vers l'apprentissage et l'adaptation de compétences robotiques par processus gaussiens

Des chercheurs proposent un cadre d'adaptation de compétences robotiques fondé sur les processus gaussiens (GP), publié sur arXiv (2603.01480v2). Le modèle représente une trajectoire démontrée par un nombre réduit de points de passage (via-points) et tient compte des poses ainsi que de leurs dérivées analytiques première et seconde, afin de préserver le profil cinématique de la compétence (vitesse et accélération). Trois méthodes d'adaptation sont présentées pour absorber l'écart entre la configuration initiale et la configuration observée. La première est un agent d'optimisation qui déplace les via-points tout en conservant la vitesse de la démonstration. La deuxième est un agent de clonage comportemental entraîné à reproduire les trajectoires produites par le premier. La troisième est un agent d'apprentissage par renforcement (RL) qui modifie les via-points en maintenant le profil cinématique, ce qui permet une adaptation en ligne. L'évaluation porte sur trois tâches (ouverture de tiroir, poussée de cube, manipulation de barre), en simulation et sur matériel réel. Selon les auteurs, les trois méthodes dépassent tous les benchmarks en taux de succès, avec une similarité cosinus élevée et de faibles erreurs de norme de vitesse. Le résumé ne donne ni chiffres précis, ni nom de robot, ni identité des benchmarks. L'intérêt tient à un point faible connu de l'apprentissage par démonstration. Beaucoup de modèles de compétences, même affinés par RL, manquent de capacité de représentation dès que l'environnement s'écarte sensiblement de la démonstration. Ici, une seule démonstration suffit à couvrir de grandes déviations de configuration, ce qui réduit le coût de collecte de données, un frein réel pour les intégrateurs. Le fait de conserver le profil de vitesse est aussi un argument pratique : il limite les mouvements brusques et facilite la validation sécurité en atelier. La représentation compacte reste interprétable, à la différence des grands modèles vision-langage-action (VLA) qui demandent de gros volumes de données. Il faut toutefois relativiser. Trois tâches simples, sans indication de la variabilité testée ni de la charge ou du nombre d'essais sur matériel, ne démontrent pas encore une robustesse industrielle. Les résultats sont ceux d'un travail académique, pas d'un produit déployé. Les compétences robotiques s'appuient depuis longtemps sur les primitives de mouvement dynamiques (DMP) et les modèles de mouvement probabilistes, dont les GP sont une variante expressive, offrant une incertitude et des dérivées analytiques. Leur adaptation était jusqu'ici peu explorée, la littérature récente se concentrant sur le RL et sur les politiques neuronales. Ce travail se place entre les approches classiques à une démonstration et les VLA généralistes comme Pi-0 ou GR00T, qui visent la généralisation par l'échelle. La version 2 du préprint suggère une révision en cours, sans publication évaluée par les pairs annoncée. La suite logique serait une validation sur davantage de tâches, de robots et de perturbations, avec des comparaisons chiffrées contre les approches dominantes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source