RecherchearXiv cs.RO 30 septembre 2026

SkillWeaver : exploration à base d'agents de compétences d'interaction neuronales pour la génération de données robotiques à grande échelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SkillWeaver, un framework publié sur arXiv (2609.36171), propose de générer automatiquement des données robotiques en simulation grâce à un agent de raisonnement. Le système repose sur des « Neural Interaction Skills » (NIS), des politiques paramétrables, réutilisables et en boucle fermée, entraînées par apprentissage par renforcement pour la manipulation riche en contacts. Étant donné une tâche et un environnement simulé, un agent VLM (modèle vision-langage) décide de la prochaine action, invoque et paramètre une NIS, observe le résultat, puis produit des étapes de vérification, de réflexion et de mémoire. L'exploration prend la forme d'une recherche arborescente guidée par un vérificateur. Le système a généré 39,1 K démonstrations sur 14,1 K scènes, ensuite distillées en politiques visuomotrices. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel associé.

L'enjeu porte sur le goulot d'étranglement de la donnée. La téléopération reste coûteuse et difficilement extensible à des environnements variés ou à des tâches longues. Les pipelines de simulation actuels dépendent souvent de contrôleurs en boucle ouverte, de séquences de compétences scriptées ou de programmes propres à chaque tâche, ce qui limite leur généralité. SkillWeaver déplace la logique : le savoir-faire physique est encapsulé dans des primitives apprises, et l'agent découvre lui-même les enchaînements gagnants. Les auteurs affirment une meilleure généralisation à de nouveaux objets, configurations spatiales, tâches et environnements, ainsi qu'un transfert sim-to-sim et sim-to-real en zéro ou few-shot. Ces résultats viennent du résumé de l'article. Le résumé ne donne aucun taux de réussite, aucun modèle de référence ni aucun protocole. Le volume de manipulation réelle testé est aussi inconnu, alors que c'est là que se joue l'écart entre démonstration et réalité. La revendication d'une alternative « scalable » reste donc à confirmer par les tableaux détaillés.

Le travail s'inscrit dans la recherche sur la génération de données synthétiques pour les modèles VLA (vision-langage-action), qui alimentent aujourd'hui les efforts autour de Pi-0, GR00T ou Helix. Elle vise à réduire la dépendance à la collecte humaine. Les approches concurrentes combinent LLM et code généré, ou augmentent un petit nombre de démonstrations humaines en simulation. L'originalité ici est de placer des politiques RL fermées, et non du code ou des trajectoires scriptées, comme briques de l'exploration. La suite dépendra de la publication du code et des données, de la reproduction par d'autres laboratoires et de la mesure du coût de calcul de la recherche arborescente. Aucun acteur français ou européen n'est cité dans le résumé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

ASPIRE : découverte de compétences à base d'agents pour la robotique

ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) est un nouveau système d'apprentissage continu pour la robotique, décrit dans un article publié sur arXiv (2607.00272) début juillet 2026. Contrairement à la programmation robotique traditionnelle, qui impose de coder manuellement la perception multimodale, la gestion des contacts physiques et la diversité des échecs d'exécution, ASPIRE écrit et corrige lui-même ses programmes de contrôle selon le paradigme "code-as-policy", puis capitalise chaque correction validée dans une bibliothèque de compétences réutilisables. Le système s'appuie sur trois briques : un moteur d'exécution en boucle fermée qui expose des traces multimodales fines pour diagnostiquer les échecs et synthétiser des réparations ; une bibliothèque de compétences qui s'enrichit en continu de correctifs transférables ; et une recherche évolutionnaire qui génère des séquences de tâches et des programmes de contrôle variés, au-delà du simple raffinement trajectoire par trajectoire. Sur les bancs d'essai simulés, ASPIRE dépasse les méthodes précédentes de 77% sur les manipulations perturbées de LIBERO-Pro, 72% sur les transferts bimanuels de Robosuite, et 32% sur les tâches ménagères longues de BEHAVIOR-1K. Ce travail s'attaque directement à un point de friction connu du secteur : la difficulté à faire generaliser des politiques de contrôle robotique au-delà de la tâche pour laquelle elles ont été conçues, sans réentraînement lourd à chaque nouvelle configuration. La bibliothèque cumulative d'ASPIRE permet une généralisation zero-shot à des tâches longues jamais vues : 31% de réussite sur LIBERO-Pro Long, contre seulement 4% pour les meilleures méthodes concurrentes, qui pourtant s'appuient sur du raisonnement et des tentatives répétées au moment de l'exécution. Pour les intégrateurs et décideurs robotique, c'est un signal encourageant sur la viabilité de bibliothèques de compétences auto-construites plutôt que de politiques VLA monolithiques entraînées une fois pour toutes, mais les auteurs restent prudents : ils ne parlent que de "premières preuves" de transfert simulation-vers-réel, pas d'un problème résolu. Ce résultat s'inscrit dans la lignée des travaux récents sur les politiques de contrôle générées ou affinées par des grands modèles de langage, où l'enjeu principal est de dépasser le stade de la démonstration isolée pour atteindre une robustesse répétable en conditions réelles. Contrairement aux approches par apprentissage par renforcement pur ou aux VLA entraînés de bout en bout (type Pi-0 ou GR00T), ASPIRE mise sur l'exploration itérative et la mémoire de compétences pour réduire l'effort de programmation à chaque nouvel embodiment ou API robotique. Les auteurs annoncent vouloir approfondir la validation du transfert sim-to-real sur des plateformes physiques variées, une étape encore à venir puisque l'article ne documente pour l'instant que des résultats en simulation.

RecherchePaper

1 source

2arXiv cs.RO

Du jeu à la politique de contrôle : vers une collecte de données robotiques à grande échelle par interaction gamifiée sans robot

Une équipe de recherche présente sur arXiv (papier 2609.18650v1, mis en ligne en septembre 2026, soumission apparemment en aveugle sans institution nommée) une méthode de collecte de données pour l'apprentissage de politiques de manipulation robotique baptisée Project Kitchen, couplée à un algorithme nommé Game2Policy. Project Kitchen est une plateforme de collecte de données égocentriques en réalité virtuelle conçue comme une expérience de jeu vidéo plutôt qu'une session classique de téléopération : l'utilisateur manipule des objets virtuels dans un environnement gamifié, sans dépendre d'un robot physique ni d'un matériel spécifique, ce qui rend les données transférables et potentiellement collectables à grande échelle via crowdsourcing. Game2Policy extrait ensuite des indices d'affordance indépendants de la morphologie du robot, notamment les points de contact et les états de sous-objectifs, à partir des trajectoires de jeu ; un modèle d'affordance est pré-entraîné sur ces données puis affiné conjointement avec les politiques robotiques finales à l'aide d'une poignée seulement de démonstrations réelles. Les auteurs rapportent des gains moyens de taux de réussite de 10,0 points en simulation et 18,3 points sur robots réels en configuration few-shot, ainsi qu'une diversité comportementale et un niveau d'engagement supérieurs selon des études utilisateurs. Ce travail cible un goulot d'étranglement central du secteur : l'entraînement de politiques de manipulation généralisables, notamment de type VLA, exige des données massives et variées, mais les démonstrations réelles restent coûteuses et les méthodes existantes sont soit liées à un robot spécifique, ce qui limite le crowdsourcing, soit mal annotées et peu diversifiées. Si l'approche tient à plus grande échelle, elle ouvrirait la voie à une collecte de données quasi illimitée via des joueurs grand public plutôt que des flottes de téléopération dédiées, réduisant potentiellement le coût d'entrée pour les intégrateurs. Les résultats restent toutefois à prendre avec prudence : ils proviennent d'un article de recherche non encore accepté, la « poignée » de démonstrations réelles n'est pas quantifiée précisément, et les gains sont mesurés sur des tâches contrôlées en cuisine simulée. La démarche s'inspire explicitement des mécanismes d'engagement à long terme des jeux vidéo pour résoudre le problème récurrent du sim-to-real et du game-to-real gap. Elle s'inscrit dans la tendance plus large consistant à exploiter des données humaines non robotiques (vidéo, VR, simulation) pour contourner la téléopération coûteuse. Les auteurs annoncent la publication de la plateforme et du code uniquement après acceptation de l'article : il s'agit donc à ce stade d'une annonce de recherche, pas d'un produit ni d'un déploiement réel.

RecherchePaper

1 source

3arXiv cs.RO

ARSTAG : un système à base d'agents Real2Sim2Real pour la génération de données robotiques spécifiques à une tâche

Une équipe de recherche présente ARSTAG, un système agentic Real2Sim2Real qui transforme une image RGB et une instruction en langage naturel en données d'entraînement pour des politiques robotiques visuomotrices, sans construction manuelle de scène ni téléopération. Décrit dans un papier publié sur arXiv le 22 septembre 2026 (arXiv:2609.24563), le système s'appuie sur une hiérarchie d'agents linguistiques qui bâtissent une scène de simulation adaptée à la tâche, génèrent des démonstrations robot-réalisables puis élargissent la distribution d'entraînement par randomisation, sous la supervision d'un agent coordinateur gérant le retour d'information entre étapes. Sur sept tâches de manipulation (préhension, placement, empilement), le pipeline a permis un transfert simulation-vers-réel de trois architectures de politiques sur un robot bimanuel, la politique pi0.5 atteignant un taux de réussite moyen réel de 74,6 %. Les ablations montrent que la randomisation spécifique à la tâche améliore la robustesse, et que la performance croît avec la taille du jeu de données généré. Ce travail cible le goulot d'étranglement central de l'apprentissage robotique : la collecte de données spécifiques à chaque tâche. Les politiques vision-language-action, comme pi-0 ou GR00T N2, exigent des volumes massifs de démonstrations, généralement recueillies par téléopération humaine, méthode coûteuse et difficile à faire évoluer. En automatisant via des agents LLM la construction de scène, la génération de démonstrations et la randomisation du domaine, ARSTAG vise à réduire l'ingénierie manuelle nécessaire pour adapter un robot à une nouvelle tâche, un enjeu direct pour les intégrateurs voulant déployer bras et humanoïdes sur des tâches variées. Le taux de 74,6 % reste toutefois une démonstration de faisabilité sur sept tâches en laboratoire, pas un déploiement industriel. ARSTAG s'inscrit dans la lignée des recherches sur le Real2Sim2Real, qui partent d'observations réelles plutôt que de scènes construites à la main pour réduire l'écart simulation-réel, une piste également explorée par des systèmes comme RoboGen ou DexMimicGen. Tester le pipeline sur trois architectures différentes, dont pi0.5, successeur de pi-0 développé par Physical Intelligence, suggère une volonté de positionner ARSTAG comme une brique de génération de données agnostique au modèle plutôt que comme un concurrent des laboratoires qui développent ces politiques. Le papier reste une contribution académique, sans partenariat industriel ni calendrier de déploiement commercial annoncés ; l'étape suivante serait l'extension à davantage de tâches et de plateformes robotiques, notamment humanoïdes.

RecherchePaper

1 source

4arXiv cs.RO

RoboDream : des modèles du monde compositionnels pour la synthèse de données robotiques à grande échelle

Des chercheurs ont publié RoboDream (arXiv:2606.02577), un world model centré sur l'embodiment conçu pour générer des démonstrations photorealistic destinées à l'entraînement de politiques de manipulation robotique. Le système s'appuie sur des modèles de diffusion vidéo conditionnés simultanément sur le mouvement rendu du robot et sur des priors explicites de scène et d'objet, découplant ainsi l'exécution de trajectoire de la synthèse d'environnement. Cette architecture permet deux capacités distinctes : le "retrieval and rebirth", qui réutilise des trajectoires existantes dans des contextes entièrement nouveaux sans collecter de nouvelles données de mouvement, et la "prop-free teleoperation", où l'opérateur manipule dans le vide et le modèle génère a posteriori les objets cibles et la scène. Les expériences en conditions réelles montrent que les données ainsi synthétisées améliorent systématiquement les performances des politiques en aval et réduisent significativement les besoins en données réelles sur des tâches de manipulation variées. La télé-opération reste aujourd'hui le principal goulot d'étranglement du robot learning à grande échelle : coûteuse, lente, et contrainte par le temps de reset entre chaque démonstration (repositionner les objets, réorganiser la scène). RoboDream attaque ce problème en proposant une augmentation sémantique profonde plutôt qu'une simple modification de texture ou de couleur : le système génère des objets et des environnements entièrement nouveaux à partir d'une même trajectoire capturée. La "prop-free teleoperation" est opérationnellement significative car elle supprime le temps de reset, l'une des sources de coût caché les plus sous-estimées dans les pipelines de collecte actuels. Le fait que les politiques entraînées sur données synthétiques surpassent les baselines en conditions réelles valide partiellement la thèse que le sim-to-real gap peut être comblé par un générateur suffisamment ancré dans la géométrie et la cinématique du robot réel, contrairement aux approches purement visuelles. Cette publication s'inscrit dans une course à la mise à l'échelle des données robotiques qui s'est accélérée depuis 2023 avec l'essor des VLA (Vision-Language-Action models) : OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA. Ces architectures nécessitent des dizaines de milliers de démonstrations diversifiées pour être robustes. Face à ce besoin, deux voies coexistent : la collecte distribuée à grande échelle (projet Open X-Embodiment) et la génération synthétique. RoboDream s'inscrit dans la seconde, aux côtés de travaux comme UniSim ou RoboGen, mais se différencie par son ancrage explicite à la cinématique du robot, évitant les "embodiment hallucinations" qui affectent les générateurs purement visuels. Aucun partenariat industriel ni déploiement commercial n'est annoncé à ce stade. Les questions ouvertes portent sur la généralisation à des morphologies de robots différentes et sur les tâches de manipulation longue durée, où la cohérence temporelle des séquences générées reste un défi non résolu.

RechercheOpinion

1 source