RecherchearXiv cs.RO 17 septembre 2026

Apprendre à empiler : imitation learning par démonstrations en réalité virtuelle pour empiler des cubes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

La collecte de démonstrations reste le principal frein à l'apprentissage par imitation pour les tâches manipulatoires en plusieurs étapes, qui exigent de réinitialiser la scène après chaque essai humain. Un article publié sur arXiv en septembre 2026 (arXiv:2609.19040v1) décrit un pipeline de collecte de données en réalité virtuelle conçu pour contourner ce goulot d'étranglement, appliqué à une tâche d'empilement de cubes avec un bras robotique personnalisé à 5 degrés de liberté (DoF) simulé dans NVIDIA Isaac Sim et Isaac Lab. Équipé d'un casque HTC Vive Pro 2, de gants Manus Quantum et du standard OpenXR, un opérateur envoie des commandes SE(3) à l'effecteur terminal pour générer les démonstrations. La tâche consiste à empiler le cube rouge sur le cube bleu puis le cube vert sur le cube rouge, avec des positions de départ randomisées à chaque essai. En 30 minutes, l'équipe a collecté 200 démonstrations virtuelles, à comparer aux 45 démonstrations réalisées par téléopération physique sur le robot réel, et le module Isaac Mimic a généré 100 échantillons supplémentaires par augmentation automatique. Une politique de clonage comportemental a ensuite été entraînée sur les démonstrations virtuelles avec des observations double caméra au format LeRobot, puis évaluée en simulation.

L'apport principal tient moins au volume brut qu'à la séparation entre capture des trajectoires et construction du jeu de données : une démonstration enregistrée peut être rejouée, ses commandes converties de l'espace des tâches vers l'espace articulaire, puis re-rendue avec de nouvelles configurations de capteurs ou d'états, sans nouvelle session de téléopération humaine. Pour les laboratoires et intégrateurs qui cherchent à entraîner des politiques de manipulation à grande échelle, cette approche promet de réduire le coût humain récurrent associé à chaque changement d'observation ou d'action, un enjeu central alors que le secteur multiplie les tentatives de données synthétiques ou téléopérées pour nourrir des modèles de type vision-langage-action. Le travail reste néanmoins circonscrit à une tâche simple à trois cubes et évalué uniquement en simulation, ce qui ne constitue pas une démonstration de transfert sim-to-real sur robot physique et appelle à la prudence sur la généralisation des résultats.

Ce travail s'inscrit dans la lignée des efforts recourant à la téléopération VR/AR, déjà explorée par plusieurs équipes de robotique, pour remplacer ou compléter la téléopération physique classique jugée trop lente et coûteuse à grande échelle. L'écosystème NVIDIA Isaac (Isaac Sim, Isaac Lab, Isaac Mimic) sert ici de socle de simulation et d'augmentation de données, une plateforme de plus en plus utilisée par la communauté recherche pour générer des jeux d'entraînement sans dépendre exclusivement d'un robot physique disponible en continu. Les auteurs positionnent leur contribution comme une preuve de concept méthodologique plutôt qu'un système prêt au déploiement, et les suites logiques annoncées portent sur l'extension à des bras à davantage de degrés de liberté, des tâches multi-étapes plus complexes, et une validation sur robot réel pour confirmer que les politiques apprises en réalité virtuelle se transfèrent effectivement hors simulation.

Dans nos dossiers

IA physique & VLA NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

Repenser le désapprentissage des démonstrations dans l'apprentissage par imitation pour la robotique

Un article publié sur arXiv (2608.20784v1) propose un cadre d'audit pour l'oubli de démonstrations en apprentissage par imitation robotique, quand des contributeurs demandent le retrait de leurs démonstrations d'une politique déjà entraînée. Plutôt qu'un réentraînement complet, coûteux à mesure que grandissent modèle et données, les auteurs évaluent des opérateurs d'édition appliqués directement à la politique existante. Leur audit croise deux axes: le comportement, mesuré par la divergence d'action face à des réentraînements de référence, et la preuve, mesurée par une attaque d'appartenance rapportant rang et niveau absolu de perte. Sur cinq conditions préenregistrées, trois politiques robotiques réelles et deux suites de simulation, un édit de type redirection sur l'architecture ACT restaure un taux de succès de 18 essais sur 20 en évaluation en aveugle. Ce travail répond à un problème concret pour l'industrie robotique: à mesure que les politiques génératives de type VLA s'entraînent sur des volumes croissants de démonstrations téléopérées, les demandes de retrait de données individuelles se heurteront au coût du réentraînement complet. Les métriques héritées du machine unlearning classique, comme la perte d'oubli ou une simple attaque d'appartenance, ne suffisent pas à garantir qu'une édition a réellement supprimé l'influence d'une démonstration en boucle fermée: un édit peut réparer le comportement sans effacer la trace détectable, ou au contraire réduire cette détectabilité tout en éloignant le comportement du réentraînement réel. Pour des intégrateurs tentés par l'édition post-hoc plutôt que le réentraînement complet, un simple test de réussite de tâche ne suffit donc pas à certifier qu'une démonstration a été effectivement oubliée. Cette recherche prolonge les travaux de machine unlearning menés sur les grands modèles de langage et de vision, transposés ici au contrôle robotique en boucle fermée, où c'est l'action, non la seule prédiction, qui doit être auditée. Elle survient alors que l'apprentissage par imitation à partir de démonstrations téléopérées s'impose comme méthode dominante pour entraîner des politiques robotiques générales, dans la lignée d'architectures comme ACT, popularisée par les plateformes de téléopération de type ALOHA. La question du retrait de données gagne en importance à mesure que ces jeux de données reposent sur des opérateurs identifiables, avec des implications de consentement et de conformité. Les auteurs ont préenregistré leurs cinq conditions expérimentales, une rigueur rare dans la littérature robotique, sans annoncer de calendrier de déploiement industriel.

UELes enjeux de retrait de données et de conformité soulevés touchent directement les industriels européens de la téléopération robotique soumis aux exigences de consentement et de suppression de données (type RGPD).

RecherchePaper

1 source

2arXiv cs.RO

Une approche rigoureuse pour générer des démonstrations synthétiques haute fidélité en apprentissage par imitation

Une équipe de chercheurs a publié fin avril 2025 sur arXiv (arXiv:2605.01232) un cadre de synthèse de données d'entraînement robotiques combinant le rendu 3D Gaussian Splatting (3DGS) et les Dynamic Movement Primitives (DMP). Le système part d'une seule démonstration experte et d'un scan multi-vues court pour reconstruire une scène 3DGS, puis retargete la trajectoire originale vers de nouvelles configurations d'objets et de points de vue via des DMPs, encodant ainsi la forme spatiale et le profil temporel du mouvement de façon paramétrique. Pour éviter les collisions dans des scènes encombrées sans représentation géométrique additionnelle, les auteurs introduisent une formulation analytique des DMPs opérant directement sur le champ de densité continu induit par la représentation 3DGS. L'approche a été évaluée sur le robot mobile manipulateur Spot de Boston Dynamics, sur trois tâches de manipulation à sensibilité croissante à la fidélité de trajectoire. Comparée à des pipelines basés sur des planificateurs échantillonnés ou l'optimisation de trajectoire, la méthode réduit l'écart moyen à la trajectoire experte et le taux de collisions, et améliore le taux de succès des politiques visuomotrices de type diffusion entraînées sur ces données. Le résultat principal contredit une intuition répandue en apprentissage par imitation : augmenter la diversité des démonstrations ne garantit pas de meilleures politiques si cette diversité efface la structure fine de la trajectoire experte. Pour des manipulations en contact, saisie contrainte ou assemblage précis, c'est précisément cette structure spatiale et temporelle qui conditionne le succès ; les planificateurs classiques l'éliminent en cherchant des chemins valides alternatifs, augmentant la variance des données sans en accroître la valeur informative. Intégrer la géométrie 3DGS directement dans les DMPs plutôt que d'utiliser un module de collision séparé simplifie le pipeline et évite les incohérences entre rendu et raisonnement géométrique, un problème récurrent dans les systèmes hybrides sim-to-real. Ce travail s'inscrit dans un courant de recherche actif depuis la popularisation du 3DGS en 2023, qui cherche à exploiter cette technique de représentation de scène pour générer à bas coût des données de supervision robotique, en alternative aux moteurs de simulation physique comme Isaac Sim ou MuJoCo qui exigent une modélisation manuelle intensive. Des approches parallèles comme RoboGSim ont exploré cet espace, mais en découplant rendu et planification de mouvement. Le système reste à ce stade un preprint arXiv, évalué sur un seul robot dans des scènes relativement délimitées ; sa généralisation à des plateformes à plus haute dextérité (bras 7 DOF, mains multi-doigts) et son couplage avec des fondations de politiques de type pi-0 ou GR00T N2 constituent les prochaines étapes naturelles à tester.

RecherchePaper

1 source

3arXiv cs.RO

DiscoDemo : découvrir des démonstrations robotiques efficaces et variées pour l'apprentissage par imitation

Des chercheurs du laboratoire DAVIAN Robotics présentent DiscoDemo, une méthode publiée sur arXiv qui utilise l'apprentissage par renforcement (RL) non pas comme contrôleur déployable, mais comme générateur de données pour l'apprentissage par imitation visuomotrice. Un générateur RL à accès privilégié (il observe l'état exact de la simulation) et conditionné par une variable latente est entraîné avec un curriculum inverse parallèle et un objectif de diversité conditionné au succès. Il découvre ainsi plusieurs modes de solution distincts sans sacrifier la réussite de la tâche. Les comportements obtenus en boucle fermée sont filtrés pour la sécurité, puis exportés sous forme de jeu de données statique. Sur quatre tâches de manipulation, le taux de réussite moyen des politiques aval passe de 40 % à 62 % en simulation par rapport à la meilleure référence, et de 39 % à 78 % sur robot réel. La politique aval testée est un VLA (vision-langage-action) préentraîné à flow matching. Ces résultats visent un point de blocage connu du clonage de comportement : la politique reste très sensible à la couverture des données d'entraînement, et la collecte de démonstrations réussies et variées par téléopération coûte cher. L'étude suggère que la diversité des solutions réussies compte plus que la répétition d'une solution unique. Elle indique aussi que des démonstrations synthétiques produites par RL peuvent remplacer une partie de la collecte humaine, ou la compléter : les auteurs observent que le gain reste complémentaire de la collecte corrective (de type DAgger). Pour un intégrateur, cela ouvre la voie à une réduction du coût de constitution des jeux de données. Quelques réserves s'imposent. Le périmètre est limité à quatre tâches. Le RL privilégié suppose un simulateur et un accès à l'état complet, ce qui n'est pas toujours réalisable pour des objets déformables ou des scènes industrielles complexes. Le gain de 39 % à 78 % sur robot réel vient d'un nombre d'essais que le résumé ne précise pas. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. La méthode s'inscrit dans le courant plus large du transfert simulation-vers-réel et de la génération de données synthétiques pour les modèles fondation robotiques. Ces approches cherchent à réduire la dépendance à la téléopération, qui domine l'entraînement de modèles comme Pi-0 ou GR00T. Elle rejoint aussi les travaux sur la diversité de qualité en RL, qui cherchent à produire des répertoires de comportements variés plutôt qu'une seule politique optimale. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, ainsi que la comparaison avec d'autres sources de données, comme la génération massive en simulation ou les démonstrations humaines à grande échelle. Le code et les résultats détaillés sont annoncés sur la page du projet.

RecherchePaper

1 source

4arXiv cs.RO

Au-delà des pixels : apprendre des récompenses invariantes pour la robotique réelle à partir de quelques démonstrations

Des chercheurs ont publié fin mai 2026 (arXiv:2605.22123) un framework permettant d'apprendre des fonctions de récompense symboliques invariantes à partir de seulement cinq démonstrations pour des tâches de manipulation robotique. Le système repose sur deux composants couplés : une formulation structurelle de récompense encodant des stratégies de niveau tâche et des contraintes physiques, et une procédure hybride symbolique-numérique qui distille des invariants comportementaux depuis ces démonstrations sans requérir d'interaction en ligne avec l'environnement. La méthode a été évaluée sur huit tâches du benchmark Meta-World et trois tâches de manipulation sur bras Franka, affichant de meilleures capacités d'alignement procédural et de classement de rollouts de politique par rapport aux baselines existantes. Trois expériences réelles out-of-distribution valident une généralisation zero-shot à des variations de position, de point de vue caméra et d'instances d'objets inédites. Le problème adressé est structurel : les modèles de récompense basés sur la vision tendent à mémoriser des distributions de pixels spécifiques et s'effondrent dès que les conditions visuelles changent, qu'il s'agisse d'un objet déplacé, d'un angle de caméra différent ou d'une variante d'objet inconnue. Pour un intégrateur déployant un système de manipulation en milieu industriel, cela impose de recollectecter des démonstrations ou de réentraîner le modèle à chaque variation du contexte opérationnel. Le passage aux invariants symboliques, c'est-à-dire des propriétés comportementales constantes indépendamment de l'apparence visuelle, propose une représentation de récompense réutilisable sur de multiples variantes de tâche sans interaction supplémentaire, ce qui réduit significativement le coût itératif du déploiement en apprentissage par renforcement. Ce travail s'inscrit dans une dynamique de recherche active visant à résoudre le goulot d'étranglement du reward engineering en RL robotique. Les approches récentes fondées sur des embeddings visuels issus de VLMs, comme VIP ou RoboCLIP, ont progressé sur la généralisation visuelle mais restent fragilisées par les variations de distribution en dehors des conditions d'entraînement. La méthode proposée se distingue en substituant aux embeddings bruts une abstraction symbolique de la tâche. Des laboratoires comme Berkeley BAIR, Stanford ou le CMU Robotics Institute travaillent sur des directions similaires d'abstraction pour le RL. La capacité à bootstrapper une récompense généralisable depuis cinq démonstrations seulement ouvre la voie à des pipelines de fine-tuning robotique plus accessibles, potentiellement utilisables par des intégrateurs sans expertise RL avancée.

RecherchePaper

1 source