RecherchearXiv cs.RO 19 octobre 2026

Assemblage précis à l'aveugle : insertion pièce-trou proprioceptive par transfert simulation-réel pour des pièces variées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs, dont Younghyo Park (projet « Blind Proprioceptive Assembly »), publient sur arXiv une étude qui teste si les seuls capteurs articulaires d'un robot suffisent pour l'assemblage de précision riche en contacts. Les politiques entraînées n'observent qu'un court historique de positions et de vitesses articulaires ainsi que leurs propres actions, sans vision, ni capteur d'effort, de couple ou tactile. Ni la pose de la pièce, ni celle du support ne sont connues, et la prise est fortement randomisée. Entraînées par apprentissage par renforcement entièrement en simulation, sur des pièces, des prises et des contacts variés, elles apprennent l'insertion de pion, l'engrènement d'engrenages et le vissage d'écrous. La politique d'insertion est transférée sans réglage (zero-shot) vers le réel et réussit 73 % des essais, avec des pions de formes et de tailles différentes. L'équipe publie aussi un générateur open source pour MuJoCo, qui construit de façon procédurale des milliers d'assemblages à partir de pièces convexes exactes, en conservant le jeu fonctionnel. Selon les auteurs, il est plus précis et plus rapide que la décomposition convexe ou que les collisions par champ de distance signée (SDF) de MuJoCo.

L'intérêt tient au déplacement de la question. Les robots à pattes et les humanoïdes marchent déjà « à l'aveugle » grâce à la proprioception, mais avec des contacts larges et puissants. Ici, la même idée est appliquée à des tolérances millimétriques. Des comparaisons contrôlées en simulation avec des politiques visuelles équivalentes montrent que les politiques aveugles généralisent nettement mieux à des formes et tailles de pièces inédites, au prix d'une exécution plus lente. Pour un intégrateur, cela suggère qu'une partie de l'assemblage pourrait se passer de caméras ou de capteurs d'effort coûteux et fragiles, notamment en cas d'occlusion, de reflets ou de pièces variables. Il faut toutefois rester prudent. 73 % reste loin du taux exigé en production, qui dépasse en général 99 %. Le protocole se limite à la tâche de pion dans trou, les résultats réels portent sur un seul type de tâche, et la lenteur n'est pas chiffrée dans le résumé. Le transfert simulation-réel n'est démontré en réel que pour l'insertion, pas pour les engrenages ni le vissage.

Ce travail s'inscrit dans une série de recherches sur l'insertion par apprentissage, qui ont longtemps privilégié le retour visuel ou tactile (capteurs de type GelSight, estimation d'effort au poignet) et la randomisation de domaine pour combler l'écart entre simulation et réel. Le goulot d'étranglement était la qualité des modèles de contact : générer de nombreux assemblages avec un jeu réaliste restait difficile, d'où l'apport du générateur publié. La suite logique serait de valider les politiques d'engrènement et de vissage sur du matériel réel, de combiner proprioception et vision pour regagner en vitesse, et de tester la robustesse sur des pièces industrielles. Il s'agit d'un préprint (v1), sans évaluation par les pairs ni déploiement industriel annoncé. Les vidéos et simulations interactives sont disponibles sur la page du projet.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

MicroPush : simulateur léger pour la poussée et l'assemblage microrobotiques par transfert simulation-réel

Des chercheurs ont mis en ligne la version 2 d'un article arXiv (2602.23607) présentant MicroPush, un simulateur léger dédié a la manipulation microrobotique par poussée et a l'assemblage, conçu pour des microrobots roulants a actionnement magnétique. L'outil combine une dynamique planaire suramortie, une actionnation de roulement calibrée, une gestion de contact d'ordre réduit, des corrections d'interaction a courte portée et un flux de fond optionnel, avec des interfaces communes pour la planification, la commande basée sur modèle, l'apprentissage par renforcement, la visualisation interactive et l'évaluation sans rendu graphique. En mode sans rendu, il atteint 37 fois la vitesse temps réel avec 100 particules passives simulées simultanément. Les auteurs ont ensuite teste un transfert de politique zero shot du simulateur vers le réel : une politique hybride Residual RL MPC, entraînée entièrement dans MicroPush puis figée sans aucun réglage sur le système physique, a été déployée sur un microrobot magnétique de 20 micromètres charge de pousser une particule de silice de taille comparable le long d'une trajectoire en huit, avec une erreur médiane de 1,91 micromètre et une erreur au 95e percentile de 4,65 micromètres. La même architecture a ensuite réalisé, toujours sans reentrainement réel, des assemblages séquentiels en ligne, en triangle, puis un hexagone de six particules. L'intérêt pour le secteur tient a l'échelle physique concernée : a taille microscopique, la dynamique est dominée par les forces visqueuses et le mouvement brownien, un régime très différent de celui des robots mobiles ou humanoïdes, ou la plupart des simulateurs existants ne transfèrent pas correctement. En montrant qu'un modèle délibérément simplifie et d'ordre réduit, plutôt qu'une simulation fluide haute fidélité couteuse, suffit a un transfert zero shot fiable, les auteurs répondent directement au problème central de la microrobotique par apprentissage : les essais physiques y sont lents, couteux et peu reproductibles, ce qui bloquait jusqu'ici l'entrainement a grande échelle par RL. Pour les laboratoires de micro assemblage, de MEMS ou de manipulation en vue de délivrance ciblée de médicaments, cela ouvre une voie d'entrainement rapide et peu couteuse avant déploiement réel. Ce travail reste un article de recherche et un outil de benchmark, pas un produit commercial ni un déploiement industriel : il s'inscrit dans la lignée des travaux sur les microrobots magnétiques roulants pour l'assemblage de précision, domaine ou peu d'acteurs disposent d'un pipeline sim-to-real valide expérimentalement plutôt que démontre en simulation seule. Les auteurs ne mentionnent pas de partenaire industriel ni de calendrier de diffusion ; les suites logiques évoquées implicitement par leurs résultats concernent le passage a des essaims plus nombreux, a d'autres modes d'actionnement, et a des taches d'assemblage plus complexes que l'hexagone a six particules démontre ici.

RecherchePaper

1 source

2arXiv cs.RO

InsertAnything : insertion de précision par contact, transférable de la simulation à la réalité

Une équipe de recherche a publié en septembre 2026 sur arXiv (2609.24511) InsertAnything, un système d'apprentissage par renforcement pour l'insertion robotique de précision entraîné entièrement en simulation, sans démonstration réelle ni réglage fin après déploiement. La politique combine la pose cible de la pièce avec un retour de force tridimensionnel compact capté au bout des doigts du préhenseur, ce qui lui permet de rechercher l'alignement et de corriger sa trajectoire même quand la position estimée du trou est erronée ; une récompense « gated » découplée coordonne les phases d'alignement et d'insertion, tandis qu'un lissage du signal de force et des écarts-types indépendants de l'état stabilisent l'apprentissage. Les politiques obtenues réalisent des insertions réelles sur des jeux nominaux allant jusqu'à 0,02 mm, tout en réduisant les forces de contact maximales en cas d'erreur de positionnement du trou. Le système décroche le premier score parfait, 20 sur 20, au benchmark peg-in-hole de ManipulationNet sous son protocole « Human-in-the-Loop », avec des mouvements d'insertion entièrement autonomes ; une politique unique, entraînée uniquement sur une tâche hexagonale simulée, atteint par ailleurs un taux de réussite de 95 % sur huit tâches d'insertion réelles jamais vues à l'entraînement. Le code, les scripts d'expérimentation, les assets de simulation et les checkpoints entraînés sont publiés en open source sur le site du projet. L'insertion de précision à fort contact reste un goulot d'étranglement de l'assemblage robotique industriel : les faibles jeux mécaniques rendent la tâche très sensible aux erreurs d'alignement et sujette au blocage, et chaque nouvelle géométrie de pièce exigeait jusqu'ici une collecte de données réelles ou un réentraînement dédié. En montrant qu'une politique unique formée en simulation sur une seule géométrie se généralise à huit tâches inédites et à des jeux jusqu'à 0,02 mm sans aucune donnée réelle, ces résultats s'attaquent directement à l'écart classique entre simulation et réalité qui freine le déploiement industriel des politiques apprises. Pour les intégrateurs, cela ouvre potentiellement une voie pour réduire le temps de mise en service lors d'un changement de référence de pièce, un enjeu central en électronique et en assemblage mécanique de précision. Le résultat reste cependant un score de benchmark en environnement de recherche, pas un déploiement industriel documenté, et le protocole « Human-in-the-Loop » du test autorise normalement une intervention humaine que le système n'a ici pas eu besoin de solliciter. Le travail s'inscrit dans la lignée des recherches combinant apprentissage par renforcement et retour de force pour résoudre le « peg-in-hole », un banc d'essai classique de la manipulation robotique fine, aux côtés d'approches plus généralistes de type vision-langage-action. Aucun industriel n'est associé à la publication, qui reste à ce stade un preprint arXiv sans mention de laboratoire ni de partenaire dans le résumé et non encore validé par les pairs, mais la mise en open source des scripts de simulation et d'expérimentation, des assets et des checkpoints doit permettre une reproduction indépendante des résultats, sans qu'un calendrier de pilote industriel ou de transfert commercial ne soit pour l'instant annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Génération automatique d'arbres de comportement par VLM pour le transfert réel-vers-simulation via perception active

Une équipe de chercheurs propose dans un article arXiv (2601.08454) un pipeline Real2Sim piloté par l'intention, qui automatise la construction d'environnements de simulation physiquement précis à partir d'une instruction en langage naturel. Un modèle vision-langage (VLM) analyse une observation visuelle et une description de simulation incomplète pour identifier le sous-ensemble minimal de paramètres physiques manquants (masse des objets, géométrie de surface, friction), puis génère automatiquement un arbre de comportement (Behavior Tree, BT) composé de primitives motrices et sensorielles atomiques pour les acquérir par interaction physique avec l'environnement. Les expériences ont été conduites sur un bras Franka Emika Panda à contrôle en couple (7 DOF), manipulateur standard en recherche robotique. Les résultats indiquent des gains d'efficacité opérationnelle significatifs par rapport aux méthodes d'exploration exhaustive, validés par des études d'ablation sur plusieurs VLMs de référence, mais les chiffres précis de performance ne sont pas fournis dans l'abstract, ce qui limite la comparabilité externe. L'apport principal est le remplacement de pipelines d'identification système manuels par une stratégie sémantique : au lieu d'explorer exhaustivement l'environnement, le système ne collecte que les données pertinentes pour la tâche demandée, réduisant les interactions redondantes. Pour les équipes travaillant sur des jumeaux numériques industriels, cela représente un gain potentiel en temps de calibration avant déploiement. Le BT joue également un rôle de filtre de sécurité déterministe : sa hiérarchie réactive intercepte les hallucinations du VLM et prévient les anomalies physiques dangereuses, ce qui est non-négligeable pour une application en conditions réelles. Cette combinaison, intelligence sémantique du VLM associée à la robustesse déterministe du BT, constitue l'aspect architectural le plus notable du travail. La construction de simulations fidèles au réel est un verrou classique du déploiement robotique : un jumeau numérique mal calibré amplifie le sim-to-real gap qui dégrade les politiques apprises en simulation, problème central pour les VLA (Vision-Language-Action) actuels. Côté concurrence, Physical Intelligence (pi0), Google DeepMind (successeurs de RT-2) et des projets open-source comme LeRobot de Hugging Face investissent tous dans des pipelines sim-to-real plus robustes. L'utilisation des BT comme couche d'interprétabilité face aux modèles génératifs s'inscrit dans une tendance plus large visant à rendre les LLM/VLM compatibles avec des contraintes de sécurité industrielle. Les prochaines étapes logiques seraient d'étendre le pipeline à des robots mobiles ou des plateformes humanoïdes, et de publier des benchmarks complets permettant une comparaison rigoureuse avec les méthodes d'identification système existantes.

RecherchePaper

1 source

4arXiv cs.RO

BIFROST : transfert de représentation de caractéristiques invariantes pour le passage simulation-réel dans l'espace d'observation

Des chercheurs ont publié sur arXiv (référence 2607.01410v1) un nouveau système appelé BIFROST (Bridging Invariant Feature Representation for Observation-space Sim2Real Transfer), destiné à résoudre l'un des obstacles centraux de l'apprentissage robotique par renforcement : le fossé entre simulation et réalité. Le principe consiste à entraîner un encodeur partagé sur des données appariées provenant des deux domaines, via un objectif de bisimulation cross-domaine qui rapproche, dans un espace latent commun, les séquences observation-action menant aux mêmes résultats à long terme, indépendamment des différences de rendu visuel ou de physique. L'équipe a testé l'approche sur trois tâches : navigation visuelle en sim2sim, manipulation à contact riche en sim2real, et asservissement visuel. Selon le papier, les politiques entraînées dans cet espace latent partagé transfèrent en zero-shot vers la réalité, sans réentraînement sur données réelles, là où les méthodes de référence en adaptation de domaine et en co-entraînement échouent face à des écarts à la fois visuels et dynamiques. Pour l'industrie robotique, le sim2real reste le goulot d'étranglement entre démonstration en laboratoire et déploiement en usine : entraîner en simulation coûte peu, mais transférer une politique vers un robot physique sans perte de performance exige d'habitude des mois de randomisation de domaine ou de fine-tuning gourmand en données réelles. Si les résultats se confirment à plus grande échelle, la promesse est de réduire nettement le coût de mise en production de politiques de manipulation et de navigation, un enjeu clé pour les intégrateurs déployant bras robotiques ou AMR sur des sites variés. C'est aussi un signal dans le débat sur les architectures VLA : l'idée d'une structure invariante exploitable directement depuis l'observation brute pourrait simplifier la conception des politiques génériques que recherchent des labos comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T). À noter que, publication arXiv non encore relue par les pairs, la portée reste limitée aux trois tâches testées en environnement contrôlé. Le problème est documenté depuis les débuts du RL appliqué à la robotique : les approches historiques traitent séparément l'écart visuel (randomisation de domaine, transfert de style) et l'écart dynamique (identification de système, randomisation physique), les deux modules étant ensuite empilés quand les problèmes coexistent, une approche jugée limitée par les auteurs car elle traite les symptômes plutôt que la structure commune sous-jacente. BIFROST s'inscrit dans la lignée des travaux sur la bisimulation en apprentissage par renforcement, appliquée ici explicitement au transfert cross-domaine. Aucune entreprise ni calendrier de commercialisation n'est mentionné : le travail reste une contribution académique, dont les suites attendues sont une validation sur des tâches plus complexes et une comparaison directe avec les politiques VLA déployées par les acteurs commerciaux du secteur humanoïde et manipulation.

RecherchePaper

1 source