RecherchearXiv cs.RO 15 septembre 2026

Pré-entraînement multimodal ancré sur la proprioception pour l'assemblage riche en contacts en zéro-shot sim-vers-réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv (arXiv:2609.07534, version révisée) présente PACE (Proprioception-Anchored Cross-Modal Encoder), une méthode d'apprentissage pour l'assemblage robotique à contact riche, ces tâches de vissage ou d'insertion qui exigent une précision submillimétrique et une lecture fiable des forces pendant un contact prolongé. L'apprentissage par renforcement en simulation permet de passer à l'échelle, mais les écarts entre simulation et réel sur la vision, la dynamique de contact et les mesures de force-couple limitent d'ordinaire le transfert des politiques vers le matériel réel. Les auteurs partent du constat que la proprioception, positions et vitesses articulaires, reste cohérente d'un domaine à l'autre car exprimée dans un référentiel calibré partagé. PACE entraîne les représentations visuelles et de force-couple à prédire les transitions d'état proprioceptif, ce qui pousse l'encodeur à ignorer les facteurs propres au domaine (éclairage, texture, biais des capteurs) tout en conservant les indices de mouvement utiles à la tâche. Les politiques entraînées sur ces caractéristiques figées sont déployées sur robot réel sans réglage fin in situ ni suivi de pose d'objet. Sur quatre tâches d'assemblage à contact riche, le taux de réussite moyen atteint 93,3% en conditions réelles, avec un écart de seulement 2,7 points de pourcentage par rapport à la simulation.

Cette faible dégradation tranche avec les pertes habituellement observées lors du transfert sim-to-real sur des tâches de contact, où l'écart peut atteindre plusieurs dizaines de points dès que le retour de force entre en jeu. Pour les intégrateurs de cellules d'assemblage, se passer du suivi de pose d'objet est un argument concret, cette brique restant l'une des plus coûteuses et fragiles des systèmes de vision industrielle actuels. Si le résultat se confirme au-delà des quatre tâches testées et à l'échelle d'une ligne de production, il indiquerait que le sim-to-real cesse d'être le principal frein à l'usage de l'apprentissage par renforcement pour des manipulations fines en usine, face aux automates programmés manuellement.

Le travail s'inscrit dans la recherche sur la réduction de l'écart sim-to-real, qui recourt habituellement à la randomisation de domaine, à l'identification de système ou à la fusion apprise de plusieurs modalités, des approches citées comme lignes de base moins robustes que PACE face aux perturbations testées. Publié comme version corrigée (replace) sur arXiv, sans affiliation institutionnelle précisée dans le résumé, il s'agit à ce stade d'une contribution de recherche validée en laboratoire sur quatre tâches, non d'un produit commercialisé ni d'un pilote industriel annoncé. Les suites attendues restent l'extension à davantage de tâches et de plateformes, puis une validation en conditions de production réelles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique

Des chercheurs ont publié AssemLM (arXiv:2604.08983), un modèle multimodal de raisonnement spatial pour la robotique d'assemblage. Le système fusionne trois sources (manuels d'assemblage, nuages de points 3D, instructions textuelles) pour prédire des poses 6D, c'est-à-dire la position et l'orientation complètes d'une pièce dans l'espace tridimensionnel. Un encodeur de nuages de points spécialisé extrait des caractéristiques géométriques et rotationnelles fines, transmises ensuite à un LLM multimodal pour le raisonnement spatial de haut niveau. Les auteurs publient également AssemBench, un benchmark de plus de 900 000 échantillons multimodaux avec annotations de poses 6D précises, étendant l'évaluation classique du grounding 2D à l'inférence géométrique 3D complète. Des tests sur robot réel valident des performances à l'état de l'art sur des tâches d'assemblage multi-étapes en conditions réelles. Le verrou ciblé est central en manipulation fine industrielle: les VLMs courants opèrent sur des images 2D et peinent à raisonner sur la géométrie précise qu'exigent le vissage, l'emboîtement ou l'alignement de composants au sous-millimètre. En intégrant les nuages de points comme modalité native, AssemLM raisonne sur l'orientation exacte d'une pièce, pas seulement sur sa présence dans le champ visuel. Pour un intégrateur ou une équipe R&D en automatisation industrielle, prédire des poses 6D depuis un manuel PDF et une capture 3D ouvre la voie à des cellules d'assemblage reconfigurables sans reprogrammation manuelle entre chaque référence produit. AssemBench, avec ses 900 000 échantillons annotés, comble par ailleurs un manque d'infrastructure de comparaison rigoureuse dans ce sous-domaine. Le raisonnement spatial est un défi persistant pour les modèles de vision-langage, majoritairement entraînés sur des tâches 2D (captioning, grounding d'objets, VQA). Les modèles VLA (Vision-Language-Action) récents, comme pi0 de Physical Intelligence, OpenVLA ou les travaux de Google DeepMind sur RoboVLMs, progressent sur la manipulation généraliste, mais l'assemblage industriel structuré avec ses contraintes de précision sub-millimétrique reste peu adressé par ces approches. AssemLM se positionne dans cette niche en ciblant explicitement les tâches avec documentation formalisée (manuels, nomenclatures). Les auteurs annoncent la mise à disposition publique du code, des modèles et du dataset AssemBench, point d'entrée potentiel pour la communauté académique et les industriels souhaitant affiner le modèle sur leurs propres composants. Aucun partenaire industriel ni déploiement commercial n'est mentionné: il s'agit à ce stade d'une publication de recherche, sans produit ni pilote planifié.

UELa publication en open-source d'AssemBench (900 000 échantillons annotés 6D) constitue une ressource d'entraînement et d'évaluation directement exploitable par les labos européens travaillant sur la manipulation industrielle précise, sans acteur FR/EU impliqué à ce stade.

RechercheOpinion

1 source

2arXiv cs.RO

Façonnage de la réalité des actionneurs pour l'apprentissage robotique sim-vers-réel en zero-shot

Des chercheurs proposent une nouvelle méthode pour résoudre le problème classique du transfert simulation-vers-réel en robotique, détaillée dans un article publié sur arXiv (référence 2607.02205v1). Baptisée "actuator reality shaping" (mise en forme de la réalité des actionneurs), l'approche inverse la logique habituelle : plutôt que de rendre le simulateur plus fidèle au monde réel via identification de système, randomisation de domaine ou modèles d'actionneurs appris, elle façonne le comportement en boucle fermée des actionneurs physiques pour qu'ils collent à la dynamique idéalisée du second ordre utilisée en simulation. Concrètement, chaque articulation est équipée d'un contrôleur à deux degrés de liberté combinant retour d'état (feedback) et anticipation (feedforward), ce qui sépare la mise en forme de la réponse de référence de la stabilisation robuste et crée une interface actionneur standardisée pour les politiques d'apprentissage par renforcement. Les chercheurs ont validé leur méthode sur un servomoteur mono-articulation à fort rapport de réduction soumis à des charges externes, ainsi que sur un bras robotique à 7 degrés de liberté (DOF) effectuant une tâche d'atteinte de cible, avec des politiques déployées en zero-shot, sans réglage fin ni modèle d'actionneur appris. Cette approche s'attaque directement à l'un des points de friction les plus persistants du secteur : l'écart entre démonstrations en simulation et performances réelles, souvent masqué par des vidéos soigneusement sélectionnées chez les acteurs commerciaux. Si la méthode tient ses promesses à plus grande échelle, elle offrirait une alternative moins coûteuse aux pipelines classiques de randomisation de domaine ou de modélisation fine des moteurs, avec un intérêt direct pour les intégrateurs qui peinent à faire tenir en conditions réelles des politiques entraînées uniquement en simulation. Les auteurs ont également testé le transfert zero-shot sur un robot à roues et jambes franchissant une pente, ainsi que sur un robot humanoïde en marche, suggérant une portée transversale à plusieurs morphologies. La méthode est comparée à des approches classiques de contrôle servo et à des références de type real-to-sim-to-real, avec une réduction substantielle de l'erreur de suivi rapportée dans les deux cas.

RecherchePaper

1 source

3arXiv cs.RO

Zero-shot : transfert sim-vers-réel pour capteur tactile à base d'aimants sur des tâches d'insertion

Des chercheurs ont mis à jour, sur arXiv (référence 2505.02915v2), une étude consacrée au transfert simulation-vers-réel pour les capteurs tactiles à base magnétique, une famille de capteurs illustrée par le modèle u-skin. Leur méthode, baptisée GCS, vise à entraîner en simulation des politiques de contrôle par apprentissage par renforcement pour des tâches d'insertion en aveugle, sans retour visuel, puis à les transférer directement sur un robot réel sans réentraînement ni donnée réelle, ce qu'on appelle un transfert "zero-shot". Contrairement aux approches précédentes qui binarisaient les lectures tactiles, les réduisant à un simple contact oui/non pour combler l'écart entre simulation et réalité, GCS conserve des lectures denses, distribuées et sur trois axes, injectées brutes dans la politique de contrôle. Les auteurs rapportent un transfert réussi de politiques entraînées uniquement en simulation vers des tâches d'insertion réelles. Cette avancée cible un problème central pour l'industrie robotique : le fossé entre simulation et réalité qui limite depuis longtemps l'usage du tactile dans les politiques de manipulation apprises par machine learning. Le tactile est jugé essentiel pour les tâches de contact riche comme l'insertion de pièces, un geste omniprésent en assemblage électronique et industriel, où la vision seule échoue face aux occlusions et aux tolérances serrées. Pour les intégrateurs et les équipes R&D robotique, l'enjeu est de pouvoir entraîner des compétences tactiles massivement en simulation, moins coûteuse que la collecte de données réelles, sans perte de performance au déploiement. En montrant qu'il est possible de transférer des lectures tactiles riches, non binarisées, sans perte de fidélité, les auteurs contredisent l'hypothèse selon laquelle seule une simplification drastique du signal permettrait de franchir le fossé sim-to-real, ouvrant la voie à des politiques plus précises pour des tâches fines comme l'insertion de connecteurs. Les capteurs magnétiques comme u-skin se sont imposés ces dernières années comme un compromis entre durabilité et densité de mesure, face à d'autres familles de capteurs tactiles, optiques, capacitifs ou piézorésistifs, souvent plus fragiles ou moins riches en information spatiale. Des travaux antérieurs avaient déjà cherché à combler l'écart sim-to-real par la binarisation du signal, une technique efficace pour la manipulation dextre en main mais mal adaptée aux tâches exigeant une lecture fine de la force et de la position de contact, comme l'insertion. GCS s'inscrit dans cette lignée de recherche sur l'apprentissage par renforcement appliqué à la manipulation robotique, avec l'ambition de généraliser à d'autres tâches de contact riche au-delà de l'insertion aveugle testée ici. La publication ne mentionne aucun partenariat industriel ni calendrier de déploiement : il s'agit d'un résultat de laboratoire, dont la portée pratique dépendra de sa reproduction sur d'autres plateformes et d'autres capteurs tactiles.

RecherchePaper

1 source

4arXiv cs.RO

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper

1 source