RecherchearXiv cs.RO 2 octobre 2026

Réduire l'écart simulation-réel avec multipanda_ros2 : un framework ROS2 temps réel pour systèmes multimanuels

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient multipandaros2, une architecture open source ROS2 pour piloter plusieurs robots Franka Robotics depuis un seul processus. Le framework s'appuie sur ros2control et expose des interfaces ROS2 natives pour un nombre quelconque de bras. Il maintient une boucle de contrôle en couple à 1 kHz, fréquence indispensable au temps réel et minimum exigé par les normes de sécurité. Il introduit aussi un patron de conception « controllet-feature », qui ramène le délai de commutation entre contrôleurs à 2 ms ou moins. Côté simulation, l'équipe intègre un jumeau MuJoCo haute fidélité. Elle l'évalue avec des métriques quantitatives de précision cinématique et de cohérence dynamique (couples, forces, erreurs de contrôle). Elle montre enfin qu'une identification des paramètres inertiels sur le robot réel améliore nettement la précision des forces et des couples simulés. Le code est publié, mais le résumé ne donne ni liste de tâches détaillée ni chiffres d'amélioration.

L'intérêt est surtout infrastructurel. Le sim-to-real reste un point de blocage pour la manipulation riche en contacts, en particulier à deux bras. Les politiques apprises, de type VLA ou apprentissage par renforcement, ne valent que par la fidélité des couples et des forces simulés. Un cadre qui quantifie l'écart sur les couples, et pas seulement sur les trajectoires, rend le benchmarking reproductible. La commutation de contrôleurs en 2 ms permet d'enchaîner des phases de contrôle en impédance, en force ou en position sans rupture, ce qui compte pour l'assemblage ou la manipulation d'objets partagés entre deux bras. Pour un intégrateur, l'unification de plusieurs Franka dans un seul processus allège le déploiement de cellules multi-robots. Il faut toutefois rester prudent : il s'agit d'un outil de recherche validé sur des plateformes de laboratoire, pas d'une preuve de déploiement industriel, et l'ampleur de la réduction de l'écart sim-to-real n'est pas chiffrée dans le résumé.

Le projet s'inscrit dans la lignée de franka_ros et de libfranka, dont le support ROS2 est resté fragmentaire, surtout pour le multi-robot. L'équipe indique prolonger des approches issues de la robotique souple vers les tâches rigides à deux bras. Le Franka (Franka Robotics, société munichoise) reste la plateforme de référence des laboratoires européens et américains. D'autres cadres s'adressent au même besoin : MoveIt 2 pour la planification, Isaac Sim ou MuJoCo Playground pour la simulation, et LeRobot pour les données et les politiques. La suite logique est l'adoption par la communauté, puis des validations sur des tâches de contact plus exigeantes. Cette version 2 de l'article remplace la précédente sur arXiv.

Impact France/UE

Le framework open source cible les robots Franka Robotics (société munichoise), plateforme de référence des laboratoires et intégrateurs européens pour les cellules bimanuelles.

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA robuste pour manipuler les tissus grâce au raffinement en temps réel par simulation

Une équipe de recherche a publié le 24 juin 2026 sur arXiv (arXiv:2606.24552) une méthode permettant à un robot de manipuler des textiles souples à partir d'une unique image RGB, sans capteur de profondeur ni données haptiques. L'approche repose sur trois composants : un simulateur d'objets déformables appelé FLASH, conçu pour équilibrer fidélité physique, stabilité numérique et vitesse de rollout ; un module real-to-sim entraîné exclusivement sur données synthétiques, qui convertit une image couleur en état de tissu compatible avec la simulation en fusionnant des features visuelles préentraînées avec des tokens canoniques apprenables ; enfin un planificateur en ligne MPPI (Model Predictive Path Integral) guidé par une politique distillée hors ligne, qui évalue des lots de trajectoires candidates en parallèle dans le simulateur et sélectionne la meilleure action à chaque pas. Les expériences sur robot réel montrent des taux de succès et une robustesse supérieurs aux méthodes de référence, bien que les chiffres précis ne soient pas communiqués dans le résumé public. Ce travail est significatif parce qu'il étend le paradigme "simulator-in-the-loop" aux objets déformables, un verrou majeur en manipulation robotique. Jusqu'ici, cette famille de méthodes était cantonnée aux objets rigides, dont l'état et les contacts restent relativement faciles à modéliser. Le textile pose un problème radicalement plus difficile : l'espace de configuration est continu et de très haute dimension, les contacts sont multiples et transitoires, et le sim-to-real gap explose dès que le simulateur ne capture pas fidèlement les plis. Le fait que la méthode ne nécessite qu'une caméra RGB standard abaisse le coût d'intégration en contexte industriel, notamment pour le pliage de vêtements, la manipulation de sacs flexibles ou les lignes de confection textile. Pour un intégrateur B2B, c'est un signal que le sim-to-real pour déformables commence à sortir du laboratoire, même si les performances annoncées restent à valider sur un spectre large de matières et de géométries. La manipulation de textiles reste l'un des problèmes ouverts les plus cités en robotique d'entrepôt depuis les travaux fondateurs de Maitin-Shepard (2010) sur le pliage de serviettes, et le champ a longtemps stagné faute de simulateurs déformables suffisamment rapides pour un usage en boucle fermée. FLASH s'inscrit dans une vague récente de simulateurs spécialisés (DiffCloth, FleX, CLOTH3D) cherchant ce compromis fidélité/vitesse. Côté concurrence, les approches dominantes pour la manipulation de textiles restent les politiques imitatives par diffusion (comme Pi-0 de Physical Intelligence) ou le transfert pur sim-to-real par domain randomization. L'originalité ici est de placer le simulateur directement dans la boucle d'inférence plutôt qu'uniquement à l'entraînement. La prochaine étape naturelle sera de tester à plus grande échelle de variabilité de tissus et d'intégrer des retours tactiles pour les cas où la vision seule est insuffisante ; l'article ne mentionne pas de partenariats industriels ni de calendrier de déploiement.

RecherchePaper

1 source

2arXiv cs.RO

TaCauchy : un framework FEM extensible pour la simulation tactile basée sur la vision

Une équipe de chercheurs a publié TaCauchy, un cadre de simulation par éléments finis (FEM) conçu pour les capteurs tactiles à vision, intégré directement dans Isaac Sim, la plateforme de simulation GPU d'NVIDIA. Basé sur le solveur UIPC (Unified Incremental Potential Contact), TaCauchy calcule des tenseurs de contrainte de Cauchy à partir de lois constitutives hyperélastiques, puis projette ces contraintes sur les surfaces de contact pour obtenir les forces de traction et les distributions de pression. Il prend en charge trois capteurs courants, GelSight Mini, DIGIT et 9DTact, via une interface modulaire permettant une intégration rapide par simple configuration. Sur le plan des performances, le framework atteint 33,40 FPS en environnement unique et 555 FPS de débit agrégé sur 60 environnements parallèles, avec un overhead d'extraction des contraintes inférieur à 1 ms. La validation physique montre un SSIM supérieur à 0,93 sur une plage de forces allant de 1,26 N à 4,73 N. L'enjeu principal est le fossé sim-to-real qui pénalise l'entraînement par renforcement des politiques de manipulation tactile. Les approches existantes recourent généralement à des estimations empiriques des champs de contraintes, ce qui introduit des biais difficiles à corriger une fois déployé sur robot réel. TaCauchy propose à la place une vérité terrain mécanique dérivée des premiers principes physiques, ce qui représente un changement de paradigme pour les ingénieurs qui cherchent à entraîner des politiques de préhension fine sans collecter massivement de données réelles. Le débit de 555 FPS en parallèle rend cette précision physique compatible avec les pipelines d'apprentissage par renforcement à grande échelle. Les capteurs tactiles à vision de type GelSight ont émergé comme une alternative économique aux capteurs de force-couple classiques, mais leur simulation restait un goulot d'étranglement dans les environnements GPU-parallèles comme Isaac Lab ou Orbit. TaCauchy s'inscrit dans une dynamique plus large de "physiques différentiables" qui cherchent à remplacer les proxies heuristiques par des modèles rigoureux directement différenciables. Du côté concurrentiel, des travaux comme Taxim ou DigiTac ont proposé des approches optiques ou basées sur des réseaux de neurones pour la simulation GelSight, mais sans calcul de champ de contraintes FEM intégré à un environnement GPU. La prochaine étape probable pour TaCauchy sera l'intégration avec des politiques de type diffusion ou VLA (Vision-Language-Action) pour des tâches d'assemblage ou de manipulation déformable.

RecherchePaper

1 source

3arXiv cs.RO

World Translation : réduire l'écart simulation-réalité malgré l'observabilité partielle

Des chercheurs proposent une nouvelle méthode baptisée "World Translation" pour réduire l'écart entre simulation et réalité dans l'apprentissage de politiques robotiques, selon un article publié sur arXiv (2607.18154v1). Le problème ciblé est classique en robotique par apprentissage : une politique entraînée en simulation se comporte souvent mal une fois déployée sur un robot réel, car les modèles de dynamique appris à partir de données réelles échouent en cas d'observabilité partielle, c'est-à-dire quand un même signal capté par les capteurs peut correspondre à plusieurs transitions physiques différentes selon des facteurs non observés, comme un contact soudain sans signe avant-coureur. Plutôt que de prédire la dynamique en avant à partir de l'historique d'observations comme les méthodes existantes, l'équipe extrait l'information dynamique non observable en amont, à rebours, à partir d'une transition déjà observée, puis la transpose entre simulation et réalité via un problème de traduction de domaine non appariée. Les expériences couvrent trois types de plateformes : humanoïde, quadrupède et manipulateur, avec une validation en conditions réelles sur le quadrupède Go2 d'Unitree. L'enjeu dépasse la seule prouesse académique. Le fossé sim-to-real reste l'un des principaux verrous empêchant les politiques entraînées massivement en simulation d'atteindre une fiabilité suffisante pour un déploiement industriel, que ce soit pour des humanoïdes, des quadrupèdes d'inspection ou des bras manipulateurs. Une méthode qui gagne en précision précisément là où l'historique d'observations est peu informatif, typiquement les événements de contact brusques, cible un point faible connu des architectures actuelles de type VLA ou des politiques apprises par renforcement en simulation. Pour les intégrateurs et équipes R&D, cela concerne directement la robustesse des transferts de politiques vers du matériel réel, un enjeu central alors que le secteur multiplie les annonces de déploiements humanoïdes sans toujours démontrer une généralisation fiable hors du laboratoire. Ce travail s'inscrit dans la lignée des approches dites "real-to-sim", qui cherchent à améliorer le réalisme du simulateur à partir de données réelles plutôt que l'inverse, en s'appuyant sur des modèles de dynamique appris. L'article positionne World Translation comme complémentaire à ces approches : les simulateurs restent déterministes mais physiquement imparfaits, tandis que les modèles appris sont précis mais sous-déterminés en cas d'observabilité partielle. Le choix du Go2 d'Unitree comme plateforme de validation réelle s'inscrit dans une pratique courante de la recherche en locomotion, ce robot quadrupède commercial servant de banc d'essai standard pour de nombreuses équipes académiques avant d'envisager un passage à des plateformes humanoïdes plus complexes.

RecherchePaper

1 source

4arXiv cs.RO

Évaluation en temps réel de la sécurité des opérations du bras humain via un IMU au poignet avec système PSM

Des chercheurs publient sur arXiv (2502.09241) un système de surveillance de sécurité en temps réel pour environnements de fabrication collaboratifs homme-robot, basé sur une unité de mesure inertielle (IMU) portée au poignet et couplée à un modèle de sécurité prédictif (PSM, Predictive Safety Model). Le coeur du dispositif repose sur un modèle masse-ressort-amortisseur adapté aux mouvements du poignet, qui effectue une évaluation probabiliste du risque par calcul d'impédance mécanique. L'approche a été validée expérimentalement sur trois tâches manufacturières représentatives : manipulation d'outils, inspection visuelle et opérations de pick-and-place. Les auteurs démontrent la tenue en temps réel du système grâce à une sélection optimisée des paramètres, sans préciser les fréquences d'échantillonnage ni les latences mesurées dans le preprint. La pertinence industrielle tient à un problème structurel des cobots : comment évaluer dynamiquement le risque d'un opérateur sans interrompre le cycle productif. Les méthodes classiques de surveillance reposent soit sur des capteurs de force intégrés au robot (coûteux, limités à la zone d'interaction directe), soit sur des systèmes de vision 3D (sensibles aux occlusions, gourmands en calcul). Un IMU porté au poignet offre une alternative légère et portable, indépendante de l'infrastructure fixe. L'analyse en domaine fréquentiel pour établir des seuils quantitatifs de sécurité constitue une contribution méthodologique, mais elle reste à confronter aux exigences normatives ISO/TS 15066 qui régissent la vitesse et la puissance des robots collaboratifs en Europe et en Amérique du Nord. Le PSM dont s'inspire ce travail appartient à une lignée de modèles prédictifs développés en robotique collaborative, parallèlement aux travaux du DLR sur l'évaluation de risque biomécanique et aux implémentations commerciales comme SafeMove (ABB) ou les fonctions Speed&Separation Monitoring. Aucune entreprise partenaire ni timeline de déploiement n'est mentionnée dans le preprint : il s'agit d'une contribution académique en phase de validation expérimentale, sans prototype industriel annoncé. Les suites évoquées concernent l'évaluation adaptative du risque en temps réel, ce qui suggère une poursuite en laboratoire avant toute perspective de déploiement terrain.

UELa norme ISO/TS 15066, référence réglementaire pour les cobots en Europe, est citée comme horizon de validation obligatoire, mais l'absence de partenaire industriel européen et de métriques publiées (latence, fréquence d'échantillonnage) maintient ce travail au stade académique sans impact opérationnel immédiat sur le marché EU.

RecherchePaper

1 source