RecherchearXiv cs.RO 26 mai 2026

Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2603.06218v2) un framework baptisé "Few-Shot Neural Differentiable Simulator", conçu pour calibrer des simulateurs analytiques rigides à partir d'un volume réduit de données réelles, puis générer des jeux de données synthétiques à grande échelle. L'approche combine un simulateur analytique traditionnel, utilisé comme générateur de données après calibration, avec un réseau de neurones sur graphe (GNN) basé sur des maillages 3D, chargé de modéliser la dynamique avant des corps rigides. La contribution technique centrale réside dans la dérivation de gradients de substitution pour la détection de collision, rendant l'ensemble du pipeline entièrement différentiable. Les expériences portent sur des scénarios d'interaction multi-objets, où le système apprend des politiques de manipulation directement par optimisation basée sur les gradients dans le simulateur.

Ce travail s'attaque à l'un des verrous majeurs du apprentissage robotique : le coût prohibitif de la collecte de données réelles et l'écart persistant entre simulation et réalité (sim-to-real gap). En n'exigeant qu'un petit nombre d'épisodes réels pour recaler le simulateur analytique, plutôt que des milliers de trajectoires pour entraîner un modèle purement appris, le framework réduit significativement la barrière d'accès à la simulation haute-fidélité. La différentiabilité complète est un avantage concret pour les concepteurs de politiques robotiques : elle permet de propager des gradients à travers la dynamique de contact, évitant le recours à des méthodes d'optimisation sans gradient (evolutionary strategies, RL model-free) typiquement moins efficaces en échantillons. Les résultats présentés indiquent que le GNN ainsi entraîné surpasse des baselines différentiables analytiques pour répliquer des trajectoires réelles, bien que ces résultats restent à ce stade expérimentaux et non validés en conditions industrielles réelles.

Le problème de la simulation de contact rigide mobilise depuis plusieurs années des équipes académiques et industrielles majeures. Les simulateurs dominants comme MuJoCo (DeepMind), Isaac Sim (NVIDIA) et PyBullet offrent une différentiabilité partielle, mais peinent à modéliser fidèlement les contacts complexes sans paramétrage expert lourd. Des approches concurrentes comme DiffTaichi ou Brax (Google) ont exploré la différentiabilité à l'échelle, tandis que des laboratoires comme MIT CSAIL et Stanford travaillent sur des simulateurs neuronaux pour la manipulation. Ce preprint, non encore soumis à révision par pairs, ouvre une direction crédible vers des simulateurs "grounded" en peu de données réelles, pertinente pour les déploiements en manipulation industrielle et en robotique de service où les données réelles sont coûteuses à acquérir.

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel

Une équipe de chercheurs a publié sur arXiv (réf. 2510.20390v2) NeuralTouch, un framework multimodal combinant les Neural Descriptor Fields (NDF) avec le retour haptique pour améliorer la précision de préhension des robots manipulateurs. Le principe repose sur deux étages : les NDF génèrent une représentation implicite de la géométrie de contact cible à partir de données visuelles, puis une politique d'apprentissage par renforcement profond (deep RL) affine la saisie en temps réel via des capteurs tactiles. Le système a été validé sur des tâches de manipulation fine, insertion de cheville dans un trou (peg-out-in-hole) et ouverture de bouchon de bouteille, avec un transfert zéro-shot du simulateur vers l'environnement physique, sans fine-tuning supplémentaire. Les études d'ablation en simulation et les tests réels montrent une amélioration significative de la précision et de la robustesse par rapport aux baselines, bien que les métriques quantitatives précises ne figurent pas dans le résumé publié. Le problème adressé est bien connu des intégrateurs : les NDF seuls souffrent d'imprécisions dues à une calibration caméra imparfaite, des nuages de points incomplets et la variabilité géométrique des objets. À l'inverse, les approches tactiles existantes restent cantonnées à des géométries de contact prédéfinies et simples, ce qui limite leur déployabilité industrielle. NeuralTouch contourne cette dualité en conditionnant la politique RL sur les descripteurs neuronaux sans nécessiter de spécification explicite du type de contact, ce qui est précisément le verrou que le secteur cherche à lever pour rendre les bras manipulateurs économiquement viables dans des environnements non structurés. La capacité de généralisation inter-catégories d'objets sans ré-entraînement représente un argument concret pour les COO industriels cherchant à réduire les coûts d'intégration. Ce travail s'inscrit dans un courant actif autour du sim-to-real pour la manipulation de précision, où Stanford, MIT et CMU rivalisent avec des acteurs industriels comme Sanctuary AI, 1X Technologies et Physical Intelligence, dont le modèle pi-0 cible également la manipulation généraliste. NeuralTouch se distingue par son approche hybride vision-tactile conditionnée sur des descripteurs neuronaux, évitant la fragmentation habituelle entre les pipelines purement visuels et les politiques haptiques spécialisées. Reste à démontrer la robustesse du framework sur une gamme plus large de géométries et sur des plateformes robotiques commerciales, étapes qui conditionneront le passage d'une démonstration académique à un outil industriellement pertinent.

RecherchePaper

1 source

2arXiv cs.RO

AIM : réseaux de modélisation adaptative des interactions pour la simulation de corps mous du réel vers la simulation

Des chercheurs proposent AIM (Adaptive Interaction Modeling), un cadre de simulation de corps mous « real-to-sim » qui reconstruit à partir d'observations réelles un simulateur capable de prédire la déformation d'un objet soumis à des interactions externes. Le papier, publié sur arXiv (2610.07116), traite la simulation comme un problème de modélisation d'interactions locales et globales. AIM adapte les relations entre particules à partir de l'historique de mouvement et de la géométrie, en combinant les voisins spatiaux courants et des connexions conservées. Une communication globale conditionnée par la géométrie coordonne la réponse de l'objet entier. Une interface unifiée de points de contrôle cinématiques représente différentes configurations de manipulation, et une supervision autorégressive multi-pas entraîne le modèle sur ses propres trajectoires prédites. Sur les bancs d'essai PhysTwin et PGND, les auteurs rapportent une réduction de 20,0 % de l'erreur de suivi en prédiction future par rapport à PhysTwin, et de 22,8 % de l'erreur moyenne de particules à long horizon sur six catégories d'objets par rapport à PGND. L'enjeu touche la manipulation d'objets déformables (pliage de linge, manipulation d'aliments), où le robot doit contrôler la forme autant que la position. Un simulateur prédictif fiable permet de planifier ou d'entraîner des politiques sans multiplier les essais physiques. Le papier cible deux faiblesses connues. D'une part, le voisinage spatial peut mal représenter les dépendances de déformation, et les erreurs locales s'accumulent au fil des prédictions. D'autre part, les modèles ajustés scène par scène généralisent mal aux changements de géométrie ou de conditions de manipulation. Les auteurs affirment un transfert entre actions, instances d'objets et scènes, y compris un transfert zero-shot d'interactions robotiques vers la manipulation humaine, sans ajustement de la dynamique sur le domaine cible. Ces résultats restent des mesures de laboratoire sur des benchmarks de reconstruction. Ils ne disent rien sur un déploiement industriel, sur le coût de calcul ni sur la vitesse d'inférence, et aucun gain n'est chiffré en tâche robotique de bout en bout. AIM se situe dans la lignée des jumeaux numériques physiques appris à partir de vidéo. PhysTwin reconstruit des objets déformables à partir d'observations éparses, tandis que PGND s'appuie sur des dynamiques neuronales fondées sur les particules. Les deux servent ici de références. L'approche répond à la limite des modèles ajustés à une scène unique, qui peinent dès que l'objet ou la manipulation change. Le papier est une prépublication v1, sans relecture par les pairs, et il ne mentionne ni code, ni partenaire industriel, ni calendrier de pilote. La suite logique est une validation sur robot réel en boucle fermée, avec des objets plus variés et des contraintes de temps réel. Ces conditions décideront si ce type de simulateur sert la planification de manipulation ou reste un outil de prédiction hors ligne.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RigPI : identification des paramètres dynamiques d'un corps rigide par simulation différentiable guidée par VLM

Des chercheurs présentent RigPI (arXiv:2606.25212, juin 2026), un framework d'identification des paramètres dynamiques d'objets rigides manipulés par un bras robotique, sans connaissance préalable de leurs propriétés physiques. Le système fusionne trois sources : un modèle vision-langage (VLM) qui initialise sémantiquement les estimations à partir de l'apparence de l'objet, des capteurs force-couple pour capturer les interactions réelles, et un simulateur physique différentiable qui affine les paramètres par descente de gradient. RigPI couvre les objets libres non contraints et les corps multi-articulés à joints rotoïdes ou prismatiques. Une optimisation en deux étapes atténue la sensibilité au bruit et évite les solutions physiquement aberrantes. Des expériences en conditions réelles valident que le robot reproduit fidèlement les trajectoires de manipulation en utilisant les paramètres identifiés. L'enjeu pour l'industrie est direct : construire des jumeaux numériques fiables exige de connaître les propriétés inertielles et frictionnelles d'un objet inconnu, pas seulement sa géométrie. Les pipelines classiques d'identification de système déraillent face au bruit capteur, aux erreurs de modèle et à l'absence de prior. RigPI innove sur deux fronts : l'usage d'un VLM comme oracle physique pour contraindre l'espace de recherche avant optimisation numérique, réduisant le risque de minima locaux incohérents ; et l'exploitation de la simulation différentiable pour propager des gradients analytiques plutôt que de procéder par essais-erreurs. Pour un intégrateur ou un responsable de production, cela signifie qu'une cellule de manipulation peut s'auto-calibrer sur un nouvel objet sans intervention humaine, comprimant les délais de mise en service. Ce travail prend place dans un effort de recherche dense autour de la simulation différentiable en robotique, où des groupes de MIT, Stanford et de laboratoires comme DeepMind publient des approches parallèles. Le sim-to-real sur les paramètres physiques reste un problème ouvert : la majorité des pipelines actuels supposent des masses et frictions connues, ou les approximent grossièrement. RigPI est à ce stade un prototype académique, preprint non encore peer-reviewé, sans partenaire industriel annoncé. Les prolongements logiques incluent l'intégration avec des politiques VLA (vision-language-action) pour fermer la boucle perception-identification-contrôle, et l'extension aux matériaux déformables ou aux contacts multi-points.

RecherchePaper

1 source

4arXiv cs.RO

Adaptation simulation-réel en ligne par modélisation du système en boucle fermée

Des chercheurs du General Robotics Lab ont publié en septembre 2026 sur arXiv un article décrivant OSRAM (Online Sim-to-Real Adaptation via Closed-Loop System Modeling), une méthode qui corrige les écarts de précision entre simulation et robot réel sans réentraîner la politique de contrôle. Le problème visé est connu : un contrôleur entraîné en simulation reste souvent stable une fois déployé sur le matériel, mais son suivi de trajectoire se dégrade à cause d'un décalage résiduel entre la dynamique simulée et la dynamique physique réelle. Plutôt que de modifier la politique de contrôle elle-même, OSRAM ajuste les commandes de référence envoyées à cette politique, en modélisant l'ensemble robot plus contrôleur comme un système dynamique en boucle fermée unique. Un modèle de cette boucle est d'abord méta-entraîné en simulation sur une large variété de dynamiques randomisées, puis affiné rapidement après déploiement à partir d'un nombre limité d'interactions réelles. L'équipe a validé l'approche sur des tâches de suivi de vitesse pour robot bipède et de loco-manipulation, à la fois en simulation et sur matériel physique réel. L'intérêt pour l'industrie robotique tient à l'économie de ressources : les méthodes classiques pour combler le fossé sim-to-real exigent soit une identification complète de la dynamique physique du système, soit un retour en simulation pour réentraîner ou finetuner la politique, deux options coûteuses en données et en calcul. OSRAM propose une alternative légère, applicable en ligne, qui laisse la politique de contrôle déployée intacte et ne touche qu'aux commandes envoyées. Pour des intégrateurs qui déploient des humanoïdes ou des robots à pattes sur des sites variés avec des conditions matérielles hétérogènes, une telle adaptation rapide et peu gourmande en données pourrait réduire le temps de calibration après installation, un point de friction connu de la commercialisation des plateformes VLA et locomotrices actuelles. Le travail s'inscrit dans la lignée des recherches sur le transfert sim-to-real, un axe où le secteur cherche depuis plusieurs années à dépasser la randomisation de domaine et l'identification de système, deux approches jugées limitées face à des dynamiques réelles imprévisibles. Les auteurs positionnent explicitement OSRAM comme complémentaire, et non substitutif, à ces techniques existantes. Aucune date de disponibilité en open source ni de partenariat industriel n'est mentionnée ; le site dédié au projet, generalroboticslab.com/OSRAM, sert pour l'instant de vitrine aux résultats expérimentaux publiés dans l'article.

RecherchePaper

1 source