RecherchearXiv cs.RO 7 octobre 2026

AIM : réseaux de modélisation adaptative des interactions pour la simulation de corps mous du réel vers la simulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent AIM (Adaptive Interaction Modeling), un cadre de simulation de corps mous « real-to-sim » qui reconstruit à partir d'observations réelles un simulateur capable de prédire la déformation d'un objet soumis à des interactions externes. Le papier, publié sur arXiv (2610.07116), traite la simulation comme un problème de modélisation d'interactions locales et globales. AIM adapte les relations entre particules à partir de l'historique de mouvement et de la géométrie, en combinant les voisins spatiaux courants et des connexions conservées. Une communication globale conditionnée par la géométrie coordonne la réponse de l'objet entier. Une interface unifiée de points de contrôle cinématiques représente différentes configurations de manipulation, et une supervision autorégressive multi-pas entraîne le modèle sur ses propres trajectoires prédites. Sur les bancs d'essai PhysTwin et PGND, les auteurs rapportent une réduction de 20,0 % de l'erreur de suivi en prédiction future par rapport à PhysTwin, et de 22,8 % de l'erreur moyenne de particules à long horizon sur six catégories d'objets par rapport à PGND.

L'enjeu touche la manipulation d'objets déformables (pliage de linge, manipulation d'aliments), où le robot doit contrôler la forme autant que la position. Un simulateur prédictif fiable permet de planifier ou d'entraîner des politiques sans multiplier les essais physiques. Le papier cible deux faiblesses connues. D'une part, le voisinage spatial peut mal représenter les dépendances de déformation, et les erreurs locales s'accumulent au fil des prédictions. D'autre part, les modèles ajustés scène par scène généralisent mal aux changements de géométrie ou de conditions de manipulation. Les auteurs affirment un transfert entre actions, instances d'objets et scènes, y compris un transfert zero-shot d'interactions robotiques vers la manipulation humaine, sans ajustement de la dynamique sur le domaine cible. Ces résultats restent des mesures de laboratoire sur des benchmarks de reconstruction. Ils ne disent rien sur un déploiement industriel, sur le coût de calcul ni sur la vitesse d'inférence, et aucun gain n'est chiffré en tâche robotique de bout en bout.

AIM se situe dans la lignée des jumeaux numériques physiques appris à partir de vidéo. PhysTwin reconstruit des objets déformables à partir d'observations éparses, tandis que PGND s'appuie sur des dynamiques neuronales fondées sur les particules. Les deux servent ici de références. L'approche répond à la limite des modèles ajustés à une scène unique, qui peinent dès que l'objet ou la manipulation change. Le papier est une prépublication v1, sans relecture par les pairs, et il ne mentionne ni code, ni partenaire industriel, ni calendrier de pilote. La suite logique est une validation sur robot réel en boucle fermée, avec des objets plus variés et des contraintes de temps réel. Ces conditions décideront si ce type de simulateur sert la planification de manipulation ou reste un outil de prédiction hors ligne.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SoMA : un simulateur neuronal réel-vers-simulation pour la manipulation robotique de corps mous

SoMA, un simulateur neuronal de type "real-to-sim" pour la manipulation robotique d'objets déformables, vient d'être présenté dans un article arXiv (référence 2602.02402v2, version révisée). Le système s'appuie sur des Gaussian Splats 3D pour modéliser les dynamiques d'objets souples (tissus, matériaux déformables) en couplant trois éléments dans un espace latent neuronal unifié : la dynamique de déformation propre à l'objet, les forces environnementales, et les actions des articulations du robot. Contrairement aux simulateurs existants qui reposent soit sur des modèles physiques prédéfinis, soit sur des dynamiques apprises à partir de données mais sans conditionnement par les commandes du robot, SoMA intègre directement le contrôle robotique dans sa boucle de simulation. Les auteurs rapportent un gain de précision de resimulation et de généralisation de 20% sur des tâches de manipulation robotique réelles, avec une démonstration sur du pliage de tissu à horizon long. Cette approche s'attaque à un problème central pour l'industrie robotique : la manipulation d'objets souples reste l'un des angles morts des pipelines actuels de simulation-vers-réel, largement optimisés pour les objets rigides. Un simulateur capable de représenter fidèlement la déformation de matériaux tout en restant stable sur de longues séquences d'actions ouvrirait la voie à un entraînement plus fiable de politiques de manipulation pour du linge, des câbles, ou des emballages souples, sans dépendre de modèles physiques manuels coûteux à calibrer. Le gain de 20% en généralisation, s'il se confirme sur d'autres tâches que le pliage de tissu, suggérerait que les architectures neuronales conditionnées par le robot peuvent combler une partie de l'écart entre simulation et réalité pour les objets déformables, un domaine où les benchmarks restent encore peu standardisés. Le champ de la simulation "real-to-sim" pour la robotique s'est largement développé autour des Gaussian Splatting comme représentation de scène, en particulier pour les objets rigides ou articulés. SoMA prolonge cette ligne de recherche vers les corps mous, un défi documenté de longue date en raison de la difficulté à modéliser des dynamiques non linéaires avec peu de données réelles. L'article ne précise pas de plan de déploiement industriel ni de partenariat commercial à ce stade : il s'agit d'une contribution de recherche académique, dont la reproductibilité et l'extension à d'autres classes d'objets déformables (mousses, liquides, objets composites) restent à démontrer par la communauté.

RecherchePaper

1 source

2arXiv cs.RO

Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation

Des chercheurs ont publié sur arXiv (référence 2603.06218v2) un framework baptisé "Few-Shot Neural Differentiable Simulator", conçu pour calibrer des simulateurs analytiques rigides à partir d'un volume réduit de données réelles, puis générer des jeux de données synthétiques à grande échelle. L'approche combine un simulateur analytique traditionnel, utilisé comme générateur de données après calibration, avec un réseau de neurones sur graphe (GNN) basé sur des maillages 3D, chargé de modéliser la dynamique avant des corps rigides. La contribution technique centrale réside dans la dérivation de gradients de substitution pour la détection de collision, rendant l'ensemble du pipeline entièrement différentiable. Les expériences portent sur des scénarios d'interaction multi-objets, où le système apprend des politiques de manipulation directement par optimisation basée sur les gradients dans le simulateur. Ce travail s'attaque à l'un des verrous majeurs du apprentissage robotique : le coût prohibitif de la collecte de données réelles et l'écart persistant entre simulation et réalité (sim-to-real gap). En n'exigeant qu'un petit nombre d'épisodes réels pour recaler le simulateur analytique, plutôt que des milliers de trajectoires pour entraîner un modèle purement appris, le framework réduit significativement la barrière d'accès à la simulation haute-fidélité. La différentiabilité complète est un avantage concret pour les concepteurs de politiques robotiques : elle permet de propager des gradients à travers la dynamique de contact, évitant le recours à des méthodes d'optimisation sans gradient (evolutionary strategies, RL model-free) typiquement moins efficaces en échantillons. Les résultats présentés indiquent que le GNN ainsi entraîné surpasse des baselines différentiables analytiques pour répliquer des trajectoires réelles, bien que ces résultats restent à ce stade expérimentaux et non validés en conditions industrielles réelles. Le problème de la simulation de contact rigide mobilise depuis plusieurs années des équipes académiques et industrielles majeures. Les simulateurs dominants comme MuJoCo (DeepMind), Isaac Sim (NVIDIA) et PyBullet offrent une différentiabilité partielle, mais peinent à modéliser fidèlement les contacts complexes sans paramétrage expert lourd. Des approches concurrentes comme DiffTaichi ou Brax (Google) ont exploré la différentiabilité à l'échelle, tandis que des laboratoires comme MIT CSAIL et Stanford travaillent sur des simulateurs neuronaux pour la manipulation. Ce preprint, non encore soumis à révision par pairs, ouvre une direction crédible vers des simulateurs "grounded" en peu de données réelles, pertinente pour les déploiements en manipulation industrielle et en robotique de service où les données réelles sont coûteuses à acquérir.

RecherchePaper

1 source

3arXiv cs.RO

Adaptation simulation-réel en ligne par modélisation du système en boucle fermée

Des chercheurs du General Robotics Lab ont publié en septembre 2026 sur arXiv un article décrivant OSRAM (Online Sim-to-Real Adaptation via Closed-Loop System Modeling), une méthode qui corrige les écarts de précision entre simulation et robot réel sans réentraîner la politique de contrôle. Le problème visé est connu : un contrôleur entraîné en simulation reste souvent stable une fois déployé sur le matériel, mais son suivi de trajectoire se dégrade à cause d'un décalage résiduel entre la dynamique simulée et la dynamique physique réelle. Plutôt que de modifier la politique de contrôle elle-même, OSRAM ajuste les commandes de référence envoyées à cette politique, en modélisant l'ensemble robot plus contrôleur comme un système dynamique en boucle fermée unique. Un modèle de cette boucle est d'abord méta-entraîné en simulation sur une large variété de dynamiques randomisées, puis affiné rapidement après déploiement à partir d'un nombre limité d'interactions réelles. L'équipe a validé l'approche sur des tâches de suivi de vitesse pour robot bipède et de loco-manipulation, à la fois en simulation et sur matériel physique réel. L'intérêt pour l'industrie robotique tient à l'économie de ressources : les méthodes classiques pour combler le fossé sim-to-real exigent soit une identification complète de la dynamique physique du système, soit un retour en simulation pour réentraîner ou finetuner la politique, deux options coûteuses en données et en calcul. OSRAM propose une alternative légère, applicable en ligne, qui laisse la politique de contrôle déployée intacte et ne touche qu'aux commandes envoyées. Pour des intégrateurs qui déploient des humanoïdes ou des robots à pattes sur des sites variés avec des conditions matérielles hétérogènes, une telle adaptation rapide et peu gourmande en données pourrait réduire le temps de calibration après installation, un point de friction connu de la commercialisation des plateformes VLA et locomotrices actuelles. Le travail s'inscrit dans la lignée des recherches sur le transfert sim-to-real, un axe où le secteur cherche depuis plusieurs années à dépasser la randomisation de domaine et l'identification de système, deux approches jugées limitées face à des dynamiques réelles imprévisibles. Les auteurs positionnent explicitement OSRAM comme complémentaire, et non substitutif, à ces techniques existantes. Aucune date de disponibilité en open source ni de partenariat industriel n'est mentionnée ; le site dédié au projet, generalroboticslab.com/OSRAM, sert pour l'instant de vitrine aux résultats expérimentaux publiés dans l'article.

RecherchePaper

1 source

4arXiv cs.RO

SocioGesture : perception adaptative en temps réel des gestes sociaux pour l'interaction homme-robot

Des chercheurs présentent SocioGesture, un système de perception gestuelle sociale conçu pour l'interaction humain-robot en temps réel, décrit dans un article publié sur arXiv le 4 septembre 2026 (arXiv:2609.04545v1). L'objectif est de faire reconnaître à un robot non seulement des commandes explicites, mais aussi des signaux sociaux comme une invitation, un refus ou un signe d'indisponibilité, à partir de capteurs embarqués imparfaits, sujets aux occlusions partielles et aux changements de point de vue. Le système repose sur une représentation compacte du squelette corps-mains avec score de confiance, couplée à un modèle léger à deux flux qui fusionne le mouvement du corps et l'articulation des mains pour une reconnaissance à faible latence directement sur le robot. Pour renforcer la robustesse, les chercheurs entraînent le modèle avec une méthode de corruption volontaire du squelette simulant des mains manquantes, des bras occultés ou des points-clés instables dans le temps, sans alourdir le coût de calcul à l'inférence. Testé sur un jeu de données de gestes sociaux collecté en environnements mixtes intérieur-extérieur, SocioGesture atteint une bonne reconnaissance sur des sujets non vus à l'entraînement, améliore nettement la robustesse face aux occlusions structurées, et tourne en temps réel sur un dispositif de calcul embarqué (edge). Cette avancée cible un angle mort concret de la robotique de service et industrielle: la plupart des systèmes actuels traitent les gestes comme des commandes isolées, mais ignorent les signaux sociaux implicites qui régulent une interaction naturelle en environnement partagé avec des humains, ce qui limite l'acceptabilité et la fluidité des robots déployés en espace public ou en usine. En prouvant qu'un modèle léger peut tourner en embarqué avec robustesse face à l'occlusion, un problème récurrent en conditions réelles, sans démonstration vidéo sélective ni matériel de calcul déporté, l'étude apporte un signal utile aux intégrateurs qui cherchent à dépasser le stade de la démo contrôlée en laboratoire. Le mécanisme d'apprentissage continu, qui met de côté les séquences ambiguës pour un étiquetage différé et permet d'étendre le vocabulaire gestuel sans dégrader les classes déjà apprises, répond aussi à un frein classique au déploiement long terme des robots sociaux. Le travail s'inscrit dans la lignée des recherches en HRI (human-robot interaction) cherchant à rapprocher la perception gestuelle des conditions réelles de terrain, plutôt que des jeux de données propres en studio, une problématique partagée par les laboratoires travaillant sur les modèles vision-langage-action (VLA) et la navigation sociale de robots mobiles ou d'AMR. L'article ne mentionne ni partenariat industriel, ni date de déploiement pilote, ni comparaison chiffrée directe avec des systèmes concurrents commerciaux: il s'agit à ce stade d'une contribution de recherche publiée en preprint, dont la prochaine étape logique serait une validation sur des plateformes robotiques commerciales et des comparaisons benchmark publiques.

RecherchePaper

1 source