PhySPRING : réduction préservant la structure des…

1arXiv cs.RO

ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21751) un système baptisé ForceTwin, conçu pour créer des jumeaux numériques d'objets articulés, portes, tiroirs, mécanismes à ressort, intégrant leurs propriétés physiques réelles plutôt que de simples données visuelles. La méthode repose sur une pince instrumentée à capteur de force, manipulée par un humain, qui enregistre simultanément positions et forces d'interaction. Ces données permettent d'estimer l'articulation de l'objet et ses paramètres dynamiques : inertie, friction de Coulomb, amortissement visqueux, plus un résidu neuronal structuré capturant les forces de mécanisme dépendantes de l'état, comme un ressort ou un ferme-porte. ForceTwin réduit de près de moitié l'erreur d'estimation des paramètres inertiels par rapport à une méthode s'appuyant sur un modèle vision-langage (VLM) comme a priori. Intégré comme modèle dynamique feedforward dans un contrôle en impédance, le système a été testé sur un robot quadrupède Spot (Boston Dynamics) et un bras Franka FR3 (Franka Robotics, Allemagne), atteignant 87% de réussite sur neuf paires objet-robot, contre 60% pour l'approche VLM et 57% pour un jumeau purement cinématique. Les jumeaux identifiés ont ensuite servi à entraîner des politiques de franchissement de porte en corps entier, déployées en conditions réelles. Cette approche cible un angle mort des pipelines actuels de jumeaux numériques, qui se contentent souvent d'inférer la géométrie et d'assigner des paramètres physiques statiques à partir d'a priori visuels ou textuels, une méthode pouvant produire des estimations physiquement incohérentes : deux portes visuellement identiques peuvent demander un effort de manipulation très différent, une nuance invisible pour un modèle vision-langage mais critique pour un robot devant réellement pousser, tirer ou tourner un mécanisme. Pour les intégrateurs et les équipes R&D en manipulation robotique, l'écart de performance observé, particulièrement marqué sur les objets à mécanisme fort où les deux méthodes de référence calent, indique que la modélisation physique fine reste un verrou plus contraignant que la perception ou la planification pour la manipulation d'objets articulés en environnement réel. Cela nuance l'idée selon laquelle les modèles vision-langage-action suffiraient à généraliser la manipulation sans modèle physique explicite du mécanisme manipulé. ForceTwin s'inscrit dans la lignée des travaux sur les jumeaux numériques articulés en robotique, où la difficulté centrale est de capturer la dynamique sans instrumenter lourdement chaque objet du monde réel. Le système se positionne explicitement contre deux références répandues dans la littérature et les pipelines industriels de simulation : l'estimation par a priori vision-langage et les jumeaux purement cinématiques. La validation a été menée sur du matériel commercial existant, Spot et Franka FR3, plutôt que sur des plateformes propriétaires fermées, ce qui facilite une reproductibilité potentielle par d'autres laboratoires. La suite annoncée porte sur le déploiement de politiques de franchissement de porte en corps entier, une tâche souvent citée comme test de référence pour la mobilité et la manipulation combinées chez les robots humanoïdes et quadrupèdes équipés de bras.

UELe bras robotique Franka FR3 utilisé pour valider le système est produit par l'entreprise allemande Franka Robotics, seul lien concret de cette recherche avec l'écosystème européen.

RecherchePaper

1 source

2arXiv cs.RO

Jumeau numérique physique probabiliste pour l'interaction humain-robot

Des chercheurs proposent, dans un preprint arXiv (2610.19336), un cadre de jumeaux numériques probabilistes pour l'interaction homme-robot. Là où un jumeau numérique classique s'appuie sur des valeurs fixes pour la masse, le frottement ou le centre de masse, ce cadre représente ces propriétés physiques incertaines par des distributions de probabilité. Le jumeau simule ensuite les actions sur l'ensemble de ces distributions. Il en tire une plage de résultats possibles, avec la probabilité de chacun, au lieu d'une prédiction unique. Les auteurs l'illustrent par deux familles de scénarios d'interaction homme-robot. Dans la première, des interfaces communiquent les résultats simulés à l'utilisateur. Dans la seconde, des stratégies de planification robotique tiennent explicitement compte de l'incertitude. Le résumé publié ne chiffre ni taux de réussite, ni temps de calcul, ni plateforme matérielle. Il ne dit pas non plus si les expériences ont eu lieu en simulation ou sur un robot réel. Il s'agit donc d'une proposition méthodologique à ce stade, sans produit ni déploiement. L'intérêt tient à un point dur du sim-to-real. Les jumeaux numériques servent à simuler, prédire et planifier, mais leur précision dépend de paramètres physiques difficiles à mesurer hors du laboratoire. C'est le cas d'un colis de contenu inconnu, d'un sol dont l'adhérence varie ou d'un objet au centre de masse décalé. Plutôt que de chercher une identification parfaite, l'approche choisit les actions qui restent efficaces malgré l'incertitude. C'est une logique de robustesse que les intégrateurs en manutention, en logistique ou en cobotique connaissent bien, car leurs échecs viennent plus souvent d'un paramètre mal estimé que d'un défaut de planification. Communiquer des résultats probabilistes à l'opérateur ouvre aussi une piste pour la confiance et la supervision. Il manque toutefois des éléments pour juger la portée réelle. Il faut des benchmarks, des comparaisons avec la randomisation de domaine ou les planificateurs robustes existants, et des données sur le coût de calcul d'une simulation par échantillonnage en temps réel. Ce travail s'inscrit dans plusieurs courants actifs. Les jumeaux numériques et les simulateurs physiques différentiables sont de plus en plus utilisés en robotique. L'identification de paramètres par inférence bayésienne et la randomisation de domaine, pratique courante pour transférer des politiques apprises en simulation, traitent déjà l'incertitude, mais surtout au moment de l'entraînement. Ici, l'incertitude est exploitée à l'exécution, pour décider et pour expliquer. La suite dépendra de validations sur robots physiques, de l'intégration avec des politiques apprises de type VLA et des retours d'utilisateurs sur les interfaces proposées. Ce preprint n'a pas encore été relu par des pairs, et aucun calendrier de pilote ni partenaire industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Traversée de porte poussée via des jumeaux numériques simulés (Video2DoorTraversal)

Un article publié sur arXiv (2608.20251v1) présente Video2DoorTraversal, un système permettant à des robots mobiles à roues-pattes d'ouvrir et de franchir des portes de façon autonome à partir d'une seule vidéo RGB. Le module DoorTwin reconstruit, à partir de cette vidéo, un jumeau numérique articulé et simulable de la porte, avec géométrie et apparence réalistes. Un agent de simulation transforme cette articulation en programme de compétences paramétré et affine les essais échoués pour produire des démonstrations exécutables, utilisées pour entraîner ArticuACT, une politique "dual-depth" qui prédit les commandes de la base, du bras et de la pince via une caméra embarquée centrée sur le robot. Avec perception et inférence exécutées entièrement à bord, le système atteint 96,57% de réussite moyenne sur cinq portes réelles, 80,95% en zero-shot sur des portes inédites structurellement similaires, et boucle la séquence complète d'approche, ouverture et franchissement en environ 13 secondes. L'ouverture de porte reste l'une des tâches de loco-manipulation les plus difficiles pour les robots mobiles : elle exige une interaction précise avec une poignée et un contrôle coordonné base-bras sur un horizon long, un goulot d'étranglement classique pour le déploiement en bureaux, usines ou hôpitaux. L'apport principal est de montrer qu'une seule vidéo suffit à produire un jumeau simulable exploitable pour l'entraînement, sans scan 3D ni modélisation CAO dédiée à chaque porte, ce qui réduirait le coût d'intégration site par site pour les industriels. Le taux zero-shot de 80,95% sur des portes inédites est le chiffre le plus parlant pour des intégrateurs, car il suggère une réelle transférabilité au-delà du sur-apprentissage sur un jeu fermé de portes. Ces résultats restent néanmoins ceux d'un préprint académique testé sur cinq portes en laboratoire, sans validation indépendante ni déploiement en conditions réelles non contrôlées. Le document ne mentionne aucune entreprise ni marque commerciale : il s'agit d'un travail académique publié sur arXiv, dans la lignée des efforts visant à combler l'écart simulation-réalité pour la manipulation fine, un problème que des modèles vision-langage-action génériques comme Pi-0, GR00T N2 ou Helix adressent aussi mais sans se spécialiser sur l'interaction avec des poignées et des portes. Le choix d'une plateforme à roues-pattes plutôt qu'un humanoïde bipède complet distingue cette approche des efforts type Figure 03 ou Optimus, en misant sur une base plus stable pour la manipulation fine en mouvement. Aucun calendrier de déploiement industriel ni partenariat n'est annoncé ; la suite logique évoquée par les auteurs est l'extension à davantage de types de portes, de poignées et de mécanismes de verrouillage, ainsi que des tests en environnements réels non contrôlés au-delà des cinq portes testées. Aucun acteur français ou européen n'apparaît dans ces travaux.

RecherchePaper

1 source

4arXiv cs.RO

Structure de prédiction latente 4D pour la planification robotique

Structured 4D Latent Predictive Model : un système de prédiction spatiale en 3D pour la planification robotique Une équipe de recherche publie sur arXiv (identifiant 2607.01166v1) un nouveau modèle baptisé « Structured 4D Latent Predictive Model », conçu pour la planification de tâches robotiques. Contrairement aux modèles prédictifs vidéo classiques, qui travaillent sur des séquences 2D, ce système prédit l'évolution de la structure 3D d'une scène dans un espace latent structuré, à partir d'observations visuelles et d'instructions textuelles. Cette représentation peut être décodée vers plusieurs formats 3D, offrant une compréhension plus complète et géométriquement cohérente de la scène. Le modèle sert de planificateur : il génère des scènes futures qui sont ensuite converties en actions exécutables par un module de dynamique inverse conditionné par l'objectif. Selon les auteurs, les expériences montrent une qualité visuelle élevée et une cohérence 3D et multi-vues nettement supérieure aux meilleurs planificateurs vidéo existants, avec de meilleures performances sur des tâches de manipulation complexes, une bonne généralisation à des conditions visuelles inédites, et une validation sur plateformes robotiques réelles. Un site dédié (structured-4d-model.github.io) présente le projet. L'enjeu dépasse la seule prouesse technique. Les modèles vidéo 2D dominent actuellement l'approche « world model » en robotique, notamment dans les architectures VLA (vision-language-action) qui inspirent des systèmes comme Pi-0 ou GR00T N2. Or ces approches peinent souvent à garantir une cohérence physique et spatiale suffisante pour une manipulation fine. En injectant explicitement une structure 3D dans l'espace latent, ce travail répond directement à une limite identifiée du secteur : le fossé entre démonstrations vidéo impressionnantes et exécution fiable sur du matériel réel, un problème central pour les intégrateurs industriels qui cherchent des systèmes robustes plutôt que des démonstrations sélectionnées. Il s'agit toutefois d'une publication académique à ce stade, sans laboratoire ni entreprise identifiés dans le résumé, et sans date de déploiement annoncée. Elle s'inscrit dans une compétition de recherche intense autour des modèles prédictifs pour la robotique, où plusieurs équipes explorent en parallèle des représentations 3D ou 4D pour dépasser les limites du tout-vidéo. Les prochaines étapes dépendront de la publication du code et de tests indépendants sur des plateformes tierces.

RecherchePaper

1 source

PhySPRING : réduction préservant la structure des jumeaux numériques physiques via GNN

À lire aussi

ForceTwin : jumeaux numériques physiques pour la manipulation robotique à partir d'interactions humaines instrumentées

Jumeau numérique physique probabiliste pour l'interaction humain-robot

Traversée de porte poussée via des jumeaux numériques simulés (Video2DoorTraversal)

Structure de prédiction latente 4D pour la planification robotique