RecherchearXiv cs.RO 17 septembre 2026

InterMASH : une représentation géométrique unifiée pour la synthèse de préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

La synthèse de préhension (grasp synthesis), qui vise à générer des interactions main-objet stables et physiquement plausibles, reste freinée par l'absence de représentation commune entre mains humaines et mains robotiques, en raison de leurs différences de morphologie et de modélisation de surface. Un nouveau papier de recherche, publié sur arXiv sous la référence 2609.18504, propose InterMASH, une représentation géométrique unifiée fondée sur des ancres fixées à la surface de sphères qui établissent une correspondance entre différentes morphologies de main. À chaque ancre, des harmoniques sphériques de faible degré encodent de façon compacte la géométrie locale de la main, celle de l'objet et le contact entre les deux, formant une séquence de tokens explicite et interprétable. Sur cette base, les auteurs entraînent un Diffusion Transformer conditionnel qui opère directement dans cet espace pour générer conjointement la géométrie de la main et les points de contact. Le système atteint des performances comparables à l'état de l'art sur les métriques de faisabilité physique d'un benchmark à grande échelle basé sur la main robotique ShadowHand, permet un entraînement conjoint sur plusieurs types de mains, et montre qu'un fine-tuning cross-embodiment avec des données de préhension humaine améliore le taux de succès et la diversité des préhensions générées pour des mains robotiques.

L'intérêt pour l'industrie tient au format de représentation lui-même: les approches précédentes reposaient soit sur des cartes de contact, soit sur des descripteurs implicites denses, jugés incomplets ou coûteux en calcul et redondants. En rendant la représentation nativement tokenisée et compatible avec les architectures de diffusion transformer désormais standard en robotique générative, InterMASH facilite l'entraînement de modèles de manipulation sur des données hétérogènes, humaines et robotiques combinées. Pour les chercheurs en manipulation dextre et les concepteurs de politiques type VLA, le résultat le plus concret est la preuve que des données de préhension humaine, généralement plus abondantes et moins coûteuses à collecter que des données robotiques réelles, peuvent effectivement transférer vers de meilleures performances robotiques, une piste régulièrement évoquée pour réduire la dépendance à la téléopération ou à la simulation coûteuse.

Il s'agit d'une publication de recherche fraîchement mise en ligne, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement: l'abstract ne mentionne aucune date de disponibilité de code au-delà de la page projet dédiée, inter-mash.github.io. Le travail s'inscrit dans la lignée des efforts combinant modélisation de la main humaine et manipulation robotique dextre, avec pour référence de comparaison le benchmark ShadowHand, largement utilisé dans la recherche académique sur la préhension. Aucun acteur français ou européen n'apparaît dans cette publication.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

CloSE : une représentation d'état du tissu indépendante de la forme géométrique

Des chercheurs ont publié sur arXiv (arXiv:2504.05033, version 3) une nouvelle représentation de l'état de déformation des textiles pour la manipulation robotique, baptisée CloSE (Cloth StatE). La méthode repose d'abord sur un intermédiaire appelé dGLI disk : une grille circulaire sur laquelle sont calculés des indices topologiques pour chaque segment de bord du tissu. La carte de chaleur (heatmap) ainsi générée fait apparaître des motifs stables qui caractérisent l'état du tissu indépendamment de sa forme, de sa taille ou de son orientation. Ces motifs sont ensuite condensés en une représentation circulaire compacte et continue : CloSE. Les auteurs démontrent que cette représentation prédit correctement l'emplacement des plis sur plusieurs jeux de données de simulation de vêtements, et qu'elle s'applique à deux tâches concrètes : l'étiquetage sémantique des parties du vêtement et la planification de tâches à haut et bas niveau. Le code et les données sont disponibles publiquement. La manipulation de textiles reste l'un des problèmes non résolus de la robotique industrielle : contrairement aux objets rigides, un tissu peut prendre un nombre quasi infini de configurations déformées, ce qui rend la prise de décision et la planification de trajectoire extrêmement difficiles. L'apport principal de CloSE est d'être agnostique à la géométrie du vêtement, ce qui signifie qu'un même pipeline de perception et de planification peut théoriquement s'appliquer à un T-shirt, une chemise ou un pantalon sans réentraînement. Pour un intégrateur ou un équipementier du secteur textile, c'est une propriété clé : elle réduit le coût de généralisation entre références produits. La représentation compacte facilite également son intégration dans des boucles de contrôle temps réel. Ce travail s'inscrit dans un effort académique soutenu autour de la manipulation de tissus, aux côtés d'approches comme les réseaux de points déformables (DenseFusion, FlingBot) ou les méthodes basées sur les graphes de tissu. La plupart des résultats présentés ici restent en simulation, ce que les auteurs n'occultent pas, mais la nature topologique des indices dGLI est conçue pour faciliter le transfert sim-to-real. Aucun déploiement industriel ou partenariat n'est annoncé à ce stade. Les prochaines étapes naturelles seraient une validation sur robot physique et une extension aux tissus opaques ou fortement déformés.

RecherchePaper

1 source

2arXiv cs.RO

Un modèle de représentation universel pour la manipulation dextérique unifiée

Une équipe de chercheurs propose OHRA (One Hand to Rule Them All), un cadre de représentation canonique paramétrisée visant à unifier les politiques de manipulation dextère sur des mains robotiques de morphologies très différentes. Constat de départ : les politiques d'apprentissage actuelles supposent une architecture de main fixe et ne se transfèrent pas sans réentraînement complet. Le système combine un espace de paramètres unifié capturant les variations cinématiques et morphologiques essentielles, et un format URDF canonique standardisant l'espace d'action tout en préservant les propriétés dynamiques de chaque main d'origine. Un VAE (Variational Autoencoder) est entraîné sur cet espace pour produire un plongement latent compact et sémantiquement cohérent. Résultat clé : la politique de préhension conditionnée sur cette représentation atteint 81,9 % de succès en transfert zéro-shot sur une LEAP Hand à 3 doigts, morphologie non vue pendant l'entraînement, validée en simulation et sur tâches réelles. L'enjeu est directement industriel : la fragmentation des designs de mains, Shadow Robotics, LEAP, Allegro, Ability Hand, rend les politiques non portables d'un hardware à l'autre. Un cadre partagé permettrait à un intégrateur de réentraîner une politique existante sur un nouveau manipulateur sans repartir de zéro, comprimant les coûts de déploiement. Le score de 81,9 % en zéro-shot sur une configuration inédite est un signal mesurable que le "morphology gap", l'analogue du sim-to-real gap appliqué aux architectures de mains, commence à être adressé. Le fait que les interpolations dans l'espace latent produisent des transitions morphologiques physiquement cohérentes indique que le VAE capture une géométrie fonctionnelle, pas seulement statistique. Ce travail s'inscrit dans la dynamique plus large de l'apprentissage cross-embodiment, aux côtés de travaux comme UniDexGrasp, DexGraspNet ou les approches fondées sur des VLA (Vision-Language-Action models). Sur le plan concurrentiel, Google DeepMind, Physical Intelligence (Pi-0) et Unitree investissent dans des politiques généralisables, mais l'angle "unification par représentation canonique de la morphologie de main" reste peu exploré industriellement. Les suites naturelles incluent l'extension à la manipulation bimanuelle, aux mains à plus de 5 doigts, et l'intégration dans des pipelines de téléopération. Aucun déploiement commercial ni partenariat industriel n'est annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Génération 3D pour l'IA incarnée et la simulation robotique : une synthèse

Une étude de synthèse publiée sur arXiv (2604.26509) propose le premier panorama systématique de la génération 3D appliquée à l'IA incarnée (embodied AI) et à la simulation robotique. Les auteurs organisent la littérature autour de trois rôles que joue la génération 3D dans les pipelines robotiques : la production d'assets de simulation (objets articulés, déformables, physiquement contraints), la construction d'environnements interactifs orientés tâche (génération de scènes avec conscience structurelle et capacités agentiques), et le pont sim-to-real, soit la reconstruction de jumeaux numériques, l'augmentation de données synthétiques et la génération de démonstrations pour l'apprentissage robot. Cette taxonomie en trois pôles structure un corpus jusqu'ici dispersé dans plusieurs sous-domaines cloisonnés. Le constat central est que le domaine bascule d'un objectif de réalisme visuel vers ce que les auteurs nomment l'"interaction readiness", soit la capacité d'un asset 3D à être utilisable dans une boucle de contrôle robot. Un objet généré peut être visuellement convaincant tout en étant physiquement invalide : masse incorrecte, articulations sans cohérence cinématique, propriétés de contact inexploitables. Les auteurs identifient quatre goulots d'étranglement concrets : la rareté des annotations physiques dans les datasets existants, l'écart entre qualité géométrique et validité physique, la fragmentation des protocoles d'évaluation (absence de benchmarks standardisés), et un sim-to-real divide qui reste ouvert malgré les progrès récents en diffusion 3D et 3D Gaussian Splatting. Cette publication s'inscrit dans l'accélération des modèles génératifs 3D que la communauté robotique cherche à exploiter pour alimenter des simulateurs comme NVIDIA Isaac ou Genesis. Créer manuellement des assets physiquement valides reste coûteux et lent ; la génération automatique promet de lever ce verrou, mais les compromis sur la validité physique freinent encore l'adoption à l'échelle industrielle. Google DeepMind, MIT CSAIL, CMU et plusieurs laboratoires académiques travaillent activement sur ce pipeline. La page projet associée (3dgen4robot.github.io) centralise la bibliographie de référence. La prochaine étape structurante pour le secteur sera la définition de benchmarks unifiés couvrant simultanément qualité géométrique, cohérence physique et performance en transfert sim-to-real, condition nécessaire pour que la génération 3D devienne une brique fiable de l'intelligence incarnée.

RecherchePaper

1 source

4arXiv cs.RO

MANGO-Grasp : champs de Mahalanobis sur gaussiennes 3D orientées géométrie pour la préhension dextérique inter-incarnations

Des chercheurs publient MANGO-Grasp, une nouvelle méthode de préhension dextre "cross-embodiment", c'est-à-dire capable de fonctionner sur des mains robotiques multi-doigts très différentes sans réglage spécifique à chacune. Le système représente les objets sous forme de primitives gaussiennes 3D orientées selon la géométrie locale de la surface (des sortes de petites plaques alignées avec des normales sortantes), tandis que chaque main robotique est décrite par des points clés de surface encodés dans un descripteur "morpho-kinématique" combinant forme et articulation. L'innovation centrale est l'usage de champs de Mahalanobis entre ces points clés et les primitives d'objet : ils servent à la fois de cible d'apprentissage et de guide d'optimisation au moment de la préhension, en montant fortement le long de la normale à la surface mais restant plats dans le plan tangent, ce qui colle à la physique réelle du contact. Sur les benchmarks CMAP et MultiGripperGrasp, MANGO-Grasp dépasse la meilleure méthode concurrente entraînée sur la même main de jusqu'à 8,24 points de pourcentage en simulation, et transfère en zéro-shot vers une main jamais vue (SharpaWave) avec un gain de 16,57 points sur le meilleur baseline zero-shot, pour un taux de réussite de 86 % en conditions réelles. Ce résultat s'inscrit dans un enjeu clé pour les intégrateurs de robotique dextre : la généralisation d'une politique de préhension à de nouveaux effecteurs sans reprendre tout l'entraînement, un frein majeur au déploiement commercial de mains robotiques variées. Le fait qu'une seule formulation d'optimisation, avec les mêmes hyperparamètres, fonctionne sur toutes les morphologies testées suggère que le goulot d'étranglement historique (représentations d'objets trop pauvres en géométrie locale, descripteurs de main incomplets) peut être résolu sans architecture ad hoc par robot, un argument utile face au scepticisme habituel sur l'écart démo/réalité en manipulation robotique. Le papier (arXiv:2608.02014v1) se positionne face aux méthodes "interaction-centric" existantes, jugées insuffisantes sur la représentation fine de la géométrie de surface et l'encodage combiné de la morphologie et de la cinématique des mains. Le code et les matériaux complémentaires sont annoncés pour publication ultérieure sur la page du projet, mais ne sont pas encore disponibles à ce stade : il s'agit d'un preprint, pas encore d'une solution intégrée ou commercialisée.

RecherchePaper

1 source