RecherchearXiv cs.RO 12 juin 2026

EquiDexFlow : un modèle génératif de préhension habile équivariant SE(3) ancré dans le contact

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie EquiDexFlow, un modèle génératif de préhension dextère intégrant les contraintes physiques de contact directement dans l'architecture, sans étape de vérification séparée. Publié sur arXiv en juin 2026, il exploite le flow-matching avec équivariance SE(3) pour prédire simultanément la pose du poignet, les angles articulaires, les contacts du bout des doigts, les normales de surface et les forces de contact à partir d'un nuage de points de l'objet. Contrairement aux générateurs classiques qui traitent les forces comme un filtre a posteriori, EquiDexFlow projette les contacts sur la surface de l'objet et les forces dans le cône de friction de Coulomb par construction, sans terme de pénalité dans la fonction de perte. Entraîné sur 8 100 saisies en fermeture de force sur 81 objets pour la main Allegro à 16 degrés de liberté (DDL), il atteint zéro violation de frottement et le plus faible résidu de torseur parmi toutes les variantes d'ablation, avec une équivariance SE(3) vérifiée sur 200 rotations et des résidus de poignet inférieurs à 0,04 degré. Retransposé vers une main LEAP à 16 DDL par cinématique inverse doigt par doigt, le modèle réussit en boucle ouverte sur six objets physiques, y compris des objets asymétriques à la pose canonique et après une co-rotation de 120 degrés.

Le verrou adressé est structurel : dans la plupart des pipelines de préhension dextère appris, un générateur produit une pose cinématiquement valide qu'un module aval filtre selon des critères physiques, laissant potentiellement passer des saisies plausibles mais instables au contact réel. En intégrant le cône de Coulomb dans l'architecture même, EquiDexFlow élimine cette classe d'erreurs par construction plutôt que par filtrage, ce qui réduit le taux de rejet et simplifie le pipeline de déploiement pour les intégrateurs industriels. Le retargeting réussi de la main Allegro vers la main LEAP suggère en outre une généralisation de la représentation des contacts au-delà de la main d'entraînement, propriété encore rare dans les systèmes de préhension dextère actuels, même si l'évaluation sur six objets reste un périmètre de test limité.

La préhension dextère multi-doigt demeure un verrou central de la manipulation généraliste en robotique. Des travaux récents comme DexGraspNet ou UniGrasp ont progressé sur la génération de poses, mais la modélisation explicite des forces dans la boucle générative reste peu courante. Le flow-matching, popularisé dans les modèles VLA (Vision-Language-Action), est ici appliqué avec une contrainte d'équivariance formellement démontrée, ce qui constitue une contribution méthodologique distincte. Code, checkpoints et vidéos sont disponibles sur equidexflow.github.io. Des acteurs comme Enchanted Tools ou Wandercraft, qui développent des systèmes de manipulation à actionnement avancé, pourraient s'appuyer sur ce formalisme pour leurs propres pipelines de préhension.

Impact France/UE

Enchanted Tools et Wandercraft, acteurs français de la manipulation avancée, pourraient directement intégrer ce formalisme de préhension physique (cône de Coulomb dans la boucle générative) dans leurs pipelines R&D, le code et les checkpoints étant publiquement disponibles.

Dans nos dossiers

Wandercraft Enchanted Tools — Mirokaï arXiv cs.RO

À lire aussi

1arXiv cs.RO

Génération rapide de préhensions via MeanFlow contraint par groupes de Lie

Un preprint publie sur arXiv (arXiv:2608.26076v1) présente Lie Group-constrained MeanFlow, une méthode de synthèse de prise (grasp synthesis) pour bras robotiques. Elle applique MeanFlow, une technique générative récente, sur le groupe de Lie produit SO(3) x R3, qui encode conjointement orientation et position d'une prise dans un seul espace géométrique. L'entrainement combine une condition de consistance semi-groupe purement algébrique avec un flow matching riemannien conditionnel sur ce groupe, qui ancre la vitesse moyenne du modèle a la distribution réelle des prises. Sur le jeu de données ACRONYM, la méthode génère des prises fiables en 5 évaluations de réseau au maximum, pour une latence d'inférence de l'ordre de la milliseconde, soit un gain de vitesse allant jusqu'a 39 fois par rapport aux modèles de diffusion et de flow-matching de référence, a qualité de prise équivalente. Les auteurs rapportent également un transfert direct vers des essais de préhension réelle sur robot, sans reentrainement ni adaptation de domaine, avec une robustesse maintenue face au bruit d'observation. Ce résultat s'attaque a un goulot d'étranglement connu du secteur du grasping: les modèles de diffusion capturent bien la multimodalité des prises valides sur un objet, mais leurs dizaines d'étapes d'échantillonnage restent trop lentes pour les cadences industrielles du bin-picking ou de la préparation de commandes. Ramener ce nombre a cinq évaluations sans perte de qualité rapproche les pipelines génératifs des contraintes temps réel attendues par les intégrateurs. Le maintien des performances en conditions réelles, avec bruit de capteur et sans reentrainement, répond aussi a une critique fréquente des démonstrations purement simulées, l'écart sim-to-real restant l'un des principaux freins a la mise en production des pipelines de perception-action. La méthode prolonge les travaux récents de distillation des modèles de diffusion en peu d'étapes, dont MeanFlow est une variante; son apport propre est de l'appliquer rigoureusement a un espace non euclidien, celui des rotations SO(3), que de nombreuses approches antérieures traitaient par des paramétrisations approximatives plutôt que par une géométrie riemannienne native. Les points de comparaison cites restent les modèles de diffusion et de flow-matching de référence évalués sur ACRONYM, jeu de données standard du domaine. A ce stade, il s'agit d'une publication de recherche non revue par les pairs et non d'un produit déployé : aucun partenariat industriel, pilote ou calendrier n'est mentionne, la validation réelle se limitant a des essais de préhension en laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle. L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain. Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

RechercheActu

1 source

3arXiv cs.RO

Génération de préhensions dextériques guidées et conscientes du bras à partir de modèles de préhension agnostiques au bras

Une équipe de recherche publie sur arXiv (arXiv:2608.16351v1, catégorie "new") un nouveau cadre de génération de prises dextres tenant compte des contraintes liées au bras porteur, un problème clé pour la manipulation robotique en conditions réelles : évitement de collision entre bras et environnement, prises en limite d'espace de travail, saisies consécutives. Contrairement aux modèles de prise dits "hand-centric", qui ne considèrent que la pose de la main flottante, ou aux méthodes "arm-aware" classiques, qui reposent soit sur du réjection sampling coûteux en échantillons soit sur un réentraînement spécifique à chaque bras, l'approche proposée réutilise des modèles de prise pré-entraînés indépendants du bras et n'intègre les contraintes du bras et de l'environnement qu'au moment de l'inférence. Techniquement, le problème est formulé comme une optimisation conjointe de la pose de la main et de la configuration du bras, avec des gradients en forme close pour les contraintes liées au bras ; en représentant la distribution des poses de main par un modèle de diffusion, les auteurs montrent que cette optimisation par gradient équivaut à un échantillonnage de diffusion guidé. L'évaluation couvre 10 000 objets répartis sur 6 scénarios. Ce travail cible un angle mort fréquent en manipulation dextre : la plupart des générateurs de prises sont entraînés hors contexte du bras porteur, creusant un écart entre démonstration en laboratoire et déploiement sur un robot intégré. Pour les équipes R&D et intégrateurs, l'intérêt tient au découplage entre modèle de prise générique et contraintes spécifiques appliquées à l'inférence, ce qui évite un réentraînement à chaque nouveau bras ou nouvelle cellule de travail et promet une meilleure portabilité entre plateformes. Les auteurs rapportent une probabilité significativement plus élevée de générer des prises faisables en configuration fortement contrainte que les approches existantes, un résultat qui reste à confirmer indépendamment mais qui appuie la piste des méthodes guidées par diffusion plutôt que le simple filtrage post-hoc des échantillons. La contribution s'inscrit dans la lignée des modèles de prise dextre basés sur la diffusion, déjà utilisés pour générer des poses de main plausibles à partir de la géométrie d'objets, mais qui traitaient rarement le bras comme contrainte de premier ordre. Il s'agit d'un preprint de recherche, sans essai sur robot physique ni partenariat industriel mentionné : le code et le matériel supplémentaire sont publiés sur arm-aware-dexgrasp.github.io. Aucune plateforme robotique ni entreprise commerciale n'est citée dans l'article, ce qui en fait pour l'instant une contribution méthodologique destinée à être reprise et testée par d'autres laboratoires ou intégrateurs sur leurs propres bras et mains robotiques.

RecherchePaper

1 source

4arXiv cs.RO

Transférer le contact, pas seulement le mouvement : préhension souple entre mains dextériques

Des chercheurs ont publié mi-juin 2026 sur arXiv (réf. 2606.15516) une méthode de transfert de politiques de préhension dextre entre mains robotiques hétérogènes. L'approche introduit une interface force-position cross-embodiment : le mouvement est encodé dans un espace latent de pose de main commun à toutes les plateformes, tandis que les efforts de chaque main sont calibrés par identification système en couples articulaires physiques exprimés en N.m, puis convertis en forces au bout des doigts et en descripteurs compacts de charge par doigt. Une politique visuomoteur entraînée par flow matching combine vision, proprioception et contact calibré ; un masquage visuel structuré pousse la politique à s'appuyer sur la force lorsque les contacts sont occultés. Le même contrôleur hybride force-position sert à la collecte de démonstrations et à l'exécution, assurant la cohérence des cibles de force entre entraînement et déploiement. L'enjeu est réel : la préhension dextre stable exige la régulation du contact, pas seulement le suivi de trajectoire. Quand un doigt glisse, se déforme ou sort du champ visuel, c'est le retour de force qui maintient la charge appropriée sur l'objet. Les architectures cross-embodiment existantes unifient le mouvement via des poses retargetées ou des actions latentes, mais laissent le signal de force lié au hardware de chaque main, bloquant le transfert. En calibrant ce signal dans une unité physique commune (N.m), les auteurs rendent la boucle de régulation de contact comparable entre plateformes structurellement différentes. Pour un intégrateur qui déploie plusieurs modèles de mains sur une même cellule, cela ouvre la perspective de bibliothèques de skills partagées plutôt que de politiques ad hoc par hardware. Les expériences montrent que des primitives apprises sont réemployables dans des pipelines de manipulation longue portée, test de généralisation nettement plus exigeant qu'une démonstration isolée. La publication s'inscrit dans le sillage des architectures cross-embodiment post-GR00T N2 et pi0, où l'effort de la communauté vise la réutilisation de politiques entre robots sans retraining complet. Elle répond directement aux limites de travaux comme DexMV ou AnyGrasp, qui normalisent le mouvement mais ignorent la physique du contact. Fait inhabituel : l'abstract ne mentionne ni institution ni auteurs explicites, ce qui peut indiquer une soumission industrielle anonymisée ou un groupe en cours de dévoilement. Le travail reste à ce stade un résultat expérimental de laboratoire sans déploiement annoncé ; la prochaine étape naturelle serait une validation sur des mains commerciales comme la Shadow Hand ou l'Ability Hand dans des scénarios industriels réels.

RechercheOpinion

1 source