DexGraspFlow : flow matching SE(3) tenant compte de la topologie pour générer des prises dextres inter-morphologies

DexGraspFlow, publié sur arXiv (2610.26962), propose un cadre de génération de prises dextres capable de fonctionner sur plusieurs mains robotiques sans réentraînement spécifique. Le modèle opère en flow matching conditionnel sur SE(3) au niveau de chaque phalange (link). Il encode la géométrie locale de l'objet, celle des segments de la main et leurs poses courantes. Un DiT (diffusion transformer) à double flux modélise la coordination entre segments et leur interaction avec l'objet. Des biais d'attention calculés à partir des distances dans l'arbre cinématique apportent l'information de topologie. Le modèle apprend conjointement les champs de vitesse de translation et de rotation, les intègre pour obtenir les poses des segments, puis retrouve les angles articulaires par cinématique inverse. Sur trois mains robotiques et 30 paires objet-main, le taux de succès moyen en simulation atteint 95,33 %, avec une latence de génération, cinématique inverse comprise, d'environ 49 % inférieure à celle d'une méthode de référence que les auteurs ne nomment pas dans le résumé. Sur robot réel, un modèle entraîné sur des démonstrations de la main déployée réussit 91 % de 100 essais de saisie.

L'intérêt tient à la généralisation entre morphologies, un verrou majeur de la manipulation dextre. Aujourd'hui, chaque main (nombre de doigts, paramétrisation des articulations, topologie) impose souvent son propre jeu de données et son propre modèle, ce qui freine la réutilisation des acquis d'une plateforme à l'autre. Le gain de latence compte pour des intégrateurs qui visent des cycles courts. L'adaptation zéro-shot à sept variantes de mains dont des doigts ont été retirés suggère une certaine robustesse à la dégradation matérielle. Le guidage d'orientation de la paume à l'inférence, sans réentraînement, permet de piloter la prise selon la tâche. Il faut toutefois rester prudent: le succès en simulation reste nettement plus élevé que le résultat réel, le test physique ne porte que sur une main, et l'on ne sait pas si les 100 essais couvrent des objets variés ou inconnus. Le modèle réel est d'ailleurs entraîné sur la main déployée, ce qui n'illustre pas le transfert entre morphologies sur matériel.

Ce travail s'inscrit dans la lignée des méthodes génératives de prise dextre, qui ont évolué des approches par optimisation vers la diffusion puis le flow matching, plus rapide à l'inférence. Il cherche à dépasser les représentations qui ne décrivent que les relations spatiales entre segments, jugées insuffisantes pour rendre compte de la structure cinématique. C'est une publication académique, sans produit ni calendrier de déploiement annoncé. La suite logique serait une validation sur davantage de mains physiques, des scènes encombrées et une intégration avec des politiques de manipulation complètes, notamment les modèles vision-langage-action qui restent faibles sur la dextérité fine.