RecherchearXiv cs.RO 17 septembre 2026

OpenDexGrasp : préhension dextérique orientée tâche à vocabulaire ouvert

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche mis en ligne sur arXiv sous la référence 2609.18117 présente OpenDexGrasp, un système qui génère des prises robotiques dextres à haut degré de liberté, orientées vers une tâche précise et pilotées par des instructions en langage libre plutôt que par un vocabulaire fermé. Le modèle relie l'intention fonctionnelle exprimée dans le texte à des observations visuelles multi-vues et à la géométrie de l'objet, puis produit directement une prise exécutable. Il s'appuie sur un jeu de données structuré selon une méthode baptisée Coverage-to-Alignment: un premier volet, OpenDex-Scale, offre une couverture sémantique et géométrique à grande échelle grâce à la synthèse automatique de prises et à l'annotation vision-langage, tandis qu'un second, OpenDex-Align, fournit des démonstrations de haute qualité via téléopération humaine et transfert au niveau des catégories d'objets. Perception et action partagent une représentation latente entraînée conjointement avec l'ancrage des affordances, sans étape séparée de conversion affordance-vers-pose. En simulation comme sur robot réel, les auteurs rapportent une meilleure cohérence fonctionnelle des prises et une généralisation à des catégories d'objets non vues à l'entraînement.

Pour l'industrie robotique, l'enjeu vise un verrou concret: la plupart des systèmes de préhension actuels produisent des prises stables mais indifférentes à l'usage, suffisantes pour empiler une boîte mais pas pour saisir un outil par le bon endroit avant de s'en servir. En associant vocabulaire ouvert et main à haute dextérité, la tâche traitée est plus exigeante que celle des modèles vision-langage-action généralistes courants, qui opèrent le plus souvent avec de simples pinces parallèles. Si ces résultats se confirment au-delà des benchmarks internes des auteurs, ils indiqueraient qu'une supervision massive et peu coûteuse peut se combiner à des démonstrations humaines limitées pour résoudre à la fois généralisation et alignement fonctionnel, un signal à suivre pour tout intégrateur envisageant des mains dextres pilotables par instruction.

La préhension dextre a longtemps reposé sur des pipelines en deux étapes, un module identifiant l'affordance puis un second en déduisant une pose de main, une architecture qui propage les erreurs de l'une à l'autre; OpenDexGrasp s'inscrit dans une tendance plus large de la recherche en manipulation visant à fusionner perception et action en une seule représentation apprise. À ce stade, le travail reste une publication de recherche assortie de résultats en simulation et sur robot réel produits par ses auteurs, sans déploiement industriel ni partenaire commercial annoncé, son site de projet proposant des vidéos de démonstration plutôt qu'un produit disponible. Sa portée dépendra d'une reproduction indépendante des résultats avancés et de l'adoption de sa méthode de collecte de données par d'autres équipes du secteur.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

NDPP-Grasp : préhension dextérique orientée tâche guidée par contraintes de plausibilité physique non-différentiables

Des chercheurs ont publié le 2 juin 2026 sur arXiv un cadre baptisé NDPP-Grasp pour améliorer la génération de préhensions dextres orientées tâche. Le défi est double : une préhension dextre doit être physiquement plausible (pas de collision de doigts, forces équilibrées) et fonctionnellement adaptée à la manipulation spécifiée (saisir un couteau par le manche, pas par la lame). Les méthodes actuelles basées sur la diffusion traitent ces deux exigences de façon séquentielle : un modèle de diffusion est d'abord entraîné pour l'alignement tâche, puis un raffinement post-génération corrige la plausibilité physique. NDPP-Grasp change cette logique en injectant les contraintes de plausibilité physique directement dans le processus de débruitage (denoising), y compris lorsque ces contraintes sont non-différentiables, c'est-à-dire qu'elles ne peuvent pas être intégrées via une simple rétropropagation du gradient. L'impact technique est concret. Appliquer des corrections physiques après génération laisse la trajectoire de débruitage aveugle aux contraintes, produisant des préhensions sous-optimales que le raffinement corrige imparfaitement. En guidant le processus génératif lui-même, NDPP-Grasp améliore la qualité des préhensions sans sacrifier l'alignement tâche. C'est particulièrement pertinent pour les mains robotiques multi-DOF à haute dextérité (Shadow Hand, Allegro Hand notamment), où l'espace des configurations valides est étroit et où une mauvaise initialisation génère directement des échecs de saisie en conditions réelles. La méthode adresse aussi un verrou technique : intégrer dans un pipeline de diffusion des métriques physiques issues de simulateurs ou de vérificateurs de contact qui ne fournissent pas de gradient analytique. La génération de préhensions dextres mobilise la communauté depuis des décennies, mais l'essor des modèles de diffusion depuis 2022-2023 a renouvelé les approches avec des travaux comme UniDexGrasp ou GraspDiffusion. NDPP-Grasp s'inscrit dans ce courant, concurrent aux méthodes de guidance par classificateur (classifier guidance) appliquées à la manipulation. Le résumé arXiv ne précise pas l'affiliation institutionnelle ni les benchmarks utilisés ; les expériences sont décrites comme "extensives" sans détail sur les architectures de mains testées ni les jeux de données d'évaluation. La validation sur hardware réel, et le transfert sim-to-real associé, restera l'épreuve déterminante pour mesurer l'utilité pratique de ce cadre.

RecherchePaper

1 source

2arXiv cs.RO

T-FunS3D : segmentation fonctionnelle 3D hiérarchique à vocabulaire ouvert guidée par les tâches

Une équipe de recherche présente sur arXiv (identifiant 2606.05975, juin 2026) T-FunS3D, une méthode de segmentation 3D fonctionnelle à vocabulaire ouvert, pilotée par la tâche. Le système prend en entrée un nuage de points 3D et des images RGB-D posées d'une scène intérieure, à partir desquels il construit un graphe de scène à vocabulaire ouvert en extrayant les instances visuelles et leurs embeddings. Lorsqu'une description de tâche en langage naturel est fournie (par exemple "ouvrir le tiroir"), T-FunS3D interroge ce graphe pour identifier les instances pertinentes, puis localise leurs composants fonctionnels précis (poignée, loquet, bouton) via un modèle vision-langage (VLM). Évalué sur le jeu de données de référence SceneFun3D, le système affiche des performances comparables à l'état de l'art en segmentation fonctionnelle 3D, tout en réduisant le temps d'exécution et la consommation mémoire par rapport aux approches exhaustives. L'enjeu est structurant pour la perception robotique en manipulation. Les méthodes existantes de segmentation 3D à vocabulaire ouvert s'arrêtent généralement au niveau objet : elles savent qu'une tasse est présente, pas où se trouve l'anse. Les approches de segmentation scénique exhaustive, elles, traitent l'intégralité de la scène indépendamment de la tâche, ce qui les rend prohibitives en temps de calcul et en mémoire pour un déploiement embarqué. T-FunS3D adopte une logique hiérarchique et sélective, seuls les objets pertinents pour la tâche courante étant analysés au niveau partie, un compromis plus réaliste pour une exécution temps réel sur un robot physique. Ce type de perception "actionnnable" est un prérequis non résolu à l'échelle pour les architectures vision-langage-action (VLA) aujourd'hui au coeur de la robotique de manipulation. La méthode s'inscrit dans un effort plus large autour de la représentation sémantique des scènes pour la robotique, dont SceneFun3D constitue le banc d'essai de référence. La tendance à intégrer des VLMs comme raisonneurs sémantiques dans la boucle de perception, plutôt que comme générateurs d'actions directs, gagne du terrain dans des travaux concurrents tels que RoboPoint ou les approches fondées sur ConceptGraphs. T-FunS3D se différencie par son architecture en graphe de scène et sa focalisation explicite sur les composants fonctionnels plutôt que sur les objets entiers. Il s'agit d'une contribution académique sans annonce de déploiement industriel. Les suites naturelles incluent l'extension à des scènes dynamiques, des objets articulés complexes et l'intégration directe dans des pipelines VLA de bout en bout.

RecherchePaper

1 source

3arXiv cs.RO

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

AdaDexGrasp : préhension dextérique adaptative par fusion de représentations visuo-tactiles 3D

Un nouveau système de préhension robotique baptisé AdaDexGrasp vient d'être publié sur arXiv (référence 2608.07600) en août 2026. Le framework vise à rapprocher les mains robotiques dextres du niveau d'adaptabilité humain en fusionnant vision et toucher : les signaux tactiles de chaque doigt sont associés à son identité propre et combinés à la géométrie 3D de l'objet saisi, formant une représentation unique dite visuo-tactile. Cette représentation alimente trois briques : génération de poses de préhension tenant compte du contact dès la planification, prédiction de faisabilité, puis ajustement dynamique de la prise une fois le contact établi. Les auteurs disent avoir testé l'approche en simulation et sur robot réel, avec une amélioration du taux de réussite et de la généralisation à des objets variés. Le résumé publié ne fournit toutefois ni chiffre précis de taux de succès, ni nombre de degrés de liberté de la main utilisée, ni comparaison chiffrée avec des méthodes existantes, des détails qui restent à vérifier dans l'article complet. Le sujet touche un angle mort connu de la préhension robotique dextre : la plupart des pipelines actuels planifient une prise à partir d'images puis exécutent sans réellement corriger après le contact, ce qui dégrade la robustesse face aux objets fragiles, déformables ou mal localisés par la seule vision. Un mécanisme de rétroaction tactile post-contact qui tiendrait ses promesses hors laboratoire intéresserait directement les intégrateurs travaillant sur le bin-picking, l'assemblage fin ou les mains de robots humanoïdes, domaines où l'échec de préhension reste un goulot d'étranglement malgré les progrès des modèles vision-langage-action. Cette recherche s'inscrit dans une tendance plus large de fusion visuo-tactile en manipulation robotique, portée depuis plusieurs années par des capteurs comme GelSight ou DIGIT et par des jeux de données de préhension dextre type DexGraspNet. AdaDexGrasp reste à ce stade une contribution académique en pré-publication, non revue par les pairs, sans partenariat industriel ni déploiement annoncé. Sa validation indépendante sur du matériel commercial constituera la prochaine étape à surveiller.

RecherchePaper

1 source