RecherchearXiv cs.RO 21 septembre 2026

2e place au HANDS 2026 Workshop Challenge (piste Dexterous Grasp Motion) : déformation de trajectoire en une seule passe pour générer le mouvement de préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un rapport technique publié le 21 septembre 2026 (arXiv:2609.21511v1) décrit la solution classée 2e au HANDS 2026 Workshop Challenge, piste Dexterous Grasp Motion, organisée en marge d'ECCV 2026. Le défi consistait à générer, en simulation, des trajectoires de saisie complètes, de l'approche jusqu'au soulèvement de l'objet (reach-and-lift), pour la main robotique à 12 degrés de liberté LinkerHand O6, sur des objets inédits et depuis des poses initiales aléatoires, chaque prise exigeant environ 70 décisions successives en douze dimensions avec un risque d'accumulation d'erreurs et des dynamiques de test parfois différentes de l'entraînement. Plutôt que de générer le mouvement pas à pas, les auteurs éditent une seule démonstration réussie issue du système GraspM3 : une politique observe l'objet une fois puis produit une déformation en 12 dimensions de cette démonstration, rejouée ensuite en boucle ouverte, entraînée par PPO en une étape sur les 4 824 objets d'entraînement traités en parallèle. Résultat : 94,61% de réussite sur la piste facile, le meilleur score toutes soumissions confondues, et 57,18% sur la piste difficile du jeu de test privé.

L'intérêt tient à l'alternative que cela propose face aux politiques VLA génératives pas à pas, à la GR00T ou Pi-0, dont la séquentialité est précisément ce qui fait dériver les trajectoires par accumulation d'erreurs. En ramenant le problème à une déformation paramétrique unique d'une démonstration déjà valide, rejouée sans rétroaction, la méthode montre qu'une main à 12 DoF peut généraliser à des milliers d'objets sans politique de contrôle continu coûteuse en calcul, un signal utile pour les intégrateurs cherchant à simplifier la préhension fine. L'écart entre 94,61% et 57,18% selon la difficulté rappelle toutefois la fragilité de cette généralisation, et ces chiffres, obtenus uniquement en simulation dans le cadre d'un challenge de workshop, ne présagent pas d'un transfert réussi vers du matériel réel.

Le HANDS Workshop est un rendez-vous récurrent associé aux grandes conférences de vision par ordinateur et consacré à la manipulation et à l'analyse des mains ; son édition 2026 s'est tenue en marge d'ECCV, avec plusieurs équipes en lice sur la même main LinkerHand O6 et le même jeu de test privé, sans que le rapport ne précise l'identité de l'équipe classée première. La démonstration de référence, issue de GraspM3, situe la contribution comme une amélioration ciblée d'un pipeline existant plutôt qu'un système construit de zéro, publiée comme rapport technique arXiv sans suite ni déploiement annoncés au-delà du cadre du challenge.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transférer le contact, pas seulement le mouvement : préhension souple entre mains dextériques

Des chercheurs ont publié mi-juin 2026 sur arXiv (réf. 2606.15516) une méthode de transfert de politiques de préhension dextre entre mains robotiques hétérogènes. L'approche introduit une interface force-position cross-embodiment : le mouvement est encodé dans un espace latent de pose de main commun à toutes les plateformes, tandis que les efforts de chaque main sont calibrés par identification système en couples articulaires physiques exprimés en N.m, puis convertis en forces au bout des doigts et en descripteurs compacts de charge par doigt. Une politique visuomoteur entraînée par flow matching combine vision, proprioception et contact calibré ; un masquage visuel structuré pousse la politique à s'appuyer sur la force lorsque les contacts sont occultés. Le même contrôleur hybride force-position sert à la collecte de démonstrations et à l'exécution, assurant la cohérence des cibles de force entre entraînement et déploiement. L'enjeu est réel : la préhension dextre stable exige la régulation du contact, pas seulement le suivi de trajectoire. Quand un doigt glisse, se déforme ou sort du champ visuel, c'est le retour de force qui maintient la charge appropriée sur l'objet. Les architectures cross-embodiment existantes unifient le mouvement via des poses retargetées ou des actions latentes, mais laissent le signal de force lié au hardware de chaque main, bloquant le transfert. En calibrant ce signal dans une unité physique commune (N.m), les auteurs rendent la boucle de régulation de contact comparable entre plateformes structurellement différentes. Pour un intégrateur qui déploie plusieurs modèles de mains sur une même cellule, cela ouvre la perspective de bibliothèques de skills partagées plutôt que de politiques ad hoc par hardware. Les expériences montrent que des primitives apprises sont réemployables dans des pipelines de manipulation longue portée, test de généralisation nettement plus exigeant qu'une démonstration isolée. La publication s'inscrit dans le sillage des architectures cross-embodiment post-GR00T N2 et pi0, où l'effort de la communauté vise la réutilisation de politiques entre robots sans retraining complet. Elle répond directement aux limites de travaux comme DexMV ou AnyGrasp, qui normalisent le mouvement mais ignorent la physique du contact. Fait inhabituel : l'abstract ne mentionne ni institution ni auteurs explicites, ce qui peut indiquer une soumission industrielle anonymisée ou un groupe en cours de dévoilement. Le travail reste à ce stade un résultat expérimental de laboratoire sans déploiement annoncé ; la prochaine étape naturelle serait une validation sur des mains commerciales comme la Shadow Hand ou l'Ability Hand dans des scénarios industriels réels.

RechercheOpinion

1 source

2arXiv cs.RO

GASP : planificateur sûr accéléré par GPU pour une génération de mouvement en temps réel consciente des collisions, avec échantillonnage de trajectoires latentes

Des chercheurs présentent GASP (GPU-Accelerated Safe Planner), un planificateur temps réel de trajectoires dans l'espace articulaire, conscient des collisions, pour environnements connus. L'architecture combine une paramétrisation par B-spline clampée avec un réseau convolutif résiduel qui prédit les points de contrôle intérieurs, complétés par des points de contrôle aux limites insérés analytiquement pour respecter les contraintes de dérivée initiale et finale. Un autoencodeur variationnel conditionnel échantillonne plusieurs trajectoires candidates, décodées et validées en parallèle sur GPU, pour un temps d'inférence proche de la milliseconde. GASP atteint des taux de réussite comparables aux méthodes analytiques tout en réduisant nettement le temps de calcul face à l'optimisation de trajectoire classique sur GPU. Déployé comme planificateur de réinitialisation dans un pipeline d'apprentissage par renforcement appliqué au tennis de table robotique compétitif, il égale le taux de retour de balle de la méthode de référence tout en réduisant d'environ moitié les collisions survenues pendant l'entraînement. Pour l'industrie robotique, l'enjeu est de lever un goulot d'étranglement classique : la planification de trajectoire évitant les collisions reste souvent trop lente pour un contrôle temps réel à haute fréquence, surtout pour des bras à plusieurs degrés de liberté couplés. En ramenant l'inférence à l'échelle de la milliseconde via l'échantillonnage parallèle sur GPU plutôt que la résolution d'une optimisation à chaque pas, GASP illustre une tendance de fond : remplacer l'optimisation itérative par des réseaux entraînés à en approximer la sortie. L'intérêt dépasse la vitesse : moins de collisions pendant l'entraînement réduit aussi le coût et la durée de l'apprentissage de politiques par renforcement. Le domaine s'appuie historiquement sur des méthodes d'optimisation comme CHOMP ou TrajOpt, ou des planificateurs par échantillonnage type RRT, coûteux en calcul dès que la dimension du problème augmente ; les versions récentes accélérées par GPU réduisent ce coût sans l'éliminer, d'où la comparaison directe faite dans l'article. En s'appuyant sur un CVAE plutôt qu'un réseau de prédiction unique, GASP mise sur la diversité de candidats plutôt qu'une trajectoire unique, une stratégie proche de travaux récents de diffusion de trajectoires. Publié sur arXiv sans relecture par les pairs ni mention de code source ouvert ou de partenaire industriel, l'article ne donne aucun calendrier de transfert vers une plateforme robotique commerciale ; la validation reste circonscrite aux tests articulaires décrits et à la tâche de tennis de table présentée.

RecherchePaper

1 source

3arXiv cs.RO

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

T-GMP : des modèles de mouvement génératifs conditionnés par le terrain pour une locomotion humanoïde naturelle et polyvalente

Des chercheurs ont mis en ligne une version révisée sur arXiv (arXiv:2606.06944v2) d'un article présentant T-GMP (Terrain-conditioned Generative Motion Priors), un module destiné à améliorer la marche des robots humanoïdes sur des terrains variés. Contrairement aux méthodes classiques d'apprentissage par renforcement, qui s'appuient sur des priors de mouvement figés, T-GMP apprend une variété latente de mouvements conditionnée par le terrain à partir d'un petit nombre de démonstrations expert associant états du robot et type de sol. Ce module permet des transitions de style fluides entre modes de marche, ce qui autorise une politique de contrôle unique capable de s'adapter aux variations de terrain plutôt que de nécessiter des politiques séparées. T-GMP est intégré dans un pipeline d'apprentissage adversarial : un discriminateur module dynamiquement les contraintes de naturel du mouvement selon les caractéristiques locales du sol, guidant la génération vers des trajectoires à la fois variées et proches du mouvement humain. Les auteurs ajoutent une pénalité de pose du pied (Foothold Penalty) pour favoriser des appuis sûrs sur terrains difficiles. Les expériences montrent que T-GMP surpasse les méthodes de référence sur trois critères : naturel du mouvement, diversité des mouvements et taux de réussite de la traversée, tout en conservant une coordination physique cohérente du corps. L'enjeu soulevé est un compromis récurrent en locomotion humanoïde : les politiques entraînées par imitation adversariale produisent des mouvements naturels mais figés sur un style unique, alors que diversifier le comportement dégrade en général le réalisme du geste. En conditionnant explicitement les priors sur le terrain plutôt que sur un style fixe, T-GMP vise à lever ce compromis, une seule politique restant capable de traverser des sols hétérogènes sans changer de réseau ni perdre en naturel. Pour les équipes qui développent des humanoïdes destinés à sortir des sols plats d'usine ou de laboratoire, entrepôts, chantiers, extérieurs, cette robustesse du déplacement touche directement l'un des principaux freins actuels à la commercialisation des humanoïdes généralistes. L'approche s'inscrit dans la tendance à rapprocher imitation de mouvement et généralisation par renforcement, plutôt qu'à multiplier des contrôleurs spécialisés par type de terrain. T-GMP prolonge la lignée des méthodes d'apprentissage de mouvement adversarial (proches des Adversarial Motion Priors désormais courantes en recherche sur la locomotion humanoïde), en y ajoutant un conditionnement terrain absent des approches à style fixe. Le document est une version révisée (v2) d'un preprint, sans mention de partenaire industriel, de plateforme robotique nommée ni de déploiement sur matériel réel : les résultats rapportés relèvent donc de benchmarks en simulation face à des méthodes concurrentes, pas d'une validation sur robot physique en conditions réelles. Aucun calendrier de transfert vers du matériel ni d'intégration à une plateforme humanoïde commerciale n'est communiqué, ce qui situe T-GMP au stade de la recherche méthodologique plutôt que du produit prêt à déployer.

RecherchePaper

1 source