RecherchearXiv cs.RO 2 septembre 2026

Guidage par potentiel de particules pour la préhension dextérique sous contraintes de négation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (papier 2609.00555, type "new", déposé début septembre 2026) une méthode appelée Potential-Guided Particle Steering, conçue pour corriger un défaut des modèles de préhension dextre pilotés par le langage, comme DextER. Ces modèles réussissent bien quand une instruction précise où saisir un objet, mais échouent systématiquement quand elle précise aussi où ne pas saisir, par exemple "attrape la poignée mais évite le corps de l'objet". La raison identifiée : les corpus d'entraînement existants, dont DexGYSNet, ne contiennent quasiment aucune instruction d'évitement, et chaque partie mentionnée pendant l'entraînement est interprétée comme une cible de contact plutôt qu'une zone à exclure. La méthode proposée agit uniquement au moment de l'inférence, sans exemple de négation dans l'entraînement : elle combine du Sequential Monte Carlo avec du classifier-free guidance pour orienter l'échantillonnage vers la partie visée tout en éliminant les candidats de prise dirigés vers la zone interdite, celle-ci étant localisée par un modèle figé de "part-grounding" 3D. Un nouveau benchmark, NegGrasp, associe des instructions positives et négatives appariées avec des métriques tenant compte de la contrainte. Résultat : le taux de violation de la contrainte tombe de 57,9 % pour la meilleure référence à 17,2 % avec la nouvelle méthode, tout en améliorant aussi le taux de réussite physique.

Le résultat ne provient pas d'un déploiement robotique réel mais d'expériences sur benchmark, ce qui mérite d'être signalé. Son intérêt pour les intégrateurs et les équipes robotique tient au problème qu'il révèle : des instructions de sécurité banales ("ne touche pas au câble", "évite la lame") peuvent faire échouer des modèles de préhension par ailleurs performants, un angle mort typique du décalage entre démonstration et usage industriel réel. L'approche séduit aussi parce qu'elle ne nécessite ni réentraînement ni collecte de données supplémentaires, contrainte pourtant impossible à satisfaire pour tout cas d'usage imaginable. Un taux de violation résiduel de 17,2 % reste toutefois loin d'une garantie de sécurité exploitable en production.

Le travail s'inscrit dans la suite directe de DextER et du corpus DexGYSNet, et emprunte des techniques de guidage habituellement utilisées dans les modèles génératifs de diffusion. Il ne compare pas directement sa méthode aux modèles génération action-langage-vision plus larges comme GR00T N2, Pi-0 ou Helix, laissant ouverte la question de l'intégration à ces pipelines. Les auteurs publient NegGrasp comme benchmark public, ce qui devrait permettre des comparaisons futures, la prochaine étape logique étant une validation sur mains robotiques physiques.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

NDPP-Grasp : préhension dextérique orientée tâche guidée par contraintes de plausibilité physique non-différentiables

Des chercheurs ont publié le 2 juin 2026 sur arXiv un cadre baptisé NDPP-Grasp pour améliorer la génération de préhensions dextres orientées tâche. Le défi est double : une préhension dextre doit être physiquement plausible (pas de collision de doigts, forces équilibrées) et fonctionnellement adaptée à la manipulation spécifiée (saisir un couteau par le manche, pas par la lame). Les méthodes actuelles basées sur la diffusion traitent ces deux exigences de façon séquentielle : un modèle de diffusion est d'abord entraîné pour l'alignement tâche, puis un raffinement post-génération corrige la plausibilité physique. NDPP-Grasp change cette logique en injectant les contraintes de plausibilité physique directement dans le processus de débruitage (denoising), y compris lorsque ces contraintes sont non-différentiables, c'est-à-dire qu'elles ne peuvent pas être intégrées via une simple rétropropagation du gradient. L'impact technique est concret. Appliquer des corrections physiques après génération laisse la trajectoire de débruitage aveugle aux contraintes, produisant des préhensions sous-optimales que le raffinement corrige imparfaitement. En guidant le processus génératif lui-même, NDPP-Grasp améliore la qualité des préhensions sans sacrifier l'alignement tâche. C'est particulièrement pertinent pour les mains robotiques multi-DOF à haute dextérité (Shadow Hand, Allegro Hand notamment), où l'espace des configurations valides est étroit et où une mauvaise initialisation génère directement des échecs de saisie en conditions réelles. La méthode adresse aussi un verrou technique : intégrer dans un pipeline de diffusion des métriques physiques issues de simulateurs ou de vérificateurs de contact qui ne fournissent pas de gradient analytique. La génération de préhensions dextres mobilise la communauté depuis des décennies, mais l'essor des modèles de diffusion depuis 2022-2023 a renouvelé les approches avec des travaux comme UniDexGrasp ou GraspDiffusion. NDPP-Grasp s'inscrit dans ce courant, concurrent aux méthodes de guidance par classificateur (classifier guidance) appliquées à la manipulation. Le résumé arXiv ne précise pas l'affiliation institutionnelle ni les benchmarks utilisés ; les expériences sont décrites comme "extensives" sans détail sur les architectures de mains testées ni les jeux de données d'évaluation. La validation sur hardware réel, et le transfert sim-to-real associé, restera l'épreuve déterminante pour mesurer l'utilité pratique de ce cadre.

RecherchePaper

1 source

2arXiv cs.RO

Génération de préhensions dextériques guidées et conscientes du bras à partir de modèles de préhension agnostiques au bras

Une équipe de recherche publie sur arXiv (arXiv:2608.16351v1, catégorie "new") un nouveau cadre de génération de prises dextres tenant compte des contraintes liées au bras porteur, un problème clé pour la manipulation robotique en conditions réelles : évitement de collision entre bras et environnement, prises en limite d'espace de travail, saisies consécutives. Contrairement aux modèles de prise dits "hand-centric", qui ne considèrent que la pose de la main flottante, ou aux méthodes "arm-aware" classiques, qui reposent soit sur du réjection sampling coûteux en échantillons soit sur un réentraînement spécifique à chaque bras, l'approche proposée réutilise des modèles de prise pré-entraînés indépendants du bras et n'intègre les contraintes du bras et de l'environnement qu'au moment de l'inférence. Techniquement, le problème est formulé comme une optimisation conjointe de la pose de la main et de la configuration du bras, avec des gradients en forme close pour les contraintes liées au bras ; en représentant la distribution des poses de main par un modèle de diffusion, les auteurs montrent que cette optimisation par gradient équivaut à un échantillonnage de diffusion guidé. L'évaluation couvre 10 000 objets répartis sur 6 scénarios. Ce travail cible un angle mort fréquent en manipulation dextre : la plupart des générateurs de prises sont entraînés hors contexte du bras porteur, creusant un écart entre démonstration en laboratoire et déploiement sur un robot intégré. Pour les équipes R&D et intégrateurs, l'intérêt tient au découplage entre modèle de prise générique et contraintes spécifiques appliquées à l'inférence, ce qui évite un réentraînement à chaque nouveau bras ou nouvelle cellule de travail et promet une meilleure portabilité entre plateformes. Les auteurs rapportent une probabilité significativement plus élevée de générer des prises faisables en configuration fortement contrainte que les approches existantes, un résultat qui reste à confirmer indépendamment mais qui appuie la piste des méthodes guidées par diffusion plutôt que le simple filtrage post-hoc des échantillons. La contribution s'inscrit dans la lignée des modèles de prise dextre basés sur la diffusion, déjà utilisés pour générer des poses de main plausibles à partir de la géométrie d'objets, mais qui traitaient rarement le bras comme contrainte de premier ordre. Il s'agit d'un preprint de recherche, sans essai sur robot physique ni partenariat industriel mentionné : le code et le matériel supplémentaire sont publiés sur arm-aware-dexgrasp.github.io. Aucune plateforme robotique ni entreprise commerciale n'est citée dans l'article, ce qui en fait pour l'instant une contribution méthodologique destinée à être reprise et testée par d'autres laboratoires ou intégrateurs sur leurs propres bras et mains robotiques.

RecherchePaper

1 source

3arXiv cs.RO

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

ConFlow : apprentissage guidé par contraintes avec appariement de flux pour la génération de mouvement

ConFlow, un nouveau framework de génération de mouvement robotique par flow matching intégrant des contraintes dès l'entraînement, a été publié sur arXiv (2607.14424v1). Le flow matching est une méthode de modélisation générative reposant sur un échantillonneur neuronal basé sur des équations différentielles ordinaires (ODE), entraîné en régressant les champs de flux empiriques associés aux trajectoires observées. Le problème que ConFlow cherche à résoudre est simple à énoncer : la plupart des approches actuelles entraînent le modèle de flux sur des données brutes, puis appliquent des contraintes propres à la tâche uniquement au moment de l'inférence, via un guidage externe. Les auteurs proposent à la place d'injecter directement l'information de contrainte dans l'objectif d'entraînement, sous forme de fonctions de barrière ou de coût différentiables. Autre nouveauté technique : la distribution source gaussienne standard du flow matching est remplacée par un processus gaussien conditionnel, ce qui permet d'imposer des spécifications de conception comme la régularité ou les conditions aux limites. Le système exploite aussi des démonstrations infaisables comme supervision négative, sans nécessiter de données expertes supplémentaires. Sur une tâche de navigation impliquant deux robots, ConFlow affiche un taux de collision plus faible et une meilleure qualité de trajectoire que les baselines de flow matching standard, avec ou sans guidage à l'inférence. L'enjeu dépasse la simple performance chiffrée : ce travail questionne une hypothèse répandue dans la génération de mouvement par apprentissage, à savoir que le guidage à l'inférence suffit à faire respecter des contraintes physiques ou de sécurité à un modèle entraîné sans elles. En démontrant qu'intégrer les contraintes pendant l'entraînement referme l'écart entre entraînement et inférence, ConFlow apporte un argument concret pour les équipes qui développent des politiques de mouvement destinées à des robots opérant sous contraintes strictes (évitement de collision, limites articulaires, zones interdites), un enjeu central pour tout déploiement industriel ou multi-robot. Le flow matching s'est imposé ces dernières années comme alternative aux modèles de diffusion pour la génération de trajectoires robotiques, dans la même famille de méthodes que les architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui reposent elles aussi sur des politiques génératives entraînées sur démonstrations. ConFlow se positionne comme une brique méthodologique complémentaire à ces systèmes plutôt qu'un produit concurrent : la validation reste pour l'instant limitée à un scénario de navigation à deux robots, sans indication d'extension à des tâches de manipulation plus complexes ou à un déploiement matériel réel.

RecherchePaper

1 source