Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

MANGO-Grasp : champs de Mahalanobis sur gaussiennes 3D orientées géométrie pour la préhension dextérique inter-incarnations

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient MANGO-Grasp, une nouvelle méthode de préhension dextre "cross-embodiment", c'est-à-dire capable de fonctionner sur des mains robotiques multi-doigts très différentes sans réglage spécifique à chacune. Le système représente les objets sous forme de primitives gaussiennes 3D orientées selon la géométrie locale de la surface (des sortes de petites plaques alignées avec des normales sortantes), tandis que chaque main robotique est décrite par des points clés de surface encodés dans un descripteur "morpho-kinématique" combinant forme et articulation. L'innovation centrale est l'usage de champs de Mahalanobis entre ces points clés et les primitives d'objet : ils servent à la fois de cible d'apprentissage et de guide d'optimisation au moment de la préhension, en montant fortement le long de la normale à la surface mais restant plats dans le plan tangent, ce qui colle à la physique réelle du contact. Sur les benchmarks CMAP et MultiGripperGrasp, MANGO-Grasp dépasse la meilleure méthode concurrente entraînée sur la même main de jusqu'à 8,24 points de pourcentage en simulation, et transfère en zéro-shot vers une main jamais vue (SharpaWave) avec un gain de 16,57 points sur le meilleur baseline zero-shot, pour un taux de réussite de 86 % en conditions réelles.

Ce résultat s'inscrit dans un enjeu clé pour les intégrateurs de robotique dextre : la généralisation d'une politique de préhension à de nouveaux effecteurs sans reprendre tout l'entraînement, un frein majeur au déploiement commercial de mains robotiques variées. Le fait qu'une seule formulation d'optimisation, avec les mêmes hyperparamètres, fonctionne sur toutes les morphologies testées suggère que le goulot d'étranglement historique (représentations d'objets trop pauvres en géométrie locale, descripteurs de main incomplets) peut être résolu sans architecture ad hoc par robot, un argument utile face au scepticisme habituel sur l'écart démo/réalité en manipulation robotique.

Le papier (arXiv:2608.02014v1) se positionne face aux méthodes "interaction-centric" existantes, jugées insuffisantes sur la représentation fine de la géométrie de surface et l'encodage combiné de la morphologie et de la cinématique des mains. Le code et les matériaux complémentaires sont annoncés pour publication ultérieure sur la page du projet, mais ne sont pas encore disponibles à ce stade : il s'agit d'un preprint, pas encore d'une solution intégrée ou commercialisée.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique
1arXiv cs.RO 

De la préhension à la dextérité : pré-entraînement à grande échelle pour la manipulation dextérique

Des chercheurs publient sur arXiv un nouveau papier intitulé "From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation", qui s'attaque à un problème precis de la manipulation dextre robotique: utiliser un simple geste de préhension pour ensuite manipuler un outil articulé (actionner une gâchette, tourner une molette, ouvrir une pince) plutôt que de simplement le saisir et le poser. L'équipe construit un jeu de données de 355 000 trajectoires à partir d'annotations de préhension dextre à grande échelle, utilisé pour préentraîner un contrôleur bas niveau conditionné par objectif, lui-même piloté par un module haut niveau qui prédit les sous-objectifs de la main. Ce contrôleur est ensuite affiné sur des démonstrations spécifiques à chaque tâche. Pour évaluer l'approche, les auteurs introduisent DexCraft, un banc d'essai en simulation comportant six tâches d'usage d'outils articulés nécessitant une coordination fine des doigts. En conditions réelles, la méthode améliore le taux de réussite complet des tâches de 33,3 points de pourcentage par rapport à la référence DP3, et dépasse aussi les politiques de diffusion entraînées de bout en bout ainsi que les architectures hiérarchiques entraînées depuis zéro. L'intérêt pour l'industrie tient au fait que la plupart des grands jeux de données de préhension dextre existants n'avaient jusqu'ici servi qu'à générer des prises ou à faire du pick-and-place, une tâche relativement simple comparée à l'usage fonctionnel d'un outil, qui exige de maintenir le contact tout en actionnant une pièce mobile. Démontrer qu'un préentraînement sur des données de grasping generalise à ce type de manipulation contact-riche est un signal utile pour les équipes qui travaillent sur des mains robotiques multi-doigts, notamment dans le contexte des humanoïdes où la dextérité fine reste un goulot d'étranglement bien plus limitant que la locomotion. Cela va dans le sens d'une hypothèse défendue par plusieurs laboratoires: les grands corpus de démonstration, même génériques, peuvent servir de socle de préentraînement réutilisable plutôt que d'être collectés tâche par tâche. Ce travail s'inscrit dans la lignée des approches hiérarchiques d'apprentissage par imitation combinant planification haut niveau et contrôle bas niveau, un courant de recherche actif face aux politiques de diffusion de bout en bout comme DP3, utilisées ici comme référence de comparaison. Il s'agit à ce stade d'un résultat académique publié sur arXiv, testé en simulation via DexCraft et validé par des expériences réelles limitées, et non d'un système déployé commercialement. Les auteurs mettent à disposition des vidéos de démonstration sur leur page de projet, mais aucune date de mise en open source du code ni de partenariat industriel n'est mentionnée dans le résumé.

RecherchePaper
1 source
VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique
2arXiv cs.RO 

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel. Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles. Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

RechercheActu
1 source
DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme
3arXiv cs.RO 

DGSG-Mind : graphes de scène gaussiens 3D dynamiques pour la compréhension et l'ancrage de scènes à long terme

Des chercheurs de l'ICR Lab présentent DGSG-Mind (arXiv:2605.29879, mai 2026), un système de représentation de scènes 3D dynamiques combinant cartes de Gaussiennes 3D explicites et grille de voxels probabiliste pour permettre à un robot de comprendre et de raisonner sur son environnement sur le long terme. L'architecture fusionne deux niveaux de représentation : les Gaussiennes 3D assurent un ancrage spatial fin des instances d'objets avec suivi incrémental, tandis que la grille voxel gère la fusion cross-modale et la réinitialisation visuelle lorsqu'un objet est déplacé ou occlus. Sur cette carte d'instances, le système construit un graphe de scène hiérarchique, puis y greffe un agent de raisonnement multimodal baptisé "3D Gaussian Mind" qui intègre relations structurelles, informations spatio-sémantiques et rendus annotés des régions d'intérêt. Les expériences reportent les meilleures performances zero-shot en 3D Visual Grounding (3DVG) parmi les méthodes opérant sur des cartes auto-reconstruites, avec des résultats compétitifs en segmentation sémantique open-vocabulary et en reconstruction de scènes. Le système a été déployé sur des robots réels pour valider les capacités de mise à jour dynamique, bien que l'article ne précise pas le matériel ni les conditions exactes des essais terrain. L'enjeu central est la robustesse à long terme : la majorité des systèmes de compréhension de scènes 3D supposent un environnement statique ou s'appuient sur une géométrie ground-truth fournie hors ligne, ce qui les rend inutilisables pour une manipulation robotique en conditions réelles où les objets bougent. DGSG-Mind traite explicitement les changements topologiques au niveau objet via un mécanisme de relocalisation visuelle gaussienne et de raffinement masqué guidé par cohérence géométrique-sémantique. La composante open-vocabulary est particulièrement pertinente pour les intégrateurs : elle signifie qu'un opérateur peut interroger le robot en langage naturel ("prends la bouteille rouge à gauche du moniteur") sans ré-entraînement ni labeling préalable. La performance zero-shot sur cartes auto-reconstruites, par opposition aux benchmarks avec géométrie parfaite, est un indicateur plus honnête de la viabilité réelle du système. Le contexte technique s'inscrit dans la vague post-3DGS (3D Gaussian Splatting, Kerbl et al., 2023) qui a largement supplanté les approches NeRF pour la reconstruction temps réel. Les graphes de scènes pour la robotique sont un axe de recherche actif, avec des travaux concurrents comme ConceptGraphs, OpenMask3D ou SceneGraphFusion, dont aucun ne résout à la fois l'association d'instances robuste et les mises à jour dynamiques incrémentales. DGSG-Mind reste un preprint de recherche, non un produit expédié : le gap entre benchmark académique et déploiement industriel fiable demeure à évaluer, notamment sur la latence de mise à jour des Gaussiennes en environnement encombré. Les prochaines étapes naturelles concernent l'intégration dans des pipelines de manipulation (tâches pick-and-place longues durée) et le couplage avec des modèles VLA comme Pi-0 ou GR00T N2.

RecherchePaper
1 source
NDPP-Grasp : préhension dextérique orientée tâche guidée par contraintes de plausibilité physique non-différentiables
4arXiv cs.RO 

NDPP-Grasp : préhension dextérique orientée tâche guidée par contraintes de plausibilité physique non-différentiables

Des chercheurs ont publié le 2 juin 2026 sur arXiv un cadre baptisé NDPP-Grasp pour améliorer la génération de préhensions dextres orientées tâche. Le défi est double : une préhension dextre doit être physiquement plausible (pas de collision de doigts, forces équilibrées) et fonctionnellement adaptée à la manipulation spécifiée (saisir un couteau par le manche, pas par la lame). Les méthodes actuelles basées sur la diffusion traitent ces deux exigences de façon séquentielle : un modèle de diffusion est d'abord entraîné pour l'alignement tâche, puis un raffinement post-génération corrige la plausibilité physique. NDPP-Grasp change cette logique en injectant les contraintes de plausibilité physique directement dans le processus de débruitage (denoising), y compris lorsque ces contraintes sont non-différentiables, c'est-à-dire qu'elles ne peuvent pas être intégrées via une simple rétropropagation du gradient. L'impact technique est concret. Appliquer des corrections physiques après génération laisse la trajectoire de débruitage aveugle aux contraintes, produisant des préhensions sous-optimales que le raffinement corrige imparfaitement. En guidant le processus génératif lui-même, NDPP-Grasp améliore la qualité des préhensions sans sacrifier l'alignement tâche. C'est particulièrement pertinent pour les mains robotiques multi-DOF à haute dextérité (Shadow Hand, Allegro Hand notamment), où l'espace des configurations valides est étroit et où une mauvaise initialisation génère directement des échecs de saisie en conditions réelles. La méthode adresse aussi un verrou technique : intégrer dans un pipeline de diffusion des métriques physiques issues de simulateurs ou de vérificateurs de contact qui ne fournissent pas de gradient analytique. La génération de préhensions dextres mobilise la communauté depuis des décennies, mais l'essor des modèles de diffusion depuis 2022-2023 a renouvelé les approches avec des travaux comme UniDexGrasp ou GraspDiffusion. NDPP-Grasp s'inscrit dans ce courant, concurrent aux méthodes de guidance par classificateur (classifier guidance) appliquées à la manipulation. Le résumé arXiv ne précise pas l'affiliation institutionnelle ni les benchmarks utilisés ; les expériences sont décrites comme "extensives" sans détail sur les architectures de mains testées ni les jeux de données d'évaluation. La validation sur hardware réel, et le transfert sim-to-real associé, restera l'épreuve déterminante pour mesurer l'utilité pratique de ce cadre.

RecherchePaper
1 source