RecherchearXiv cs.RO 16 octobre 2026

DGS-Net : apprentissage de la préhension dextérique à partir de nuages de points mono-vue grâce à un jeu de données de scènes multi-objets

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent DGS-Net, un réseau de prédiction de saisies de bout en bout qui apprend des configurations de préhension denses à partir d'un nuage de points pris sous un seul angle, dans des scènes contenant plusieurs objets. Les auteurs ont aussi construit un jeu de données de 307 objets, 240 scènes multi-objets et plus de 350 000 saisies validées. Ces saisies sont générées en deux étapes: une synthèse dense sur objet isolé, puis une génération dense au niveau de la scène. Le jeu de données modélise explicitement les décalages de saisie (grasp offsets) et les configurations de pré-saisie, c'est-à-dire la posture de la main avant le contact. Les résultats annoncés sont un taux de réussite de 88,63 % en simulation et de 78,98 % sur une plateforme robotique réelle. La pénétration moyenne est de 0,375 mm, pour un volume de pénétration de 559,45 mm³. Le code et les données sont publiés sur GitHub (4taotao8/DGS-Net). L'article est une préprint arXiv (2603.15410, version 2), sans évaluation par les pairs à ce stade.

Pour l'industrie, l'intérêt tient à ce que la plupart des jeux de données de saisie dextre se limitent à un objet isolé et à des configurations prédéfinies. Ils ignorent donc les collisions avec les objets voisins, qui sont pourtant la norme en bac, sur étagère ou sur table encombrée. Un modèle qui produit des saisies denses depuis une seule vue, sans reconstruction complète de la scène, correspond au cas d'usage réel des mains à plusieurs doigts. Le chiffre de pénétration compte aussi: un contact interpénétrant en simulation se traduit en force excessive ou en échec sur matériel. L'écart entre 88,63 % et 78,98 % reste instructif. Il illustre le fossé sim-to-real, ici d'environ dix points, et donc que le problème n'est pas résolu. Les métriques réelles demandent prudence. L'article ne détaille pas, dans ce résumé, le nombre d'essais, la nature des objets ni la main utilisée. Un taux proche de 79 % reste loin des exigences d'une ligne industrielle, qui vise plutôt 99 % et plus.

Ce travail s'inscrit dans la lignée des jeux de données de saisie dextre sur objet unique et des méthodes de génération de saisies par optimisation, que les auteurs jugent peu généralisables. La tendance du secteur va vers les modèles vision-langage-action (VLA) et les politiques généralistes, mais la saisie dextre en environnement encombré reste un maillon difficile, surtout pour les mains anthropomorphes que développent les acteurs de l'humanoïde. DGS-Net propose une approche plus classique, centrée sur la perception géométrique et la supervision dense. Elle pourrait servir de brique de saisie dans une architecture hybride. Les prochaines étapes naturelles sont des tests sur d'autres mains, des scènes plus denses et des objets déformables ou transparents, que les nuages de points captent mal. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de la préhension dextérique à partir d'une taxonomie clairsemée

Une équipe de recherche a présenté GRIT, un système de manipulation dextre en deux étapes conçu pour piloter des mains robotiques multi-doigts sans exiger de plan de préhension dense pour chaque objet et chaque tâche. Concrètement, GRIT prédit d'abord une spécification de prise à partir d'une taxonomie de préhension (un ensemble limité de catégories de prises, comme on en trouve en robotique manipulatoire depuis des taxonomies classiques à une vingtaine d'entrées), en s'appuyant sur la scène observée et le contexte de la tâche. Une politique de contrôle continue génère ensuite les mouvements des doigts nécessaires pour exécuter la tâche tout en respectant la structure de prise choisie. Selon les auteurs, cette approche atteint un taux de réussite global de 87,9 % et généralise mieux à des objets jamais vus que les méthodes de référence, avec des expérimentations validées en conditions réelles (real-world experiments) et non uniquement en simulation. Le papier, republié sur arXiv en tant que version corrigée (v2), ne précise pas la plateforme matérielle exacte ni le nombre de degrés de liberté de la main utilisée dans le résumé disponible. L'intérêt de ce travail dépasse la simple métrique de succès : il s'attaque à un vrai dilemme d'ingénierie pour les intégrateurs de mains robotiques dextres. D'un côté, spécifier des cibles de contact ou de pose détaillées pour chaque objet est impraticable à l'échelle industrielle. De l'autre, l'apprentissage par renforcement de bout en bout, guidé uniquement par une récompense de tâche, produit des comportements peu contrôlables, difficiles à corriger quand un échec survient sur une chaîne de production ou en logistique. En montrant qu'une guidance taxonomique éparse suffit à préserver à la fois généralisation et contrôlabilité, GRIT offre une piste concrète pour des systèmes où un opérateur pourrait ajuster la stratégie de prise via une sélection de haut niveau, plutôt que de reprogrammer une trajectoire complète. Cette recherche s'inscrit dans un courant plus large de travaux sur la manipulation dextre qui cherchent un compromis entre commande explicite et apprentissage bout-en-bout, un axe également exploré par des laboratoires travaillant sur les architectures VLA (vision-language-action) pour la robotique généraliste. Le texte ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial : il s'agit à ce stade d'un résultat académique, dont la prochaine étape logique serait un portage sur des plateformes de préhension dextre plus largement utilisées en laboratoire ou en intégration industrielle.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage du ciblage de préhension à partir de nuages de points pour le dégagement de piles de grumes avec une grue hydraulique

Des chercheurs ont publié sur arXiv (2610.07613) une politique apprise qui choisit où placer et orienter le grappin d'une grue forestière hydraulique, montée sur remorque, pour vider des piles de grumes dans une cour de scierie. Ces piles comptent des centaines de billes en contact, et chaque prélèvement modifie la pile vue par la prise suivante. Le réseau prend en entrée des nuages de points bruts, non segmentés. Il classe le point observé où saisir, puis prédit la profondeur et l'orientation du grappin en ce point. Les mêmes sorties servent à l'imitation (BC), à l'apprentissage par renforcement (RL) et au déploiement. La BC apprend de démonstrations réussies prises au sommet de la pile. Le RL affine la politique clonée (BC→RL) ou s'entraîne de zéro. En simulation, la BC vide 98 piles sur 100, chacune de 200 billes. Sur la grue réelle, douze essais comparent une heuristique géométrique, le RL depuis zéro, la BC et la BC→RL, sur des cycles complets de saisie, transport et dépôt. La BC et la BC→RL déposent 93,8 % et 88,9 % de l'inventaire cumulé, contre 80,4 % pour l'heuristique. La BC→RL dépose des billes dans 83,6 % de ses cycles, contre 79,6 % pour l'heuristique et 65,7 % pour la BC. Le gain de stabilité de charge observé en simulation avec la BC→RL ne se retrouve pas sur le banc d'essai. Les politiques ont été entraînées entièrement en simulation et exécutées sans adaptation sur la grue. Le résultat est intéressant parce qu'il touche un cas de manipulation lourde, en contact dense, sur un engin hydraulique, loin des bras électriques de laboratoire. Un transfert simulation-réel sans recalage est démontré sur une tâche où chaque prise déforme la scène suivante. Les politiques apprises dépassent une heuristique dont les nuages avaient été filtrés à la main, alors qu'elles reçoivent des nuages bruts contenant encore les rails et poteaux du rack de stockage. Il faut toutefois lire les chiffres avec prudence. Douze essais sur un seul banc de test donnent peu de puissance statistique. Les gains restent modestes, d'environ 8 à 13 points d'inventaire déposé. Le gain de stabilité obtenu par RL en simulation ne se transfère pas, ce qui montre que l'écart simulation-réel persiste sur la dynamique de charge. Le résumé ne donne pas de temps de cycle, de payload ni de débit en tonnes par heure, des données que demanderait un exploitant. Ce travail s'inscrit dans l'automatisation des machines forestières et de manutention de bois, où la téléopération et l'assistance au conducteur dominent encore. Le schéma est classique : une imitation de démonstrations expertes, puis un affinage par RL en simulation, déjà courant en manipulation robotique. Le résumé ne cite aucun acteur industriel, aucun pilote ni aucune échéance. Les suites logiques seraient des essais sur grue de scierie en exploitation, sur davantage de configurations de piles, et une mesure des cadences réelles face à un opérateur humain.

RecherchePaper

1 source

3arXiv cs.RO

RoboTok : un moteur de données à l'échelle d'Internet pour la recherche de démonstrations humaines et l'apprentissage de la préhension dextérique

Un article publié sur arXiv (référence 2609.03199v1, catégorie « cross-listing » signalant un intérêt à la fois pour la robotique et la vision par ordinateur) présente RoboTok, un moteur de données conçu pour exploiter des vidéos humaines à l'échelle d'internet afin d'entraîner des politiques robotiques de manipulation dextre. Le système part d'une vidéo requête montrant une manipulation humaine, puis recherche dans de vastes collections de vidéos web des démonstrations pertinentes pour la même tâche. Techniquement, RoboTok apprend un espace de mouvement latent à partir de trajectoires 3D de la main, exprimées dans des repères centrés sur l'acteur estimés automatiquement, ce qui permet de comparer des gestes de manipulation malgré des différences de point de vue caméra, d'apparence de scène ou d'occlusions partielles de l'acteur. Cette représentation reste suffisamment compacte pour permettre une recherche efficace et une indexation continue sur des corpus vidéo de très grande taille. Les auteurs comparent RoboTok à des méthodes existantes de récupération de données robotiques, sur des benchmarks de recherche et sur la performance de politiques robotiques en aval, sans toutefois préciser dans le résumé les chiffres exacts de gain, ni les tâches ou plateformes robotiques testées. L'enjeu principal visé par ce travail est le goulot d'étranglement bien identifié de l'apprentissage robotique : collecter des données directement sur robot reste coûteux et ne permet pas de couvrir la longue traîne des tâches réelles rencontrées en manipulation. En proposant une méthode de récupération sensible à la pose de la main plutôt qu'à l'apparence brute, RoboTok cherche à transformer la vidéo web, ressource déjà abondante et en croissance continue, en une source de supervision exploitable et évolutive pour l'entraînement de politiques. Pour les intégrateurs et équipes de recherche en robotique dextre, cela s'inscrit dans une tendance plus large consistant à s'appuyer sur des données humaines non robotiques pour réduire la dépendance à la téléopération coûteuse, sans toutefois démontrer ici un déploiement matériel réel ni un produit commercialisé : il s'agit d'une contribution méthodologique et expérimentale, évaluée sur benchmarks académiques. Le papier se positionne dans la lignée des approches récentes de pré-entraînement robotique à partir de vidéos humaines à grande échelle, une direction de recherche active pour contourner la rareté des données robot réelles. Le résumé ne mentionne ni entreprise, ni laboratoire nommé, ni calendrier de suite ; il s'agit à ce stade d'une publication de recherche, pas d'une annonce produit ou d'un pilote industriel.

RecherchePaper

1 source

4arXiv cs.RO

OmniDex : passage à l'échelle de la préhension à main dextérique dans des scènes encombrées variées

Des chercheurs publient sur arXiv (2610.11194) OmniDex, un benchmark et un modèle de préhension dextre pour scènes encombrées. Le jeu de données couvre plus de 2,6 millions de scènes et 0,4 milliard de vérités terrain de prises (« grasp ground truths ») spécifiques à chaque scène. Les auteurs ont d'abord sélectionné des objets 3D de haute qualité ainsi que des supports (tables, étagères et autres bases d'appui). Ils ont ensuite généré les scènes avec une stratégie « seed-and-filter » : on génère des agencements candidats, puis on filtre ceux qui sont physiquement valides. Cela évite l'optimisation lente, scène par scène, qui limitait jusqu'ici le passage à l'échelle. Chaque scène est associée à des observations sémantiques et géométriques riches. Le modèle OmniDex est génératif. Il combine un apprentissage « Soft Winner-Takes-All », qui traite la multimodalité des prises (plusieurs saisies valides pour un même objet), avec des contraintes physiques inspirées de la main humaine pendant l'entraînement. À l'inférence, un classement piloté par la physique sélectionne la meilleure prise, sans étape d'optimisation a posteriori. Les auteurs annoncent des performances à l'état de l'art et une bonne généralisation à travers des scènes, des points de vue et des objets inconnus. Pour l'industrie, l'enjeu est la donnée. La préhension dextre est la brique de base des humanoïdes et des manipulateurs à main articulée, mais la collecte réelle coûte cher et les jeux de données en simulation portaient surtout sur des objets isolés, alors que les cas d'usage (bacs, étagères, postes de tri) sont encombrés. Un corpus de cette taille, produit sans optimisation par scène, suggère que la simulation peut fournir des volumes comparables à ceux de la vision par ordinateur. La suppression de la post-optimisation compte aussi pour les intégrateurs, car cette étape ajoute de la latence au temps de cycle. Il faut toutefois rester prudent. L'étude est un preprint, et les résultats sont mesurés en simulation. Le papier ne fournit, dans ce résumé, ni taux de réussite chiffrés, ni validation sur matériel réel, ni temps d'inférence. Le fossé sim-to-real reste donc la vraie question, notamment pour la « précision du dernier millimètre » que les auteurs jugent défaillante chez les modèles génératifs actuels. Ce travail s'inscrit dans une série de benchmarks de préhension à grande échelle, qui ont d'abord traité les pinces parallèles puis les mains dextres sur objets seuls. Les modèles génératifs (diffusion, flow matching) y dominent, mais ils souffrent de prises imprécises qui exigent un affinage coûteux. OmniDex veut montrer qu'un classement physique peut remplacer cet affinage. Les acteurs concurrents sont les équipes qui préparent des politiques VLA pour humanoïdes et mains dextres, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Elles pourraient exploiter ce type de données comme pré-entraînement ou comme module de préhension. Aucun calendrier de diffusion du code ou du jeu de données n'est précisé ici. Le test décisif sera une démonstration sur main réelle en bac encombré, avec des taux de réussite publiés.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source