Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
GraspIT : un jeu de données comblant l'écart simulation-réel pour la génération validée de poses de préhension SE(3)
RecherchearXiv cs.RO48min

GraspIT : un jeu de données comblant l'écart simulation-réel pour la génération validée de poses de préhension SE(3)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

GraspIT, un nouveau dataset de prises robotiques présenté dans un article arXiv publié cette semaine, s'attaque au problème du transfert simulation-réel pour la préhension d'objets inédits. L'équipe a généré des scènes de table dans NVIDIA Isaac Sim, puis annoté chaque prise candidate via un test physique de glissement en quatre étapes, exécuté sur des instances virtuelles de bras Franka Panda, allant au-delà du simple critère de force-closure classique. Sur environ 2,3 millions de prises candidates, 83% obtiennent un score de qualité jugé bon (seuil de 0,50 ou plus), tandis que les 17% restants, qui passent le test de force-closure mais échouent au test de glissement, constituent des "hard negatives" utiles à l'entraînement. Une boucle réel-vers-simulation rétroprojette ensuite ces annotations sur 100 scènes réelles. Au total, le dataset livre environ 316 000 jeux d'images RGB-D annotées, couvrant 1035 scènes simulées et 100 scènes réelles, avec masques d'instance, poses en 6 degrés de liberté, propriétés physiques des objets et scores de qualité pour chaque prise. Les outils sont open source et conteneurisés via Docker.

Cette publication comble un manque identifié par les auteurs eux-mêmes: aucun dataset existant ne combinait jusqu'ici observations photoréalistes, validation physique rigoureuse des prises et pont explicite entre simulation et monde réel. Pour les équipes de recherche en manipulation robotique, ce type de ressource conditionne directement la qualité des politiques apprises par imitation ou par renforcement, notamment pour les modèles vision-langage-action qui nécessitent de gros volumes de démonstrations fiables. Les négatifs difficiles générés par le test de glissement offrent en particulier un signal d'entraînement plus discriminant que les datasets fondés sur la seule force-closure, souvent trop permissifs.

Le projet s'inscrit dans une littérature croissante cherchant à réduire l'écart sim-to-real, un obstacle persistant pour déployer en conditions réelles des politiques entraînées en simulation. La planification de trajectoires intégrée dans Isaac Sim permet en outre de streamer des démonstrations haute résolution pour l'apprentissage de politiques de manipulation sur table et le clonage comportemental, ouvrant la voie à des travaux de suivi sur des tâches de préhension plus complexes.

Dans nos dossiers

IA physique & VLANVIDIA Isaac & CosmosManipulation robotiquearXiv cs.RO

À lire aussi

R2RGEN : génération de données 3D réel-vers-réel pour une manipulation spatialement généralisée
1arXiv cs.RO 

R2RGEN : génération de données 3D réel-vers-réel pour une manipulation spatialement généralisée

Une équipe de chercheurs propose R2RGen, un cadre de génération de données pour l'apprentissage par imitation en manipulation robotique, publié sur arXiv (identifiant 2510.08547, version 2). Le principe : à partir d'un nombre minimal de démonstrations humaines réelles, le système génère automatiquement un grand volume de données d'entraînement spatialement diversifiées, sans jamais recourir à un simulateur. R2RGen traite les observations sous forme de nuages de points (pointcloud) et augmente les paires observation-action directement dans l'espace 3D réel. Le pipeline repose sur trois étapes : un module de parsing de scène et de trajectoire unifie les démonstrations issues de différentes configurations de caméras dans un espace 3D partagé ; une stratégie de backtracking par groupe augmente ensuite la position des objets et du robot lui-même ; enfin, un post-traitement adaptatif à la caméra aligne les données générées sur la distribution réelle des capteurs 3D. Le cadre est compatible avec les robots mobiles, ce qui le distingue des approches existantes, limitées aux bras fixes et à des angles de prise de vue prédéfinis. Ce résultat s'attaque à l'un des goulots d'étranglement les plus persistants de la robotique apprenante : le fossé sim-to-real. La plupart des pipelines de génération de données actuels passent par des moteurs physiques ou des rendus synthétiques, introduisant des artefacts visuels et des dynamiques inexactes qui dégradent les performances une fois transférés sur robot réel. R2RGen court-circuite entièrement cette chaîne en restant dans le domaine réel du début à la fin. En pratique, cela se traduit par une meilleure efficacité de la donnée sur l'ensemble des expériences rapportées, y compris sur des scénarios de manipulation mobile. Pour les équipes développant des politiques visuomotrices par imitation, cela signifie moins de démonstrations humaines nécessaires pour atteindre une généralisation spatiale robuste, c'est-à-dire la capacité du robot à opérer correctement quelle que soit la configuration relative des objets, de l'environnement ou de l'agent. La généralisation spatiale est le prérequis reconnu à toute manipulation robotique à usage général. Les travaux antérieurs, dans le sillage de RT-X et des pipelines sim-to-real basés sur Isaac Gym ou MuJoCo, avaient montré des gains mais restaient contraints à des bras fixes et à des angles de caméra prédéfinis. R2RGen se positionne comme une alternative plug-and-play sans infrastructure de simulation, abaissant la barrière d'entrée pour les laboratoires ou les équipes industrielles n'ayant pas accès à des environnements simulés robustes. La publication reste à ce stade une contribution académique sans déploiement industriel annoncé ; les auteurs indiquent comme prochaine étape naturelle la validation du passage à l'échelle sur des flottes de robots mobiles en environnement ouvert.

RecherchePaper
1 source
Combler l'écart de réalité : déploiement zero-shot du transfert simulation-réel pour la préhension et la manipulation dextériques basées sur la force
2arXiv cs.RO 

Combler l'écart de réalité : déploiement zero-shot du transfert simulation-réel pour la préhension et la manipulation dextériques basées sur la force

Voici l'article traduit et résumé : Une équipe de recherche présente une méthode d'apprentissage par renforcement permettant de transférer directement en simulation vers le réel des politiques de contrôle pour une main robotique à cinq doigts, sans aucun réglage fin sur le matériel physique. Le système combine un retour tactile dense avec une mesure du couple articulaire pour réguler finement les interactions de contact. Trois innovations techniques rendent ce transfert possible : une simulation tactile rapide calculant les distances entre unités tactiles virtuelles et l'objet via une cinématique directe parallélisée, une calibration courant-couple qui élimine le besoin de capteurs de couple physiques en convertissant le courant moteur en couple articulaire, et une modélisation randomisée de la dynamique des actionneurs pour compenser les effets non idéaux couple-vitesse. Entraînées entièrement en simulation via un pipeline PPO acteur-critique asymétrique, les politiques obtenues exécutent deux compétences clés de la main humaine, le contrôle de force de préhension sur commande et la réorientation d'objets dans la main, de façon robuste dès le déploiement sur robot réel. Cette avancée s'attaque à un verrou majeur de la robotique manipulatrice : l'écart de réalité (reality gap) entre simulation et exécution physique, particulièrement critique pour les mains à cinq doigts où la richesse des contacts et les imperfections d'actionnement rendent le transfert notoirement difficile. Contrairement aux approches nécessitant un réglage fin coûteux sur le robot réel, cette méthode zéro-shot réduit drastiquement le temps et le coût de déploiement, un enjeu direct pour les intégrateurs et fabricants qui cherchent à industrialiser la manipulation dextre au-delà des pinces simples. Les auteurs affirment qu'il s'agit de la première démonstration de préhension contrôlable sur une main multi-doigts entraînée uniquement en simulation. Le défi du sim-to-real occupe la recherche en robotique depuis plusieurs années, avec des approches concurrentes s'appuyant sur la randomisation de domaine ou l'apprentissage par imitation à partir de données réelles. L'ajout combiné de capteurs tactiles denses et de couple articulaire, plutôt que la seule vision ou proprioception, distingue cette approche et pourrait orienter les prochains travaux vers une intégration plus poussée du sens tactile dans les architectures de contrôle destinées aux mains robotiques commerciales.

RecherchePaper
1 source
RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher
3arXiv cs.RO 

RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher

Des chercheurs du Faerber Lab publient RCT (Robotic Contact Tactile), un jeu de données touch-vision-language collecté par robot pour évaluer la généralisation tactile des systèmes robotiques. Le dataset comprend 29 279 frames tactiles issues de pressions complètes effectuées par un bras robotique sur 122 matériaux de référence industriels répartis en 7 catégories, enregistrées à l'aide de trois capteurs DIGIT positionnés à plusieurs points de contact. Particularité méthodologique : RCT conserve chaque pression comme une séquence de contact continue plutôt que comme des frames isolées, ce qui permet des évaluations "held-out" rigoureuses par matériau, catégorie, capteur, position de contact ou séquence entière. Les auteurs démontrent que les frames issues d'une même pression sont fortement corrélées entre elles : un découpage aléatoire des frames (frame-random split), pratique courante dans le domaine, place des observations quasi-identiques de la même interaction physique à la fois dans les jeux d'entraînement et de test. En supprimant ce chevauchement de séquences, le score de Recall@1 en correspondance tactile-texte chute de 17,7 points de pourcentage à encodeur fixe. Lorsque les matériaux sont également exclus à l'entraînement, la performance s'effondre davantage, avec un Recall@1 de seulement 25,1 % (± 6,1 %) en moyenne sur trois tirages de matériaux non vus. Le jeu de données est open source, disponible sur faerber-lab.github.io/RCT. Cette étude expose un biais méthodologique qui gonflait artificiellement les résultats publiés sur la perception tactile robotique. En analysant le split public TVL/HCT, référence largement utilisée dans le domaine, les auteurs montrent que chaque séquence de contact du jeu de test apparaît déjà dans l'entraînement : une simple recherche du plus proche voisin en pixels bruts, sans aucun apprentissage, retrouve la bonne séquence dans 98,3 % des cas. Autrement dit, les benchmarks existants mesurent en grande partie de la mémorisation plutôt que de la généralisation réelle. Pour les équipes qui développent des systèmes de manipulation tactile destinés à des environnements ouverts (tri de déchets, logistique, inspection de pièces), cela signifie que des modèles annoncés comme performants pourraient largement sous-performer face à des matériaux jamais rencontrés. L'étude montre aussi une piste corrective concrète : échantillonner uniformément les frames au sein d'une pression, plutôt que de façon aléatoire, améliore l'entraînement contrastif, et les embeddings entraînés sur RCT améliorent les probes de catégorisation sur des matériaux inédits. Le travail s'inscrit dans la lignée des jeux de données touch-vision-language existants comme TVL (Touch-Vision-Language) et HCT, dont RCT réutilise la structure de split pour illustrer le problème de fuite de données. Le choix des capteurs DIGIT, développés initialement par Meta AI et largement adoptés en recherche tactile académique, ancre RCT dans l'écosystème matériel dominant du secteur plutôt que dans des capteurs propriétaires. Aucun acteur français ou européen n'est mentionné dans cette publication, qui reste un travail de recherche fondamentale plutôt qu'une annonce produit. Les prochaines étapes attendues pour le domaine concernent l'adoption de protocoles d'évaluation "contact-sequence-aware" par les équipes travaillant sur la manipulation tactile, ainsi que l'extension de ce type de benchmark held-out-material à d'autres modalités sensorielles combinées, à mesure que les architectures VLA (vision-language-action) intègrent de plus en plus le retour tactile comme signal de contrôle.

RecherchePaper
1 source
MiniVLA-Nav v1 : un jeu de données de simulation multi-scènes pour la navigation robotique guidée par le langage
4arXiv cs.RO 

MiniVLA-Nav v1 : un jeu de données de simulation multi-scènes pour la navigation robotique guidée par le langage

MiniVLA-Nav v1 est un dataset de simulation publié sur HuggingFace pour la navigation robotique conditionnée par le langage naturel, tâche désignée LCOA (Language-Conditioned Object Approach). Un robot différentiel NVIDIA Nova Carter reçoit une instruction courte et doit atteindre l'objet nommé en s'arrêtant à moins d'un mètre. Le dataset couvre 1 174 épisodes dans quatre scènes Isaac Sim photoréalistes (bureau, hôpital, entrepôt complet, entrepôt à étagères multiples), chacun annoté avec images RGB 640x640, cartes de profondeur métriques float32, masques de segmentation d'instance et labels d'action à 60 Hz (commandes continues v/omega et tokenisation 7x7 via contrôleur proportionnel visuel). Trois tiers de distance d'initialisation (1,5-3,5 m, 3,5-7,0 m, et lointain curatés) assurent la diversité des trajectoires, avec une corrélation Pearson r=0,94 entre distance de départ et longueur. Douze catégories d'objets et 30 templates (18 d'entraînement, 12 hors distribution) structurent cinq splits d'évaluation. La rareté de données annotées pour entraîner des modèles VLA (Vision-Language-Action) orientés navigation reste un frein reconnu dans la communauté. MiniVLA-Nav v1 y répond avec un benchmark à cinq axes : précision en distribution, robustesse aux paraphrases et généralisation hors distribution sur de nouvelles catégories. La tâche LCOA isole délibérément le grounding linguistique, c'est-à-dire la capacité à relier une instruction verbale à un objet physique, sans mélanger avec la planification globale de chemin. Les labels moteurs continus à 60 Hz offrent une supervision plus fine que la majorité des datasets de navigation verbale existants, souvent limités à des waypoints discrets. La compatibilité native avec l'écosystème Isaac Sim et la plateforme Nova Carter facilite un éventuel transfert sim-to-real vers des robots physiques en milieu industriel ou hospitalier. Ce travail s'inscrit dans la lignée de R2R et REVERIE pour la navigation à instruction verbale, mais avec un focus bas niveau peu commun. La publication, signée Ali Bustami et déposée sur arXiv en mai 2025 (2605.00397), ne présente pas encore de modèle baseline entraîné sur ces données, ce qui en limite la portée empirique immédiate : c'est un dataset, pas une preuve de performance. L'écosystème concurrent inclut Meta AI avec Habitat, Allen AI avec AI2-THOR et plusieurs benchmarks récents de Google DeepMind, mais aucun ne cible spécifiquement le LCOA avec commandes continues à 60 Hz sur plateforme NVIDIA. Le dataset est librement accessible sur HuggingFace (alibustami/miniVLA-Nav), en attente d'un modèle VLA de référence et d'expériences de transfert sim-to-real sur robot physique.

RechercheOpinion
1 source