Aller au contenu principal
PRISM : jeu de données de compétences industrielles réelles, précis, riche en contacts et multimodal
RecherchearXiv cs.RO 

PRISM : jeu de données de compétences industrielles réelles, précis, riche en contacts et multimodal

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie PRISM (Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing), un jeu de données décrit dans un preprint arXiv (2608.17962v1) destiné à l'apprentissage robotique pour l'assemblage industriel. PRISM couvre plus de 25 tâches de manipulation, comme le branchement/débranchement de composants électroniques ou le tri sur convoyeur, avec des contraintes mécaniques variées. Il contient plus de 5 000 trajectoires, soit 45 heures de démonstrations en téléopération, enregistrées avec des capteurs synchronisés : vision RGB-D multi-vues, force/couple, tactile et état du robot. Le jeu de données est publié en open source sur le site des auteurs (tengbo-yu.github.io/PRISM), sans partenaire industriel ni prix mentionnés.

Ce type de ressource cible un manque précis : la plupart des datasets de manipulation robotique existants, collectés en environnement domestique ou en laboratoire, se limitent à des tâches courtes et peu contraignantes comme le pick-and-place, sans capturer le contrôle de précision ni la régulation de force et de contact qu'exige l'assemblage industriel. Pour les intégrateurs et décideurs qui évaluent des bras robotiques ou des humanoïdes pour la ligne de production, PRISM fournit un benchmark réaliste pour entraîner et évaluer des politiques de manipulation multimodale sous contraintes de précision industrielle, un terrain où les modèles vision-langage-action généralistes échouent souvent hors laboratoire. Le signal à retenir est que la disponibilité de données de contact reste un goulot d'étranglement au moins aussi critique que la puissance des modèles pour fiabiliser la manipulation fine en usine.

La publication s'inscrit dans une tendance de fond du secteur : après plusieurs années de datasets généralistes axés sur la préhension d'objets du quotidien, la communauté de l'apprentissage robotique cherche à combler l'écart entre démonstrations de laboratoire et exigences réelles du manufacturing, où la tolérance aux erreurs de contact est quasi nulle. Aucune entreprise ni laboratoire commercial n'est cité dans l'abstract, ce qui situe PRISM du côté de la recherche académique ouverte plutôt que d'un produit prêt à déployer. Les auteurs présentent le dataset comme une fondation pour des travaux futurs sur la manipulation généralisable et riche en contacts, sans pilote industriel ni calendrier annoncés ; la suite logique serait son adoption par des équipes entraînant des modèles VLA pour l'assemblage.

À lire aussi

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles
1arXiv cs.RO 

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

RechercheActu
1 source
GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état
2arXiv cs.RO 

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état

Des chercheurs publient GrandTour, un jeu de données massif dédié à la perception multimodale et à l'estimation d'état pour robots quadrupèdes, disponible sur grand-tour.leggedrobotics.com au format HuggingFace (indépendant de ROS) ainsi qu'en formats ROS. La plateforme utilisée est un ANYmal-D d'ANYbotics équipé de la charge utile capteurs Boxi, combinant LiDAR rotatif, plusieurs caméras RGB aux caractéristiques complémentaires, capteurs proprioceptifs et caméras de profondeur stéréo, le tout synchronisé temporellement. Les données ont été collectées sur des sites très variés : environnements alpins, forêts, bâtiments démolis et zones urbaines, couvrant une large gamme d'échelles, de conditions d'éclairage et de météo. Point clé pour la fiabilité scientifique : les trajectoires de référence (ground truth) proviennent de GNSS RTK par satellite et d'une station totale Leica Geosystems, offrant une précision de localisation bien supérieure aux méthodes d'estimation embarquées classiques. Selon les auteurs, il s'agit du plus grand jeu de données en accès libre jamais publié pour la robotique à pattes. Ce type de ressource comble un manque criant dans la recherche en robotique légère : jusqu'ici, aucun jeu de données public à grande échelle ne permettait de développer et de comparer rigoureusement des algorithmes de SLAM, d'estimation d'état et de fusion de capteurs pour des quadrupèdes évoluant en conditions réelles, hors laboratoire. Pour les équipes travaillant sur la navigation autonome de robots à pattes, en particulier dans des environnements non structurés (chantiers, sites industriels accidentés, terrains extérieurs), GrandTour offre un benchmark commun et une vérité terrain de précision géodésique, rare dans ce domaine. C'est un signal que la communauté cherche à standardiser l'évaluation des systèmes de perception embarqués, plutôt que de se fier à des démonstrations isolées difficiles à reproduire. Le projet s'inscrit dans la lignée des travaux du Robotic Systems Lab, à l'origine de la plateforme ANYmal, aujourd'hui commercialisée par ANYbotics, acteur suisse reconnu de la robotique quadrupède industrielle aux côtés de Boston Dynamics (Spot) et Unitree. La publication constitue une mise à jour (version 3) d'un article déposé sur arXiv sous la référence 2602.18164. Les auteurs annoncent la mise à disposition d'outils et de ressources de démonstration pour faciliter l'adoption du jeu de données par la communauté SLAM et apprentissage multimodal, sans toutefois préciser de calendrier pour d'éventuelles extensions futures du corpus.

UECe jeu de données en accès libre, issu du Robotic Systems Lab (ETH Zurich) et d'ANYbotics (Suisse), constitue une ressource directement utile aux équipes de recherche françaises et européennes travaillant sur le SLAM et l'estimation d'état pour robots a pattes.

RecherchePaper
1 source
Robot de sécurité pour l'inspection industrielle : un benchmark multimodal
3arXiv cs.RO 

Robot de sécurité pour l'inspection industrielle : un benchmark multimodal

Un consortium de recherche a publié InspecSafe-V1, présenté comme le premier benchmark multimodal dédié à l'évaluation de la sécurité pour l'inspection industrielle construit à partir de données réelles plutôt que simulées. Le jeu de données a été collecté auprès de 41 robots d'inspection, à roues ou montés sur rail, opérant sur 2 239 sites d'inspection valides, pour un total de 5 013 instances d'inspection. Cinq environnements industriels sont couverts : tunnels, installations électriques, équipements de frittage, sites pétrochimiques et gaziers, et convoyeurs à charbon sur chevalets. Chaque instance comprend une annotation de segmentation au pixel près des objets clés dans les images en lumière visible, une description sémantique de la scène, ainsi qu'un label de niveau de sécurité correspondant à des tâches d'inspection réelles. Le dataset intègre en outre sept modalités de capteurs synchronisées : vidéo infrarouge, audio, nuages de points de profondeur, nuages de points radar, mesures de gaz, température et humidité. Pour l'industrie de la maintenance prédictive et de l'inspection autonome, ce type de ressource comble un manque documenté : la plupart des jeux de données publics existants reposent sur des environnements simulés ou une seule modalité de capture, ce qui limite l'entraînement de modèles capables de raisonner de façon robuste sur des scènes industrielles complexes et dynamiques. En fournissant des annotations fines multi-capteurs issues de conditions opérationnelles réelles, InspecSafe-V1 vise à permettre l'entraînement et l'évaluation de modèles de fondation appliqués à l'industrie, avec des tâches de reconnaissance d'anomalies multimodale et de fusion cross-modale, un enjeu clé pour les intégrateurs qui cherchent à fiabiliser des systèmes de perception déployés sur des sites à risque (tunnels, sites pétrochimiques) où l'erreur de détection a un coût opérationnel élevé. Cette publication correspond à une nouvelle version (replace) d'un article déjà déposé sur arXiv, signe d'un travail de consolidation méthodologique plutôt que d'une annonce inédite. Le texte ne précise pas l'organisme ou l'entreprise à l'origine du déploiement des robots, ni si le dataset et son code seront rendus publics, deux éléments qui conditionneront son adoption effective par la communauté robotique et vision industrielle.

RecherchePaper
1 source
GO : le grand jeu de données multimodal sur la nature en plein air
4arXiv cs.RO 

GO : le grand jeu de données multimodal sur la nature en plein air

Le laboratoire Unmanned Systems Lab a publié en janvier 2025 le dataset GO (Great Outdoors), une ressource d'entraînement multimodale annotée destinée à la robotique de terrain en environnements non structurés. Sa caractéristique principale est la combinaison de six modalités sensorielles complémentaires, dont la caméra thermique et le radar, deux capteurs systématiquement absents des datasets off-road existants. L'ensemble est accompagné d'annotations sémantiques et de traces GPS, ce qui permet de l'exploiter pour l'entraînement à la segmentation sémantique, la détection d'objets et le SLAM (localisation et cartographie simultanées). L'article, référencé arXiv:2501.19274 et en troisième révision, ne précise pas le volume exact de données dans son abstract : la mention "large-scale" reste à vérifier dans le papier complet. Ce dataset comble une lacune réelle dans l'écosystème de la robotique outdoor : la quasi-totalité des benchmarks off-road disponibles, RUGD, RELLIS, YCOR, se limitent aux modalités RGB et LiDAR, qui deviennent inopérantes par brouillard dense, nuit ou fumée. L'ajout du thermique et du radar ouvre la voie à des systèmes de perception capables d'opérer en conditions dégradées, un prérequis pour les applications d'exploration autonome en milieux naturels, la robotique de secours post-catastrophe ou les véhicules tout-terrain militaires et civils. Pour les équipes de recherche et les intégrateurs industriels, disposer de données annotées multi-capteurs dans ces conditions représente un accélérateur concret pour le développement de modèles de perception robustes, sans avoir à monter leurs propres campagnes de collecte coûteuses. L'Unmanned Systems Lab, rattaché à une université américaine (Texas A&M University), est spécialisé depuis plusieurs années dans la robotique de terrain non structurée et la navigation autonome en extérieur. Le secteur compte quelques acteurs positionnés sur des niches proches : en France, aucun équivalent direct n'est recensé sur ce segment précis, bien que des laboratoires comme le LAAS-CNRS travaillent sur la navigation outdoor. Côté datasets concurrents, Boreas (University of Toronto) couvre des conditions hivernales avec radar et LiDAR, et le dataset TartanDrive (CMU) se concentre sur la dynamique off-road, GO se distingue par l'inclusion du thermique comme modalité de premier rang. Le dataset est téléchargeable sur unmannedlab.org ; aucune roadmap ni partenariat industriel annoncé à ce stade.

UELes équipes françaises travaillant sur la robotique outdoor (LAAS-CNRS notamment) peuvent exploiter ce dataset open-access pour accélérer leurs travaux sur la perception en conditions dégradées, sans monter leurs propres campagnes de collecte multi-capteurs coûteuses.

RecherchePaper
1 source