Aller au contenu principal
PRISM : jeu de données de compétences industrielles réelles, précis, riche en contacts et multimodalIllustration générée par IA
RecherchearXiv cs.RO 

PRISM : jeu de données de compétences industrielles réelles, précis, riche en contacts et multimodal

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publie PRISM (Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing), un jeu de données décrit dans un preprint arXiv (2608.17962v1) destiné à l'apprentissage robotique pour l'assemblage industriel. PRISM couvre plus de 25 tâches de manipulation, comme le branchement/débranchement de composants électroniques ou le tri sur convoyeur, avec des contraintes mécaniques variées. Il contient plus de 5 000 trajectoires, soit 45 heures de démonstrations en téléopération, enregistrées avec des capteurs synchronisés : vision RGB-D multi-vues, force/couple, tactile et état du robot. Le jeu de données est publié en open source sur le site des auteurs (tengbo-yu.github.io/PRISM), sans partenaire industriel ni prix mentionnés.

Ce type de ressource cible un manque précis : la plupart des datasets de manipulation robotique existants, collectés en environnement domestique ou en laboratoire, se limitent à des tâches courtes et peu contraignantes comme le pick-and-place, sans capturer le contrôle de précision ni la régulation de force et de contact qu'exige l'assemblage industriel. Pour les intégrateurs et décideurs qui évaluent des bras robotiques ou des humanoïdes pour la ligne de production, PRISM fournit un benchmark réaliste pour entraîner et évaluer des politiques de manipulation multimodale sous contraintes de précision industrielle, un terrain où les modèles vision-langage-action généralistes échouent souvent hors laboratoire. Le signal à retenir est que la disponibilité de données de contact reste un goulot d'étranglement au moins aussi critique que la puissance des modèles pour fiabiliser la manipulation fine en usine.

La publication s'inscrit dans une tendance de fond du secteur : après plusieurs années de datasets généralistes axés sur la préhension d'objets du quotidien, la communauté de l'apprentissage robotique cherche à combler l'écart entre démonstrations de laboratoire et exigences réelles du manufacturing, où la tolérance aux erreurs de contact est quasi nulle. Aucune entreprise ni laboratoire commercial n'est cité dans l'abstract, ce qui situe PRISM du côté de la recherche académique ouverte plutôt que d'un produit prêt à déployer. Les auteurs présentent le dataset comme une fondation pour des travaux futurs sur la manipulation généralisable et riche en contacts, sans pilote industriel ni calendrier annoncés ; la suite logique serait son adoption par des équipes entraînant des modèles VLA pour l'assemblage.

À lire aussi

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état
Illustration générée par IA
1arXiv cs.RO 

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état

Des chercheurs publient GrandTour, un jeu de données massif dédié à la perception multimodale et à l'estimation d'état pour robots quadrupèdes, disponible sur grand-tour.leggedrobotics.com au format HuggingFace (indépendant de ROS) ainsi qu'en formats ROS. La plateforme utilisée est un ANYmal-D d'ANYbotics équipé de la charge utile capteurs Boxi, combinant LiDAR rotatif, plusieurs caméras RGB aux caractéristiques complémentaires, capteurs proprioceptifs et caméras de profondeur stéréo, le tout synchronisé temporellement. Les données ont été collectées sur des sites très variés : environnements alpins, forêts, bâtiments démolis et zones urbaines, couvrant une large gamme d'échelles, de conditions d'éclairage et de météo. Point clé pour la fiabilité scientifique : les trajectoires de référence (ground truth) proviennent de GNSS RTK par satellite et d'une station totale Leica Geosystems, offrant une précision de localisation bien supérieure aux méthodes d'estimation embarquées classiques. Selon les auteurs, il s'agit du plus grand jeu de données en accès libre jamais publié pour la robotique à pattes. Ce type de ressource comble un manque criant dans la recherche en robotique légère : jusqu'ici, aucun jeu de données public à grande échelle ne permettait de développer et de comparer rigoureusement des algorithmes de SLAM, d'estimation d'état et de fusion de capteurs pour des quadrupèdes évoluant en conditions réelles, hors laboratoire. Pour les équipes travaillant sur la navigation autonome de robots à pattes, en particulier dans des environnements non structurés (chantiers, sites industriels accidentés, terrains extérieurs), GrandTour offre un benchmark commun et une vérité terrain de précision géodésique, rare dans ce domaine. C'est un signal que la communauté cherche à standardiser l'évaluation des systèmes de perception embarqués, plutôt que de se fier à des démonstrations isolées difficiles à reproduire. Le projet s'inscrit dans la lignée des travaux du Robotic Systems Lab, à l'origine de la plateforme ANYmal, aujourd'hui commercialisée par ANYbotics, acteur suisse reconnu de la robotique quadrupède industrielle aux côtés de Boston Dynamics (Spot) et Unitree. La publication constitue une mise à jour (version 3) d'un article déposé sur arXiv sous la référence 2602.18164. Les auteurs annoncent la mise à disposition d'outils et de ressources de démonstration pour faciliter l'adoption du jeu de données par la communauté SLAM et apprentissage multimodal, sans toutefois préciser de calendrier pour d'éventuelles extensions futures du corpus.

UECe jeu de données en accès libre, issu du Robotic Systems Lab (ETH Zurich) et d'ANYbotics (Suisse), constitue une ressource directement utile aux équipes de recherche françaises et européennes travaillant sur le SLAM et l'estimation d'état pour robots a pattes.

RecherchePaper
1 source
MultiFly : un jeu de données aérien multimodal en conditions réelles, avec transfert d'étiquettes économe en annotations et cohérence sémantique intermodale
Illustration générée par IA
2arXiv cs.RO 

MultiFly : un jeu de données aérien multimodal en conditions réelles, avec transfert d'étiquettes économe en annotations et cohérence sémantique intermodale

Des chercheurs publient MultiFly, un jeu de données aérien réel, acquis à basse altitude par drone, qui couvre quatre modalités capteurs (RGB, thermique, LiDAR et radar) pour la perception sémantique. Il compte 17 272 échantillons synchronisés, collectés sur quatre scènes périurbaines. Chaque image est annotée image par image selon 15 classes sémantiques, avec calibration et mesures GNSS-RTK/IMU. Seules 115 images RGB sont annotées à la main. Leurs étiquettes sont propagées vers les autres modalités par des représentations géométriques partagées. Cela produit des labels pour 17 157 images RGB supplémentaires, 17 272 images thermiques, 840 millions de points LiDAR et 3,4 millions de points radar. Les auteurs annoncent 89,93 % d'accord moyen avec des annotations manuelles mises de côté, et 90,94 % de cohérence sémantique moyenne sur les six paires de modalités. Le jeu de données est disponible sur GitHub (markus-42/multifly). L'enjeu est d'abord économique. Annoter à la main du LiDAR dense, des nuages radar épars et de l'imagerie thermique coûte cher et produit des étiquettes peu cohérentes d'un capteur à l'autre. Le ratio ici est d'environ une image annotée à la main pour 150 échantillons. S'il tient hors du périmètre des quatre scènes, la méthode abaisse nettement le coût de construction de jeux multimodaux. Les chiffres d'accord restent toutefois à relativiser. Ils mesurent la fidélité de la propagation par rapport à des annotations manuelles, sur un échantillon restreint de quatre environnements périurbains, et non la robustesse en conditions variées, par exemple de nuit, par mauvais temps ou en zone dense. Les premiers benchmarks de segmentation sémantique sur les quatre modalités montrent des comportements d'architecture distincts entre le LiDAR dense et le radar épars. Cela indique que les modèles conçus pour l'un se transposent mal à l'autre. Pour les intégrateurs de drones d'inspection, de surveillance ou de logistique, un corpus multimodal commun à la fois thermique, radar et LiDAR répond à un besoin concret de perception tout-temps. Les jeux de données aériens existants se limitent en général à une ou deux modalités, le plus souvent RGB seul ou RGB plus thermique, ou bien sont synthétiques. Les auteurs affirment que MultiFly est le premier benchmark aérien public réel à basse altitude qui combine des annotations sémantiques cohérentes image par image pour ces quatre capteurs. Cette revendication de primauté vient des auteurs eux-mêmes et n'a pas été vérifiée de façon indépendante. Il s'agit d'une publication de recherche sur arXiv, sans produit commercialisé ni déploiement industriel associé. La suite logique est l'adoption du jeu de données par la communauté, avec des modèles de fusion multimodale entraînés dessus, ainsi qu'une extension à davantage de scènes, de classes et de conditions météo. Cela permettrait de tester la généralisation de la propagation d'étiquettes à plus grande échelle.

RecherchePaper
1 source
CRISP : plateforme de simulation robotique riche en contacts, avec géométries étendues et solveurs de contact
Illustration générée par IA
3arXiv cs.RO 

CRISP : plateforme de simulation robotique riche en contacts, avec géométries étendues et solveurs de contact

Des chercheurs du laboratoire INRoL publient CRISP (Contact-RIch Simulation Platform), un nouveau moteur physique dédié a la simulation haute fidélité des interactions multi-contacts, pense en particulier pour la manipulation robotique a tolérances serrées. Le papier, mis en ligne sur arXiv sous la référence 2609.21761v1 en septembre 2026, décrit un moteur combinant une détection de collision fondée sur l'optimisation, compatible avec des représentations géométriques variées, et des solveurs de contact bases sur le lagrangien augmente, présentes comme plus robustes que les approches classiques. Les auteurs affirment résoudre les contraintes multi-contacts sans recourir aux relaxations numériques qui dégradent habituellement la précision des simulateurs existants. Le code est disponible publiquement sur GitHub a l'adresse github.com/INRoL/crisp. La fidélité physique de CRISP est validée par comparaison avec des plateformes de simulation de référence, puis illustrée sur des scenarios de manipulation robotique complexes, sans que le résume ne publie de chiffres précis de performance comme le temps de calcul ou le nombre de contacts simultanés gérés. La simulation reste le principal goulot d'étranglement pour l'entrainement de politiques de manipulation fine, insertion, assemblage, prise en tolérance serrée, une étape jugée critique pour transférer des compétences du simulateur vers le robot réel. Les moteurs généralistes utilises aujourd'hui pour entrainer des politiques de type VLA ou par renforcement, tels que MuJoCo, PhysX dans Isaac Sim ou Bullet, arbitrent généralement entre richesse géométrique et stabilité numérique du solveur de contact, ce qui limite leur fidélité sur les taches d'assemblage fin. En ciblant simultanément ces deux axes, CRISP s'attaque a un angle mort souvent cite par les intégrateurs et laboratoires travaillant sur la manipulation dexterisee humanoïde ou industrielle, celui de l'écart entre une démonstration en simulation et un comportement fiable en conditions réelles. Un moteur plus fidèle sur les contacts intensifs pourrait améliorer la qualité des données synthétiques servant a entrainer des modèles de manipulation, un enjeu direct pour réduire le volume de démonstrations réelles nécessaires. CRISP s'inscrit dans une vague de nouveaux moteurs physiques conçus spécifiquement pour la robotique et l'entrainement de politiques d'IA, aux cotes d'outils établis comme MuJoCo et sa variante accélérée MJX, NVIDIA Isaac Sim base sur PhysX, Drake du MIT, ou des projets plus récents comme Genesis et SAPIEN. Contrairement aux annonces de robots humanoïdes commerciaux, CRISP est publie comme un travail de recherche académique, classe "new" sur arXiv et non encore revu par les pairs, plutôt que comme un produit commercial: aucune entreprise, aucun client industriel ni feuille de route de déploiement n'est mentionne. Sa mise en open source vise avant tout l'adoption par la communauté robotique comme brique de recherche reproductible, dans un contexte ou la fidélité des simulateurs devient centrale face a la multiplication des politiques de manipulation entraînées en simulation. Les prochaines étapes attendues concernent l'intégration a des pipelines d'entrainement plus larges et des comparaisons sur des benchmarks de manipulation standardises, sans calendrier précise dans l'article.

RecherchePaper
1 source
MAIA : anticiper les anomalies d'interaction dans la manipulation riche en contacts grâce à des modèles du monde multimodaux
Illustration générée par IA
4arXiv cs.RO 

MAIA : anticiper les anomalies d'interaction dans la manipulation riche en contacts grâce à des modèles du monde multimodaux

MAIA, présenté sur arXiv (2610.21686), est un framework multimodal qui vise à anticiper les anomalies d'interaction en manipulation riche en contacts, plutôt qu'à les détecter une fois qu'elles sont visibles. Son cœur est un modèle du monde vision-action-force. Il apprend la dynamique nominale de l'interaction et prédit les réponses visuelles et de force associées aux actions planifiées. Une tête de détection d'anomalies légère exploite ensuite ces prédictions pour signaler un dérapage imminent. Les auteurs publient aussi CRIA, un jeu de données réel de 2 852 trajectoires couvrant 18 tâches de manipulation avec contacts, annotées image par image pour le début et l'évolution des anomalies. Sur les tâches déjà vues, MAIA atteint une bACC (balanced accuracy, exactitude équilibrée) de 0,765 et une anticipation médiane de 28,0 pas. Sur des tâches inédites, la bACC est de 0,710 et l'anticipation médiane de 25,1 pas. Utilisées pour sélectionner les actions en tenant compte des anomalies, ces prédictions font passer le taux de réussite de bout en bout de 52,6 % à 61,5 %, sans réentraîner la politique de manipulation sous-jacente. L'enjeu pour l'industrie tient à la nature de la surveillance d'exécution actuelle, qui reste majoritairement réactive. Pour un intégrateur qui déploie des bras ou des humanoïdes sur de l'insertion, du vissage ou de l'assemblage, détecter un blocage ou un glissement après coup oblige à reprendre, à arrêter la ligne ou à faire intervenir un opérateur. Le gain de 9 points de réussite obtenu sans toucher à la politique montre qu'une couche d'anticipation peut se greffer sur des VLA ou des politiques existantes, ce qui est utile pour un décideur qui ne veut pas réentraîner un modèle en production. Le résultat est aussi prudent : une bACC de 0,71 à 0,77 reste loin du niveau d'un système de sécurité industriel, et un taux de succès de 61,5 % laisse un tiers des tâches en échec. Les résultats viennent d'un seul dataset, créé par les auteurs, et d'une évaluation académique sans cadence de production. Le fait que la performance baisse peu sur des tâches nouvelles est le point le plus encourageant pour la généralisation, mais il reste à confirmer sur d'autres plateformes. Le travail confirme aussi l'intérêt de la force comme modalité de premier plan, car la vision seule ne révèle que partiellement la physique du contact. Ce travail s'inscrit dans la montée des modèles du monde appliqués à la robotique, qui prédisent les conséquences futures des actions au lieu de seulement les imiter. Les politiques de type VLA comme Pi-0 ou GR00T se concentrent surtout sur la vision et le langage, avec peu de retour de force, et les méthodes de détection d'échecs publiées jusqu'ici réagissent généralement après l'apparition de la déviation. MAIA se place donc comme une couche de supervision complémentaire plutôt qu'un concurrent de ces politiques. Le papier est un preprint v1, sans annonce de déploiement industriel ni de calendrier de pilote. Les suites logiques seraient la publication du code et du dataset CRIA, des tests sur des plateformes et des capteurs de force variés, et un essai sur des tâches de longue durée où l'anticipation d'une trentaine de pas se traduirait en secondes réelles.

RecherchePaper
1 source