MultiFly : un jeu de données aérien multimodal en conditions réelles, avec transfert d'étiquettes économe en annotations et cohérence sémantique intermodale

Des chercheurs publient MultiFly, un jeu de données aérien réel, acquis à basse altitude par drone, qui couvre quatre modalités capteurs (RGB, thermique, LiDAR et radar) pour la perception sémantique. Il compte 17 272 échantillons synchronisés, collectés sur quatre scènes périurbaines. Chaque image est annotée image par image selon 15 classes sémantiques, avec calibration et mesures GNSS-RTK/IMU. Seules 115 images RGB sont annotées à la main. Leurs étiquettes sont propagées vers les autres modalités par des représentations géométriques partagées. Cela produit des labels pour 17 157 images RGB supplémentaires, 17 272 images thermiques, 840 millions de points LiDAR et 3,4 millions de points radar. Les auteurs annoncent 89,93 % d'accord moyen avec des annotations manuelles mises de côté, et 90,94 % de cohérence sémantique moyenne sur les six paires de modalités. Le jeu de données est disponible sur GitHub (markus-42/multifly).

L'enjeu est d'abord économique. Annoter à la main du LiDAR dense, des nuages radar épars et de l'imagerie thermique coûte cher et produit des étiquettes peu cohérentes d'un capteur à l'autre. Le ratio ici est d'environ une image annotée à la main pour 150 échantillons. S'il tient hors du périmètre des quatre scènes, la méthode abaisse nettement le coût de construction de jeux multimodaux. Les chiffres d'accord restent toutefois à relativiser. Ils mesurent la fidélité de la propagation par rapport à des annotations manuelles, sur un échantillon restreint de quatre environnements périurbains, et non la robustesse en conditions variées, par exemple de nuit, par mauvais temps ou en zone dense. Les premiers benchmarks de segmentation sémantique sur les quatre modalités montrent des comportements d'architecture distincts entre le LiDAR dense et le radar épars. Cela indique que les modèles conçus pour l'un se transposent mal à l'autre. Pour les intégrateurs de drones d'inspection, de surveillance ou de logistique, un corpus multimodal commun à la fois thermique, radar et LiDAR répond à un besoin concret de perception tout-temps.

Les jeux de données aériens existants se limitent en général à une ou deux modalités, le plus souvent RGB seul ou RGB plus thermique, ou bien sont synthétiques. Les auteurs affirment que MultiFly est le premier benchmark aérien public réel à basse altitude qui combine des annotations sémantiques cohérentes image par image pour ces quatre capteurs. Cette revendication de primauté vient des auteurs eux-mêmes et n'a pas été vérifiée de façon indépendante. Il s'agit d'une publication de recherche sur arXiv, sans produit commercialisé ni déploiement industriel associé. La suite logique est l'adoption du jeu de données par la communauté, avec des modèles de fusion multimodale entraînés dessus, ainsi qu'une extension à davantage de scènes, de classes et de conditions météo. Cela permettrait de tester la généralisation de la propagation d'étiquettes à plus grande échelle.