
C-DFF : diagnostics au niveau des concepts pour la parité des mécanismes dans la validation par simulation de la perception en conduite autonome
Des chercheurs proposent C-DFF (Concept-Decisive Feature Fidelity), un diagnostic de « parité de mécanisme » pour la validation par simulation de la perception en conduite autonome. À partir d'un système sous test (SUT) gelé, la méthode extrait les indices visuels qui ont décidé de sa sortie. Elle les projette dans un espace de concepts sémantiques commun, grâce à une segmentation prête à l'emploi, puis compare les vecteurs d'importance des concepts entre image réelle et image synthétique. Elle produit un score scalaire de parité et un diagnostic de déplacement de concepts, qui indique quels éléments de la scène deviennent plus ou moins décisifs en simulation. L'évaluation porte sur KITTI et Virtual KITTI 2, avec 2126 paires appariées et trois SUT gelés: une régression d'angle de volant, la détection de zone roulable de YOLOP et celle des marquages de voie de YOLOP. Il s'agit d'un travail académique publié sur arXiv. Il n'y a ni produit, ni déploiement, ni pilote industriel.
Valider un système de perception en simulation revient souvent à vérifier que ses sorties sont proches sur images réelles et synthétiques. Les auteurs soutiennent que cet accord ne prouve pas que le système s'appuie sur les mêmes preuves visuelles. Associé à des métriques de sortie propres à chaque tâche, C-DFF montre que les deux notions divergent. Pour des fonctions critiques en sécurité, la confiance accordée aux résultats de simulation peut donc être excessive. L'outil discrimine selon le SUT et fournit des résumés lisibles, utiles pour trier les cas de validation et déboguer un simulateur en repérant les concepts dont le poids diffère. Les limites sont nettes: un seul couple de jeux de données, trois modèles, et une segmentation tierce qui introduit ses propres biais. Le lien entre un score de parité et le comportement sur route n'est pas démontré.
Virtual KITTI 2 est un jumeau synthétique de KITTI, donc un banc d'essai naturel pour mesurer l'écart sim-to-real. Cet écart est classiquement évalué par la similarité des sorties ou des distributions d'images, sans regarder ce qui motive la décision du modèle. C-DFF y ajoute une couche d'explicabilité au niveau des concepts, que les auteurs présentent comme un complément aux workflows de vérification et validation. Les suites logiques seraient d'autres simulateurs, des tâches de détection ou de planification, et des architectures de bout en bout. Rien de tel n'est annoncé à ce stade.
Dans nos dossiers




