RecherchearXiv cs.RO 14 juillet 2026

Can we Trust Unreliable Voxels ? Exploration de la prédiction d'occupation sémantique 3D face au bruit d'étiquetage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente OccNL, le premier benchmark dédié à l'évaluation de la prédiction d'occupation sémantique 3D sous bruit d'annotation asymétrique et sous "traînées dynamiques", ainsi que DPR-Occ, une méthode conçue pour rester robuste face à ces défauts. Le papier, publié sur arXiv (2603.06279v2, version corrigée d'un texte déjà soumis), part d'un constat concret: dans les jeux de données réels de perception 3D par voxels, les annotations sont souvent corrompues par des artefacts structurels et par des effets de traînée liés aux objets en mouvement, ce qui fausse l'entraînement des modèles de perception. Les auteurs montrent que les techniques de gestion du bruit d'étiquetage qui fonctionnent bien en 2D s'effondrent totalement une fois transposées aux espaces voxels 3D, beaucoup plus épars. DPR-Occ répond à ce problème par un raisonnement à partir d'étiquettes partielles double source, combinant la mémoire temporelle du modèle et une mesure d'affinité structurelle au niveau des représentations, pour étendre puis élaguer dynamiquement les ensembles de labels candidats. Sur le benchmark SemanticKITTI, la méthode maintient des performances stables même à 90% de bruit d'étiquetage, avec des gains allant jusqu'à 2,57 points de mIoU et 13,91 points d'IoU par rapport aux méthodes de référence adaptées depuis la 2D. Code et benchmark seront publiés sur GitHub (mylwx/OccNL).

L'enjeu dépasse l'exercice académique: la prédiction d'occupation 3D est un composant central de la perception embarquée, aussi bien pour les véhicules autonomes que pour les robots mobiles (AMR) et, de plus en plus, pour la navigation des robots humanoïdes en environnement dynamique. Or les annotations 3D de terrain sont coûteuses et intrinsèquement imparfaites, notamment autour des objets mobiles. Démontrer qu'un système de perception peut rester fiable malgré un bruit d'étiquetage massif renforce la viabilité de pipelines d'entraînement moins dépendants d'annotations manuelles parfaites, un enjeu direct pour les intégrateurs qui doivent déployer ces systèmes en sécurité.

SemanticKITTI, dérivé du jeu de données KITTI de l'université de Karlsruhe, reste la référence pour la segmentation sémantique LiDAR en conduite autonome, ce qui inscrit ce travail dans la lignée des efforts de robustesse en perception embarquée plutôt que dans une logique de produit commercial. Les auteurs positionnent explicitement leur approche comme un pont entre les recherches en apprentissage sous bruit d'étiquetage, jusqu'ici centrées sur la 2D, et les besoins spécifiques de la perception 3D pour la robotique en environnement dynamique et safety-critical.

Impact France/UE

Le benchmark SemanticKITTI utilise provient de l'Institut de technologie de Karlsruhe en Allemagne, mais aucune entreprise ou réglementation française/européenne n'est directement impliquée dans cette étude.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

GEM-Occ : de l'évidence géométrique visuelle à la mémoire d'occupation sémantique incarnée

Résumé rédigé pour l'article scientifique arXiv 2607.05543 (GEM-Occ / HIOcc) : Une équipe de recherche publie GEM-Occ, un nouveau système de mémoire spatiale pour agents robotiques évoluant en intérieur, accompagné de HIOcc, un benchmark qui unifie trois jeux de données de référence : ScanNet, ScanNet++ et Matterport3D, sous un format commun d'occupation sémantique creuse. Contrairement aux approches existantes limitées à la prédiction sur une seule vue ou à la perception au niveau d'une pièce, HIOcc évalue la cartographie sémantique sur trois échelles : locale, au niveau de la pièce en temps réel, et au niveau du bâtiment entier à partir de vues panoramiques connectées. GEM-Occ, de son côté, traite les prédictions de géométrie visuelle comme des preuves transitoires plutôt que comme un état de carte persistant : il les convertit en évidence d'occupation gaussienne sémantique et en évidence de rayons d'espace libre, puis les fusionne dans une mémoire hiérarchique via des mises à jour causales tenant compte de la visibilité et de l'incertitude. Cette mémoire s'organise en caches locaux, sous-cartes par pièce et graphe à l'échelle du bâtiment, interrogeable à tout moment par splatting gaussien vers occupation. Cette publication s'attaque à un angle mort réel de la navigation robotique en intérieur : la plupart des méthodes actuelles de cartographie sémantique tiennent bien sur une pièce isolée mais se dégradent sur des environnements connectés de grande taille, typiquement les bâtiments à plusieurs étages qu'un robot de service ou un agent domestique doit mémoriser durablement. En démontrant une amélioration mesurable sur la stabilité de carte en ligne, la cohérence lors de revisites de lieux déjà explorés, et le raisonnement sur l'espace libre, GEM-Occ répond directement à un écart connu entre démonstrations en laboratoire sur environnement unique et déploiement réel multi-pièces. Pour les équipes qui conçoivent des piles de perception pour robots mobiles autonomes (AMR) ou humanoïdes destinés à des environnements industriels ou domestiques complexes, ce travail suggère qu'une mémoire hiérarchique explicite pourrait remplacer avantageusement les représentations par nuage de points classiques, plus coûteuses à maintenir sur le long terme. Le travail s'inscrit dans la lignée des recherches sur l'occupation sémantique, un champ qui a longtemps privilégié la prédiction ponctuelle à partir d'une image RGB-D unique, sans traiter la question de la mémoire persistante à l'échelle d'un bâtiment. GEM-Occ se positionne face aux méthodes de cartographie basées sur des représentations gaussiennes ainsi qu'aux baselines d'occupation indoor existantes, qu'il dépasse selon les auteurs sur l'ensemble des régimes d'évaluation de HIOcc. La publication de ce benchmark unifié, s'appuyant sur trois jeux de données déjà largement utilisés par la communauté (ScanNet, ScanNet++, Matterport3D), devrait faciliter les comparaisons futures entre approches de cartographie sémantique et accélérer les travaux sur la navigation longue durée des agents incarnés, un prérequis pour tout déploiement robotique au-delà du prototype de laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

STABLE : génération d'agencements de table prêts à la simulation via un système dual sémantique-physique

Une équipe de chercheurs a publié STABLE (arXiv:2605.16137), un système de génération automatique de scènes de table prêtes à la simulation à partir d'instructions textuelles. Le système repose sur une architecture duale composée de deux modules complémentaires : un Semantic Reasoner, un LLM fine-tuné sur un dataset structuré de scènes de table qui produit des dispositions d'objets grossières depuis les consignes de tâche, et un Physics Corrector, un modèle de débruitage basé sur les flux physiques qui calcule des mises à jour de pose pour corriger les arrangements invalides. Les deux modules s'alternent selon un paradigme de génération progressive, en étendant la scène des objets critiques pour la tâche vers les objets d'arrière-plan. Les expériences montrent que STABLE génère des scènes conformes aux instructions tout en améliorant significativement la validité physique par rapport aux méthodes existantes. Le problème ciblé est concret et documenté : lorsqu'on confie la génération de layouts 3D à des LLMs seuls, les objets se retrouvent fréquemment en collision ou en suspension, rendant les scènes inutilisables pour l'entraînement robotique. Pour les équipes travaillant sur des pipelines sim-to-real en manipulation de table, cette limite impose un post-traitement manuel coûteux. L'apport de STABLE est de séparer le raisonnement sémantique (ce qui doit être présent et où, logiquement) du raisonnement physique (comment corriger les positions pour que la scène soit simulable), plutôt que de charger un seul modèle des deux. C'est une réponse directe au sim-to-real gap dans la phase de génération de données, un verrou bien identifié dans la communauté Embodied AI. Cette publication s'inscrit dans une tendance plus large autour de la génération automatique d'environnements de simulation pour l'apprentissage robot, où des approches comme LayoutGPT avaient déjà montré que les LLMs raisonnent mal en coordonnées spatiales. STABLE ne revendique pas de déploiement industriel : c'est une contribution de recherche, avec des résultats expérimentaux sur benchmarks mais sans pipeline productionisé ni timeline commerciale annoncée. Les prochaines étapes naturelles seraient l'extension au-delà des surfaces planes et l'intégration dans des frameworks de génération de données pour la manipulation, comme ceux utilisés par les équipes travaillant sur des modèles VLA (Vision-Language-Action).

RecherchePaper

1 source

3arXiv cs.RO

« Des trajets aux étapes : distinguer la progression sémantique de l'exécution locale en navigation vision-langage »

Des chercheurs proposent Route2Step, un nouveau cadre pour la navigation vision-langage (VLN), la tâche où un agent doit suivre une instruction en langage naturel découpée en plusieurs étapes en s'appuyant uniquement sur ses observations visuelles égocentriques. Le problème identifié : les navigateurs actuels, basés sur des modèles vision-langage (VLM), supervisent à la fois le suivi de la progression sémantique dans l'instruction et l'exécution locale des mouvements via une seule prédiction de l'action suivante. Quand l'agent dévie de sa route, impossible alors de savoir s'il a mal identifié la sous-instruction en cours ou s'il a échoué à exécuter la bonne action, ce qui le laisse continuer à décider depuis un état de progression erroné. Route2Step sépare explicitement les deux via une interface au niveau des étapes : un module d'analyse d'instruction (MIA) prédit l'état de progression à partir de l'instruction globale et de l'historique visuel, tandis qu'un module de génération d'action (MAG) produit des séquences d'actions locales conditionnées sur cet état. Pour entraîner le premier module sans étiquetage temporel manuel, les auteurs introduisent E-SPA, une procédure qui aligne automatiquement chaque sous-instruction avec la portion correspondante des démonstrations de route. Sur le benchmark R2R-CE, le taux de réussite (SR) grimpe de 48,1% à 55,3% et le score SPL, qui pénalise les trajectoires inefficaces, de 43,3% à 48,2%, avec 190 000 exemples correctifs au niveau de l'état mais seulement 11 500 états directement supervisés par des labels d'action. Cette séparation entre "savoir où j'en suis dans l'instruction" et "savoir comment bouger" s'attaque à un problème structurel de l'entraînement en VLN : la confusion des signaux d'erreur. Pour les chercheurs en robotique mobile et les concepteurs d'agents suivant des instructions vocales ou textuelles, c'est une piste concrète pour fiabiliser des systèmes destinés à des usages comme la logistique en entrepôt, l'assistance domestique ou les robots de service guidés par la voix. Le gain en efficacité de supervision est notable : 11 500 états annotés par action suffisent là où l'approche classique exigerait un étiquetage massif de chaque trajectoire, un signal encourageant pour réduire le coût d'entraînement de ces agents avant tout déploiement réel. Ce travail s'inscrit dans la lignée des benchmarks de navigation continue en environnement 3D, dont R2R-CE (Room-to-Room, Continuous Environments) sert de référence standard pour évaluer des agents suivant des instructions pas à pas dans des scènes réalistes. Les approches précédentes, fondées sur des VLM entraînés par prédiction d'action unique, butaient sur l'ambiguïté que Route2Step cherche à lever. Les auteurs ne se limitent pas à la simulation : des expériences en environnements réels, intérieurs et extérieurs, viennent appuyer l'applicabilité pratique du système, une étape que peu de travaux académiques sur le VLN franchissent. Le code et les démonstrations sont disponibles sur la page du projet, sisyphus-hxy.github.io/Route2Step.

RecherchePaper

1 source

4arXiv cs.RO

RESample : un cadre robuste d'augmentation de données par échantillonnage exploratoire pour la manipulation robotique

Les modèles Vision-Language-Action (VLA), entraînés par apprentissage par imitation sur de vastes jeux de démonstrations, pilotent aujourd'hui la plupart des systèmes de manipulation robotique avancés. Mais ces jeux de données ne contiennent presque exclusivement que des trajectoires réussies : dès qu'un robot déployé s'écarte légèrement du scénario appris, ce décalage de distribution le pousse vers des situations d'échec pour lesquelles il n'a jamais vu d'exemple de correction. Des chercheurs proposent RESample, un cadre d'augmentation de données guidé par la couverture, qui vient combler ce trou. La méthode entraîne une fonction de couverture conservatrice capable de repérer les modes d'échec plausibles dans le monde réel mais absents des démonstrations standard, puis génère par échantillonnage exploratoire des séquences où le robot s'écarte volontairement de la trajectoire avant d'exécuter une action de récupération. Ces trajectoires synthétiques enrichissent le jeu d'entraînement initial. Sur le benchmark LIBERO et sur des tâches réelles de manipulation, RESample améliore systématiquement le taux de réussite des politiques, avec un gain absolu allant jusqu'à 12 points, pour un surcoût de données limité à 20% du jeu de départ. L'enjeu dépasse la performance brute : c'est le problème classique du "reality gap" entre démonstrations et déploiement qui est directement attaqué. Un bras robotique piloté par un VLA finit toujours, en usage réel, par dévier légèrement de sa trajectoire d'apprentissage, à cause du bruit capteur, d'un objet mal positionné ou d'une variation de lumière. Sans exemples de récupération, ces déviations s'accumulent jusqu'à l'échec complet de la tâche. En automatisant la génération de ces scénarios correctifs, plutôt qu'en s'appuyant sur du télé-opérateur humain coûteux pour les enregistrer, RESample s'attaque à un vrai goulot d'étranglement pour l'industrialisation des VLA en environnement industriel ou logistique, où la fiabilité prime sur la démonstration en conditions idéales. Ce travail s'inscrit dans une lignée de recherches récentes sur la robustesse des politiques d'imitation, aux côtés d'approches comme les corrections DAgger ou les méthodes de fine-tuning par renforcement appliquées à des modèles de type Pi-0 ou GR00T N2. La publication, une version révisée (v4) d'un article arXiv d'octobre 2025, ne mentionne pas de partenariat industriel ni de déploiement commercial: il s'agit d'un résultat de laboratoire, validé en simulation (LIBERO) et sur un nombre limité de tâches réelles, dont l'ampleur exacte n'est pas précisée dans le résumé.

RecherchePaper

1 source