Aller au contenu principal
GEM-Occ : de l'évidence géométrique visuelle à la mémoire d'occupation sémantique incarnéeIllustration générée par IA
RecherchearXiv cs.RO 

GEM-Occ : de l'évidence géométrique visuelle à la mémoire d'occupation sémantique incarnée

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Résumé rédigé pour l'article scientifique arXiv 2607.05543 (GEM-Occ / HIOcc) :

Une équipe de recherche publie GEM-Occ, un nouveau système de mémoire spatiale pour agents robotiques évoluant en intérieur, accompagné de HIOcc, un benchmark qui unifie trois jeux de données de référence : ScanNet, ScanNet++ et Matterport3D, sous un format commun d'occupation sémantique creuse. Contrairement aux approches existantes limitées à la prédiction sur une seule vue ou à la perception au niveau d'une pièce, HIOcc évalue la cartographie sémantique sur trois échelles : locale, au niveau de la pièce en temps réel, et au niveau du bâtiment entier à partir de vues panoramiques connectées. GEM-Occ, de son côté, traite les prédictions de géométrie visuelle comme des preuves transitoires plutôt que comme un état de carte persistant : il les convertit en évidence d'occupation gaussienne sémantique et en évidence de rayons d'espace libre, puis les fusionne dans une mémoire hiérarchique via des mises à jour causales tenant compte de la visibilité et de l'incertitude. Cette mémoire s'organise en caches locaux, sous-cartes par pièce et graphe à l'échelle du bâtiment, interrogeable à tout moment par splatting gaussien vers occupation.

Cette publication s'attaque à un angle mort réel de la navigation robotique en intérieur : la plupart des méthodes actuelles de cartographie sémantique tiennent bien sur une pièce isolée mais se dégradent sur des environnements connectés de grande taille, typiquement les bâtiments à plusieurs étages qu'un robot de service ou un agent domestique doit mémoriser durablement. En démontrant une amélioration mesurable sur la stabilité de carte en ligne, la cohérence lors de revisites de lieux déjà explorés, et le raisonnement sur l'espace libre, GEM-Occ répond directement à un écart connu entre démonstrations en laboratoire sur environnement unique et déploiement réel multi-pièces. Pour les équipes qui conçoivent des piles de perception pour robots mobiles autonomes (AMR) ou humanoïdes destinés à des environnements industriels ou domestiques complexes, ce travail suggère qu'une mémoire hiérarchique explicite pourrait remplacer avantageusement les représentations par nuage de points classiques, plus coûteuses à maintenir sur le long terme.

Le travail s'inscrit dans la lignée des recherches sur l'occupation sémantique, un champ qui a longtemps privilégié la prédiction ponctuelle à partir d'une image RGB-D unique, sans traiter la question de la mémoire persistante à l'échelle d'un bâtiment. GEM-Occ se positionne face aux méthodes de cartographie basées sur des représentations gaussiennes ainsi qu'aux baselines d'occupation indoor existantes, qu'il dépasse selon les auteurs sur l'ensemble des régimes d'évaluation de HIOcc. La publication de ce benchmark unifié, s'appuyant sur trois jeux de données déjà largement utilisés par la communauté (ScanNet, ScanNet++, Matterport3D), devrait faciliter les comparaisons futures entre approches de cartographie sémantique et accélérer les travaux sur la navigation longue durée des agents incarnés, un prérequis pour tout déploiement robotique au-delà du prototype de laboratoire.

Dans nos dossiers

À lire aussi

UniFlowWAM : un modèle unifié du monde et de l'action, fondé sur la sémantique visuelle et la géométrie 4D
Illustration générée par IA
1arXiv cs.RO 

UniFlowWAM : un modèle unifié du monde et de l'action, fondé sur la sémantique visuelle et la géométrie 4D

UniFlowWAM, un modèle publié sur arXiv (2610.30991) par une équipe de recherche, traite le flot de scène 3D, c'est-à-dire le suivi de points 3D de la scène dans le temps, comme une troisième modalité à part entière, au même niveau que la vision et l'action. Il s'agit d'un diffusion transformer avec un expert par modalité, les trois échangeant via une attention conjointe. L'entraînement repose sur une grille de dix objectifs où chaque modalité reçoit l'un de trois rôles: cible, condition ou absente. Un même modèle peut ainsi servir de politique, de dynamique directe ou inverse, et de prédicteur de caractéristiques visuelles futures ou de flot 3D. Les tests couvrent trois benchmarks en simulation et quatre tâches bimanuelles réelles. Sur RoboCasa-GR1, le taux de succès passe de 52,1 % à 56,4 % par rapport au modèle de base sans flot. Sur LIBERO, il reste à 98,1 % en distribution, et atteint 87,7 % en zero-shot sur LIBERO-Plus. Sur robot réel, la moyenne atteint 87,0 %, contre 68,5 % pour la meilleure référence. L'intérêt tient à la place donnée à la géométrie 4D. Les démonstrations robotiques enregistrent ce que le robot voit et fait, mais pas la manière dont le monde 3D évolue entre les deux. Jusqu'ici, le flot servait de prédiction intermédiaire convertie en actions par un autre modèle, d'a priori injecté à l'inférence, ou de sortie auxiliaire apprise avec l'action. Dans tous les cas il restait extérieur à la politique. Le gain de 4,3 points en simulation est modeste, et celui du robot réel (+18,5 points) est le résultat le plus marquant, mais il repose sur seulement quatre tâches, sans indication ici sur le nombre d'essais, la nature des baselines ni la variance. Le score de 98,1 % sur LIBERO confirme surtout que ce benchmark est saturé, alors que LIBERO-Plus, qui introduit des perturbations, est plus discriminant. Pour un intégrateur, il s'agit d'un résultat de recherche et non d'un produit, sans données de temps de cycle, de coût ni de déploiement. Ce travail s'inscrit dans la vague des modèles monde-action, qui prolongent les politiques vision-langage-action (VLA) en leur adjoignant une prédiction de l'avenir, et dans la lignée des méthodes exploitant le flot comme signal intermédiaire. Il se positionne face aux approches où le flot reste un module séparé, et face aux VLA généralistes qui s'appuient uniquement sur l'image et l'action. La formulation à rôles interchangeables laisse envisager un modèle unique réutilisable pour la planification, la simulation et le contrôle. Les prochaines étapes à surveiller sont la validation sur davantage de tâches réelles, la mise à l'échelle des données et une évaluation indépendante, car l'article n'annonce ni pilote ni calendrier de déploiement.

RecherchePaper
1 source
De la vidéo humaine égocentrique à la manipulation robotique à l'ère de l'IA incarnée
Illustration générée par IA
2arXiv cs.RO 

De la vidéo humaine égocentrique à la manipulation robotique à l'ère de l'IA incarnée

Une nouvelle revue de la littérature publiée sur arXiv (2611.13610) propose de structurer un champ en pleine expansion qu'elle baptise « Ego2Robot learning » : l'apprentissage ou l'adaptation de politiques de manipulation robotique à partir de vidéos humaines égocentriques (EHV). Ces vidéos, filmées depuis le point de vue de la personne, capturent les interactions main-objet (HOI) de près ainsi que la structure temporelle des activités quotidiennes. Les auteurs les présentent comme une source d'expérience potentiellement extensible, mais sans actions robot enregistrées. Ils classent les approches en quatre paradigmes : le transfert explicite d'embodiment (conversion en démonstrations au format robot), la supervision explicite d'actions et de tâches (signaux interprétables), le préentraînement de représentations visuelles égocentriques, et la modélisation latente des actions et de la dynamique (modèles prédictifs). La revue recense aussi les jeux de données de référence, couvrant vidéos humaines, démonstrations robot et ressources synthétiques ou simulées. Il s'agit d'un travail de synthèse : aucun nouveau robot, chiffre de performance ou déploiement n'est annoncé. L'enjeu pratique est le coût de la donnée. La téléopération de robots reste lente et chère, alors que la vidéo humaine existe en très grands volumes. Les modèles VLA et les politiques généralistes dépendent de données d'actions que peu d'acteurs peuvent produire à l'échelle. La revue souligne toutefois que la valeur de la vidéo humaine dépend de deux facteurs : l'information de tâche réellement préservée, et l'ancrage spécifique au robot (grounding) utilisé à l'entraînement ou au déploiement. Autrement dit, la vidéo seule ne suffit pas, et un écart de morphologie, de point de vue et d'espace d'action subsiste. Pour un intégrateur ou un décideur industriel, cela tempère les promesses d'un apprentissage « en regardant des humains » : ce levier réduit le besoin de données robot, sans le supprimer. Cela invite à examiner, pour chaque fournisseur, quel paradigme il emploie et quelles données robot restent nécessaires pour calibrer le système. Cette synthèse s'inscrit dans la course aux données d'entraînement pour la manipulation, où les acteurs américains et chinois (Tesla, Figure, Physical Intelligence, NVIDIA, entre autres) mobilisent à la fois téléopération, simulation et vidéo humaine, sans que ces choix soient détaillés ici. Les auteurs identifient cinq défis ouverts : la faisabilité physique des mouvements appris, la coordination entre agents, l'adaptation en contexte, l'évaluation contrôlée, et le contrôle prédictif. Le dernier point rejoint un problème connu du secteur, l'absence de protocoles d'évaluation comparables entre laboratoires, qui rend difficile la distinction entre démonstration sélectionnée et capacité reproductible. Les suites probables sont des benchmarks plus standardisés et des modèles qui combinent plusieurs paradigmes, mais la revue ne fixe ni calendrier ni pilote industriel.

RecherchePaper
1 source
Mem2Ego : la mémoire globale vers égocentrique pour la navigation incarnée à long horizon
Illustration générée par IA
3arXiv cs.RO 

Mem2Ego : la mémoire globale vers égocentrique pour la navigation incarnée à long horizon

Mem2Ego, un framework de navigation robotique fondé sur les modèles vision-langage (VLM), a été republié le 17 septembre 2026 en version 3 sur arXiv (arXiv:2502.14254), remplaçant une version antérieure du même article de recherche. Le système s'attaque à la navigation incarnée à long horizon : un agent robotique doit explorer un environnement inconnu en combinant raisonnement de sens commun et raisonnement spatial. Concrètement, Mem2Ego associe une mémoire globale, sous forme de carte sémantique ou topologique, à des observations égocentriques en première personne captées par le robot, en récupérant dynamiquement les indices pertinents pour la tâche en cours et en les fusionnant avec la perception locale. L'équipe a évalué la méthode sur deux benchmarks de référence en navigation simulée, HSSD (Habitat Synthetic Scenes Dataset) et HM3D (Habitat-Matterport 3D), ainsi que sur un robot réel, ce qui distingue cette publication de nombreux travaux purement simulés. L'enjeu dépasse la seule performance sur benchmark. Les approches fondées uniquement sur des LLM traduisent la mémoire globale en descriptions textuelles, ce qui fait perdre l'information géométrique et pénalise le raisonnement spatial dans des environnements complexes. À l'inverse, les approches VLM purement égocentriques traitent la navigation comme un problème de décision partiellement observé, faute de vision d'ensemble, ce qui conduit à des choix sous-optimaux. En articulant les deux, Mem2Ego répond à une limite concrète et documentée du secteur de la navigation incarnée, où le compromis entre représentation langagière et perception directe reste un point de friction pour les intégrateurs travaillant sur des agents autonomes en environnement inconnu. Les auteurs annoncent un gain « significatif » par rapport à l'état de l'art antérieur sur HSSD et HM3D, sans détailler de chiffres précis dans le résumé, une formulation à prendre avec prudence tant qu'aucune métrique chiffrée n'est publiée. Le travail s'inscrit dans la lignée des recherches combinant LLM et VLM pour l'exploration robotique, un domaine où la tension entre cartes sémantiques textuelles et perception visuelle directe alimente plusieurs lignes de recherche concurrentes. La validation sur robot réel, en plus des environnements simulés HSSD et HM3D, suggère une volonté de dépasser le stade purement algorithmique, sans que l'article ne précise de calendrier de déploiement ni de partenariat industriel à ce stade.

RecherchePaper
1 source
OptiSight : relier le raisonnement sémantique au contrôle géométrique pour la navigation incarnée
Illustration générée par IA
4arXiv cs.RO 

OptiSight : relier le raisonnement sémantique au contrôle géométrique pour la navigation incarnée

Une prépublication arXiv (2608.23354v1, signée par le développeur avanalperen) présente OptiSight, un framework hybride de navigation autonome en intérieur qui associe raisonnement par modèle vision-langage (VLM) et asservissement visuel déterministe, via une architecture en chaîne de pensée organisée comme un automate à états finis. Grounded-SAM se charge de localiser des cibles en vocabulaire ouvert, tandis que la géométrie de projection caméra traduit directement les observations visuelles en commandes de navigation, sans nécessiter de cartographie dense de l'environnement. Le VLM n'est interrogé qu'aux points de décision clés du parcours, le contrôle géométrique prenant le relais en continu entre deux requêtes pour limiter la charge de calcul. Testé dans le simulateur AI Habitat, le système assure une navigation en zero-shot fiable face à l'évitement d'obstacles et à l'ambiguïté sémantique, dans un budget de seulement 8 Go de VRAM, avec un code source publié en open source sur GitHub. Cette architecture tranche avec la tendance dominante des modèles vision-langage-action (VLA) entraînés de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, gourmands en données et en puissance de calcul. En limitant les appels au VLM aux seuls moments de décision et en confiant la navigation continue à un contrôle géométrique classique, OptiSight vise une solution plus légère et plus interprétable, potentiellement adaptée à des plateformes mobiles disposant de ressources embarquées modestes. Pour les intégrateurs d'AMR et de robots de service en intérieur, cela illustre une piste alternative pour relier compréhension sémantique de haut niveau et contrôle géométrique bas niveau sans dépendre d'un unique modèle massif ni d'un SLAM dense. Les résultats restent toutefois cantonnés à la simulation, sans validation rapportée sur robot physique, laissant ouverte la question du transfert vers le monde réel. OptiSight s'inscrit dans une lignée de travaux combinant segmentation en vocabulaire ouvert, héritée de Grounding DINO et Segment Anything via Grounded-SAM, et raisonnement multimodal appliqué à la navigation robotique, plutôt que dans la vague des modèles VLA propriétaires développés par les grands acteurs de la robotique humanoïde et de manipulation. Publié comme simple prépublication académique, sans affiliation industrielle mise en avant, le projet se distingue par la mise à disposition immédiate de son code sur GitHub, une pratique courante en recherche mais plus rare chez les acteurs commerciaux. Les suites habituelles pour ce type de travaux, tests sur plateformes physiques et comparaison chiffrée avec les architectures VLA de référence, restent pour l'instant absentes de cette première publication.

RecherchePaper
1 source