RecherchearXiv cs.RO 25 juin 2026

ReaDy-Go : simulation dynamique réel-vers-sim par Gaussian Splatting 3D pour la navigation visuelle avec obstacles mobiles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent dans un preprint arXiv (référence 2602.11575, troisième version) un pipeline baptisé ReaDy-Go qui vise à combler l'écart simulation-réalité pour la navigation visuelle robotique en environnements dynamiques. Le principe : reconstruire une scène réelle cible (domicile, restaurant, usine) sous forme de nuage de gaussiennes 3D (Gaussian Splatting, ou GS), puis y insérer des avatars humains animables, eux aussi représentés en GS photoreáliste, dont les mouvements sont synthétisés à partir de trajectoires 2D. Un planificateur expert dédié aux représentations GS dynamiques, couplé à un planificateur humain, génère ensuite automatiquement des milliers de scénarios de navigation depuis des points de vue arbitraires. Les politiques de navigation entraînées sur ces datasets sont ensuite déployées sur robot physique. Les auteurs rapportent des gains de performance en simulation et en conditions réelles face à des obstacles mobiles, ainsi qu'un transfert zero-shot dans un environnement inédit, ce qui suggère une capacité de généralisation au-delà des scènes d'entraînement.

L'enjeu industriel est significatif pour les intégrateurs de robots de service et les concepteurs de systèmes AMR (autonomous mobile robots) en environnements non contrôlés. Le verrou principal que ReaDy-Go cherche à lever est double : les méthodes classiques souffrent d'un sim-to-real gap important parce que les scènes d'entraînement sont génériques, et les obstacles dynamiques y sont soit absents, soit représentés par des mannequins non photoréalistes issus de simulateurs comme Isaac Sim ou Gazebo. En ancrant la simulation dans une reconstruction GS de l'environnement cible réel et en peuplant cette scène d'avatars humains photoréalistes et cinématiquement plausibles, l'approche réduit la distance de distribution entre entraînement et déploiement. Il s'agit d'une contribution méthodologique, pas d'un produit commercialisé ; les résultats restent à ce stade des démonstrations académiques, et les métriques annoncées (temps de cycle, taux de succès) gagneraient à être contextualisées par des conditions de test plus variées.

Le Gaussian Splatting a émergé comme technique de reconstruction 3D rapide et photoréaliste depuis les travaux de Kerbl et al. en 2023, et plusieurs groupes l'ont depuis exploré pour la simulation robotique, notamment pour la manipulation (voir les travaux de RoboGSim ou GaussianWorld). ReaDy-Go se distingue en ciblant la navigation en présence de piétons, un cas d'usage critique pour les robots de livraison indoor et les plateformes de service en espace public. Sur ce segment, les concurrents directs incluent les pipelines basés sur NeRF (plus lents à l'entraînement), les simulateurs procéduraux type NVIDIA Omniverse, et des approches comme UniSim ou HabitatSim. Aucun acteur européen n'est cité dans le preprint, mais des équipes comme Enchanted Tools (robotique de service, France) ou les labos de navigation de l'INRIA pourraient trouver dans ReaDy-Go une brique de simulation réutilisable. La page projet est accessible et le code pourrait être publié ; les prochaines étapes naturelles seraient des tests à plus grande échelle avec diversité de populations et d'environnements, et une intégration dans des stacks de navigation open-source comme Nav2.

Impact France/UE

Cette méthode de simulation photoréaliste à base de Gaussian Splatting pourrait être réutilisée par des équipes européennes de navigation robotique (INRIA, Enchanted Tools) pour réduire le sim-to-real gap sans dépendre de simulateurs propriétaires comme Isaac Sim ou NVIDIA Omniverse.

Dans nos dossiers

Enchanted Tools — Mirokaï NVIDIA Isaac & Cosmos AMR & automatisation d'entrepôt arXiv cs.RO

À lire aussi

1arXiv cs.RO

SplatSearch : navigation vers une image cible pour robots mobiles via 3D Gaussian Splatting et modèles de diffusion

Des chercheurs présentent SplatSearch, une nouvelle architecture de navigation robotique permettant à un robot mobile de retrouver un objet ou une personne spécifique à partir d'une seule image de référence, prise sous un angle arbitraire. Le système s'appuie sur des reconstructions 3D par Gaussian Splatting (3DGS) construites à partir de vues éparses, une technique bien moins gourmande en données que les reconstructions denses classiques. SplatSearch génère plusieurs points de vue synthétiques autour des objets candidats grâce à cette carte 3DGS, puis utilise un modèle de diffusion multi-vues pour compléter les zones manquantes des images rendues, ce qui permet une mise en correspondance robuste avec l'image cible. Une politique d'exploration de frontières a également été développée : elle combine le contexte visuel des vues synthétisées et le contexte sémantique de l'image but pour hiérarchiser les zones à explorer en priorité. Les auteurs rapportent des performances supérieures aux méthodes de référence actuelles, mesurées en taux de réussite et en longueur de chemin jusqu'au succès, sur des environnements domestiques photoréalistes et des tests en conditions réelles. Une étude d'ablation confirme la pertinence des choix de conception retenus. Cette avancée s'attaque à un problème central pour la robotique de service et l'inspection industrielle : la capacité d'un robot à localiser une cible précise dans un environnement inconnu, sans dépendre d'un scan 3D exhaustif préalable. La navigation par instance d'image (Instance Image Goal Navigation) est particulièrement exigeante lorsque l'image de référence est prise sous un angle très différent de celui du robot au moment de la recherche, un scénario fréquent en usage réel mais souvent contourné dans les benchmarks. En misant sur des reconstructions éparses complétées par diffusion plutôt que sur des cartes 3D denses coûteuses à construire, l'approche pourrait réduire le temps de calibration nécessaire au déploiement de robots de recherche et de récupération d'objets, un enjeu concret pour les intégrateurs travaillant sur des AMR en environnement domestique ou logistique. Le travail s'inscrit dans la lignée des recherches combinant 3D Gaussian Splatting et navigation robotique, une technique de rendu apparue en 2023 et rapidement adoptée pour la cartographie temps réel en raison de sa rapidité par rapport aux champs de radiance neuronaux (NeRF). SplatSearch se positionne face aux méthodes état de l'art existantes en IIN, qu'il dépasse selon les métriques de taux de réussite et de longueur de chemin rapportées dans l'article, republié en version 2 sur arXiv. Le papier ne précise pas de partenariat industriel ni de calendrier de déploiement commercial ; il s'agit à ce stade d'une contribution de recherche académique, validée par simulation et par des tests réels limités, sans indication d'un acteur français ou européen impliqué.

RecherchePaper

1 source

2arXiv cs.RO

SONG : une plateforme de simulation 3D en Gaussian Splatting photoréaliste pour évaluer la navigation sociale

Sortie automatisée de mouvements corporels complets à partir de ces trajectoires. Un chercheur propose SONG, une plateforme de simulation pour la navigation sociale robotique, construite sur le 3D Gaussian Splatting (3DGS), une technique de rendu photoréaliste qui reconstruit à la fois les scènes et les avatars humains évoluant dedans. Les piétons virtuels ne suivent pas des scripts fixes: leurs trajectoires sont générées par un grand modèle de langage de façon sémantiquement cohérente, puis converties en mouvements corporels continus via un générateur conditionné par trajectoire. Autour de cette plateforme, les auteurs construisent SONG-Bench, un ensemble de scénarios d'évaluation classés par niveau de difficulté, associé à une suite de métriques multidimensionnelles couvrant l'efficacité du déplacement, la sécurité et le respect des conventions sociales. Le travail est décrit dans un article déposé sur arXiv (2607.25219v1) comme une nouvelle soumission. L'enjeu dépasse le simple outil de test. Jusqu'ici, les simulateurs de navigation sociale souffraient d'un compromis frustrant: soit ils offraient des observations visuelles pauvres, soit ils manquaient d'avatars humains mobiles, soit leur rendu et le comportement des piétons restaient trop éloignés du réel pour valider des algorithmes de navigation guidés uniquement par la vision embarquée. En évaluant des méthodes de référence sur SONG-Bench, les auteurs tirent trois constats qui pèsent sur tout le secteur de la robotique mobile: la navigation sociale basée vision est loin d'être résolue, les modèles actuels présentent un déficit de sécurité plus criant encore que leurs manquements en étiquette sociale, et l'entraînement sur des données réelles compte davantage que la simple augmentation de la taille des modèles. Point notable, les auteurs montrent qu'un ajustement fin sur les données qu'ils ont constituées améliore concrètement le taux de réussite en conditions réelles, ce qui distingue cette contribution d'une simple démonstration en simulation. Ce travail s'inscrit dans une trajectoire de recherche qui est passée d'environnements 2D simplifiés à des cadres visuels plus exigeants, où le robot ne dispose que de sa caméra embarquée pour se comporter correctement en présence d'humains. Les auteurs présentent SONG comme un banc d'essai destiné à structurer la prochaine génération de recherches sur la navigation sociale visuelle, sans toutefois annoncer de partenariat industriel ou de déploiement au-delà du cadre académique à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Re³Sim : générer des données de simulation photoréalistes en 3D par transfert réel-vers-simulation pour la manipulation robotique

Cette annonce arrive du côté recherche académique plutôt que de l'industrie commerciale : une équipe présente RE³SIM, un système de simulation photoréaliste en 3D destiné à combler l'écart entre entraînement simulé et déploiement réel en robotique manipulatrice. Publié sur arXiv (version 4, remplaçant une précédente), le papier décrit un pipeline qui reconstruit fidèlement des scènes réelles grâce à des techniques avancées de reconstruction 3D et de rendu neuronal, permettant un rendu en temps réel de caméras virtuelles multi-angles au sein d'un simulateur physique. En s'appuyant sur des informations privilégiées pour générer efficacement des démonstrations expertes en simulation, puis en entraînant des politiques robotiques par apprentissage par imitation, les chercheurs rapportent un taux de réussite moyen supérieur à 58% en transfert "zero-shot" vers le réel, c'est-à-dire sans aucune donnée réelle utilisée pour l'entraînement, uniquement des données simulées. Ils ont aussi constitué un jeu de données de simulation à grande échelle pour tester la généralisation des politiques apprises sur des objets variés. Le résultat compte parce qu'il s'attaque directement à l'un des goulots d'étranglement les plus coûteux du secteur : la collecte de données réelles pour entraîner des robots manipulateurs, qui exige des opérateurs qualifiés et du matériel onéreux. Si le fossé sim-to-real (géométrique et visuel) peut être réduit de manière fiable grâce à des reconstructions photoréalistes plutôt qu'à des environnements simulés génériques, cela change la donne pour les intégrateurs et les équipes de R&D qui cherchent à multiplier les scénarios d'entraînement sans multiplier les essais physiques. Un taux de 58% en zero-shot reste toutefois modeste comparé aux standards de fiabilité industrielle, et mérite d'être lu comme une preuve de concept académique plutôt qu'une solution prête à l'emploi pour la production. RE³SIM s'inscrit dans la lignée des travaux récents sur les politiques vision-langage-action (VLA) et les pipelines d'apprentissage par imitation, un axe de recherche également poursuivi par des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T). La démarche real-to-sim-to-real, où l'on capture d'abord le monde réel avant de simuler dessus, distingue cette approche des simulateurs purement synthétiques et pourrait influencer les futurs outils de génération de données pour l'entraînement de robots. Le code et des démonstrations sont disponibles sur le site du projet (re3sim.github.io), signe que l'équipe cherche une adoption élargie par la communauté robotique plutôt qu'une simple publication isolée.

RecherchePaper

1 source

4arXiv cs.RO

Détection structurelle en temps réel pour la navigation intérieure par LiDAR 3D avec images en vue aérienne

Des chercheurs ont publié sur arXiv (arXiv:2603.19830v2) un pipeline de perception léger capable de détecter en temps réel les structures d'un environnement intérieur à partir de données LiDAR 3D, sans recourir à un GPU. Le principe : projeter le nuage de points 3D en images Bird's-Eye-View (BEV) 2D, puis appliquer un détecteur sur cette représentation compressée. L'équipe a comparé quatre approches de détection de structures (murs, couloirs, portes) : la transformée de Hough, RANSAC, LSD (Line Segment Detector) et un réseau YOLO-OBB (Oriented Bounding Box). Les expériences ont été conduites sur une plateforme robotique mobile standard équipée d'un single-board computer (SBC) à faible consommation. Résultat : YOLO-OBB est la seule méthode à satisfaire la contrainte temps réel de 10 Hz en bout de chaîne, là où RANSAC dépasse les budgets de latence et LSD génère une fragmentation excessive de segments qui sature le système. Un module de fusion spatiotemporelle stabilise les détections entre frames consécutives. L'intérêt opérationnel est direct pour les intégrateurs de robots mobiles autonomes (AMR) fonctionnant sur du matériel embarqué standard, typiquement des SBC ARM sans accélérateur dédié. Démontrer qu'un détecteur basé YOLO-OBB tient 10 Hz sur ce type de plateforme réduit le coût matériel des solutions de cartographie et navigation indoor, un verrou persistant dans le déploiement à grande échelle d'AMR en entrepôt ou en milieu hospitalier. L'approche BEV contourne également la complexité computationnelle des traitements de nuages de points 3D complets (méthodes de type PointNet, VoxelNet), qui restent prohibitifs hors GPU. La mise à disposition du code source et des modèles pré-entraînés facilite la reproductibilité et l'adaptation industrielle. Ce travail s'inscrit dans un courant de recherche actif visant à rendre la perception robotique robuste accessibles aux plateformes contraintes en ressources, en concurrence directe avec des approches comme les architectures 2D range-image ou les méthodes pillars (PointPillars). Sur le plan de la navigation indoor, il complète des stacks SLAM existants (Cartographer, RTAB-Map) en ajoutant une couche de détection structurelle explicite, utile pour la planification de trajectoires en espaces semi-structurés. Les prochaines étapes logiques incluent la validation sur des scénarios plus denses (open space vs couloirs étroits), ainsi que l'intégration dans des boucles de localisation et cartographie continues, où la stabilité temporelle du module de fusion sera mise à l'épreuve à plus grande échelle.

RecherchePaper

1 source