RecherchearXiv cs.RO 17 juin 2026

GASE : système automatisé basé sur le Gaussian Splatting pour la reconstruction d'environnements de simulation incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié fin juin 2026 un système baptisé GASE (Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments), conçu pour automatiser la construction de scènes de simulation photoréalistes destinées à l'entraînement de robots. Le pipeline exploite des réseaux de caméras panoramiques multivues pour capturer l'environnement réel, extrait automatiquement les objets de premier plan via une stratégie basée sur les poses de caméras dans le domaine 2D, puis reconstruit séparément objets et arrière-plan statique par 3D Gaussian Splatting avant de les importer dans un simulateur physique avec inpainting haute-fidélité des zones manquantes. Sur des benchmarks de segmentation, GASE surpasse les méthodes 3DGS concurrentes de plus de 10 %. Surtout, lors de déploiements réels sur des tâches de manipulation et de navigation, les politiques entraînées en simulation n'affichent qu'un écart de performance inférieur à 10 % par rapport à celles entraînées sur données réelles, arXiv:2606.17520.

Ce résultat chiffré est l'argument central du papier. Le sim-to-real gap, soit la dégradation des performances lors du passage du simulateur au robot physique, reste l'un des obstacles majeurs au déploiement à grande échelle de l'apprentissage robotique. Un écart sous les 10 % suggère que la simulation générée automatiquement depuis des scans réels peut constituer un vecteur de data augmentation viable, réduisant la dépendance à des opérateurs qualifiés et à du matériel coûteux pour la collecte terrain. Pour les intégrateurs et les industriels engagés dans des projets de manipulation ou de navigation autonome, la promesse est de compresser significativement le coût des pipelines d'entraînement, à condition que la méthode tienne à l'échelle et sur des environnements plus complexes que ceux testés.

GASE s'inscrit dans la trajectoire tracée par l'émergence du 3D Gaussian Splatting en 2023 comme alternative temps-réel aux NeRF pour la reconstruction de scènes. Les approches concurrentes, notamment SplatSim, Gaussian Grouping et les pipelines d'assets manuels dans Isaac Sim ou MuJoCo, progressent en parallèle, mais l'automatisation complète de l'acquisition jusqu'à l'import simulateur reste un problème ouvert. Le preprint ne mentionne ni institution ni partenaires industriels, ce qui rend difficile l'évaluation des perspectives de transfert applicatif. Le code doit être publié ultérieurement mais n'est pas encore disponible au moment de la soumission. Le périmètre limité des tâches testées et l'absence de comparaison avec des environnements synthétiques construits manuellement laissent plusieurs questions ouvertes à la communauté.

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

NavArena : construction automatisée de bancs d'essai de navigation orientés objectifs à partir de reconstructions par 3D Gaussian Splatting

Une équipe de recherche publie sur arXiv (arXiv:2609.04602v1, septembre 2026) NavArena, un framework automatisé qui transforme des reconstructions figées en 3D Gaussian Splatting (3DGS) en bancs d'essai pour la navigation visuelle orientée objectif. Le système combine trois briques techniques : un modèle 3DGS gelé pour le rendu RGB-D en vue égocentrique, une carte d'occupation dérivée de la densité des gaussiennes et de statistiques de hauteur pour évaluer la franchissabilité du terrain et détecter les collisions, et des candidats d'objectifs sémantiques extraits de masques multi-vues en vocabulaire ouvert. Ces composants permettent de générer automatiquement des épisodes de navigation et de les évaluer selon un protocole unifié en boucle fermée. Sur plus de 2 000 scènes, NavArena a généré 22,2 millions de trajectoires expertes. Les auteurs annoncent la publication publique de tous les outils de génération de benchmarks, des protocoles d'évaluation et des jeux de données dérivés. Le problème que résout NavArena est concret : les reconstructions 3DGS offrent des vues nouvelles photoréalistes mais manquaient jusqu'ici des contraintes de franchissabilité, des objectifs valides et des protocoles en boucle fermée nécessaires pour évaluer réellement une politique de navigation. En automatisant la construction de ces bancs d'essai à grande échelle, le framework répond à un goulot d'étranglement classique de la recherche en navigation embarquée et en IA incarnée, où la création manuelle de benchmarks réalistes reste coûteuse et peu reproductible. Pour les laboratoires qui entraînent des politiques de navigation visuelle sur robots mobiles ou AMR, l'intérêt est double : un volume massif de trajectoires expertes pour l'apprentissage, et une capacité diagnostique, les auteurs précisant que les tests de politiques (rollouts) servent surtout à démontrer la valeur diagnostique du protocole d'évaluation, plutôt qu'à afficher des scores flatteurs. NavArena s'inscrit dans la généralisation du 3D Gaussian Splatting comme technique de rendu rapide et photoréaliste, de plus en plus utilisée pour construire des environnements de simulation à partir de captures du monde réel, en remplacement des maillages synthétiques des bancs d'essai historiques bâtis sur des jeux de données comme Matterport3D. Ces reconstructions 3DGS existantes manquaient jusqu'ici de la couche sémantique et physique nécessaire à une évaluation de navigation rigoureuse, se limitant à la synthèse de vues. Aucune date de disponibilité publique n'est communiquée pour l'instant : seule l'intention de publier les outils de génération, les protocoles d'évaluation et les données dérivées est annoncée, sans calendrier ni partenaire de déploiement précisé.

RecherchePaper

1 source

2arXiv cs.RO

De l'exécution passive à l'exploration active : la manipulation incarnée à base d'agents en environnements réalistes

Une équipe de recherche publie sur arXiv (référence 2609.29091, catégorie "new", soumission datée du 29 septembre 2026 selon le numéro d'article) un framework agentique de manipulation robotique baptisé approche d'exploration active, conçu pour dépasser les limites des systèmes actuels qui exécutent passivement des instructions prédéfinies. L'architecture repose sur trois modules collaboratifs : un module de planification pour le raisonnement de tâche à haut niveau, un module de perception pour la compréhension de la scène visuelle, et un module d'exécution pour la manipulation bas niveau. Les auteurs y ajoutent une stratégie d'entrelacement fin entre perception et exécution, qui couple étroitement le retour visuel à l'exécution des compétences motrices pour renforcer la robustesse de l'exploration. Le système est testé sur une tâche appelée Find-and-Place dans un environnement qualifié de réaliste, où l'objet cible n'est pas visible au départ et doit être activement localisé avant d'être saisi et déposé, en présence de distracteurs et d'indices sémantiques textuels. L'abstract ne fournit ni chiffres de performance, ni comparaison quantitative avec des méthodes concurrentes, ni détails matériels comme le payload ou les degrés de liberté du bras utilisé : il s'agit à ce stade d'une publication de recherche, pas d'un produit ou d'un déploiement commercial. L'intérêt pour l'industrie robotique tient au problème ciblé plus qu'aux résultats chiffrés. La plupart des architectures agentiques embarquées actuelles, y compris certains modèles vision-langage-action déployés en usine ou en entrepôt, restent conçues pour exécuter des instructions dans un environnement largement observable dès le départ. Ce travail pointe une limite réelle et documentée du secteur : dès qu'une cible est cachée, mélangée à des distracteurs ou seulement décrite par du texte, ces systèmes échouent faute de stratégie d'exploration active. Pour les intégrateurs qui visent des cas d'usage domestiques ou logistiques avec désordre et occlusions partielles, ce type de recherche indique que le sujet de l'autonomie perceptive sous observabilité partielle reste ouvert, contrairement à l'idée reçue que les pipelines VLA actuels suffiraient à généraliser à toute scène réelle. Ce papier s'inscrit dans la lignée des travaux récents sur les systèmes agentiques à long horizon pour la manipulation, un axe de recherche actif depuis l'essor des modèles vision-langage-action capables de planification multi-étapes. Il ne cite pas d'acteur industriel ni de robot commercial précis, se positionnant comme une contribution méthodologique plutôt qu'une annonce produit. Aucun calendrier de transfert vers un système déployé, ni partenariat industriel, n'est mentionné à ce stade ; les suites logiques attendues seraient une extension à d'autres tâches de manipulation et une évaluation comparative face aux frameworks agentiques existants.

RecherchePaper

1 source

3arXiv cs.RO

BubbleCBF : une sécurité constructive pour les systèmes du second ordre, appliquée à la navigation de robots autonomes en environnement inconnu

Des chercheurs du laboratoire Existential Robotics proposent BubbleCBF, une méthode de filtrage de sécurité pour les systèmes de second ordre, c'est-à-dire ceux dont la commande agit sur l'accélération (robots mobiles, véhicules), publiée sur arXiv en version 1. Le principe part d'une fonction de distance signée (SDF) de l'environnement. À partir d'elle, le système construit des sphères sans collision, les « bulles », dans l'espace des positions. Leur géométrie quadratique et leur recouvrement servent à définir une contrainte de sécurité qui dépend de la vitesse. L'ensemble sûr obtenu est une union d'intersections, appliqué par un filtre de sécurité sous forme de programme quadratique (QP) qui corrige la commande nominale. Les auteurs démontrent, sous des hypothèses jugées modérées sur la dynamique, le recouvrement des bulles et les paramètres de conception, que le contrôleur est bien défini, continu par rapport à l'état et rend l'ensemble invariant vers l'avant. Ils donnent aussi des conditions suffisantes de faisabilité sous commandes bornées. La validation porte sur un robot à entraînement différentiel qui navigue de façon autonome dans des environnements inconnus. Des vidéos sont publiées sur le site du projet. L'article ne fournit pas de chiffres de performance dans son résumé. L'enjeu est un problème bien connu des intégrateurs. Une contrainte de position seule peut exiger une décélération irréalisable, car un robot lancé ne s'arrête pas instantanément. Les fonctions barrières de contrôle (CBF) d'ordre supérieur traitent ce cas en théorie, mais leur faisabilité dépend de la dynamique et de l'autorité de commande disponible, ce qui les rend fragiles en pratique. L'approche est dite constructive : elle fournit une recette de conception avec garanties, au lieu d'un réglage empirique de paramètres. Pour un décideur industriel, cela compte pour les AMR et les plateformes mobiles qui doivent certifier un comportement sûr à des vitesses réalistes, y compris dans des lieux mal cartographiés. Il faut toutefois rester prudent : il s'agit d'un résultat académique, testé sur une plateforme simple. Rien n'indique encore un passage à l'échelle sur des robots à dynamique plus riche, comme des humanoïdes ou des manipulateurs mobiles, ni des performances en environnement dense et dynamique. Ce travail s'inscrit dans la lignée des CBF introduites pour garantir l'invariance d'ensembles de sécurité, puis étendues aux ordres supérieurs pour les contraintes de degré relatif deux. Ces extensions se heurtaient à la faisabilité du QP quand les entrées sont bornées. Les approches concurrentes combinent des filtres de sécurité avec des cartes SDF ou de la perception en ligne, ou reposent sur la commande prédictive, plus coûteuse en calcul. BubbleCBF se distingue par l'usage direct de la SDF et d'un recouvrement de sphères. Les suites logiques seraient des essais sur matériel plus varié, des comparaisons chiffrées avec les CBF d'ordre supérieur existantes et l'intégration à des chaînes de navigation industrielles. Aucun pilote ni calendrier n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

SceneRig : un système à base d'agents pour reconstruire des scènes 3D prêtes pour la simulation à partir d'une seule image

SceneRig est un système agentique, décrit dans un preprint arXiv (v1), qui transforme une seule photographie en scène 3D éditable et prête pour la simulation physique. Il combine des outils géométriques, visuels et physiques pour reconstruire la scène, c'est-à-dire récupérer les objets, les positionner précisément et leur donner une assise physique. Un agent exécute ensuite des boucles d'édition et de validation directement dans un simulateur de physique, jusqu'à obtenir une scène stable. Selon les auteurs, le système améliore la segmentation d'instances, l'apparence des objets et leur placement 3D par rapport à la méthode de référence, sans sacrifier la stabilité physique. Les scènes prédisent aussi plus fidèlement les résultats de politiques sur robot réel, et permettent de rejouer des manipulations enregistrées sans adapter la trajectoire. Le résumé ne donne aucun chiffre, et le nom de la méthode de référence n'y figure pas. L'ampleur réelle des gains reste donc à vérifier dans les tableaux du papier. L'enjeu est le goulot d'étranglement de la simulation en robotique : produire à grande échelle des scènes variées qui se comportent bien sous manipulation. Beaucoup de méthodes de reconstruction à partir d'une image se contentent de « laisser retomber » les objets après coup avec la physique. Cela déplace souvent les objets et donne des scènes qui ont l'air correctes mais échouent dès qu'un robot les touche. SceneRig contourne ce problème en intégrant la validation physique à la boucle de reconstruction. Le test le plus parlant est la corrélation entre succès en simulation et succès réel, car c'est elle qui permet d'évaluer des politiques (VLA ou autres) sans mobiliser de robots. Pour un intégrateur, cela pourrait réduire le coût de création de jumeaux numériques de postes de travail à partir de simples photos. Ce travail s'inscrit dans la tendance real-to-sim, où la reconstruction visuelle sert à nourrir l'entraînement et l'évaluation de politiques robotiques, et dans la montée des architectures où un agent LLM ou VLM orchestre des outils spécialisés. Il s'agit d'un preprint non évalué par les pairs. Aucun code, jeu de données ni calendrier de diffusion n'est mentionné dans le résumé, et rien n'indique d'usage industriel à ce stade. La robustesse sur des scènes encombrées ou très éloignées de celles testées reste à démontrer.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source