RecherchearXiv cs.RO 12 août 2026

Grounding multimodal incarné pour la manipulation mobile à vocabulaire ouvert via Gaussian Splatting sémantique 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente, dans un preprint publié sur arXiv (2608.10756v1) début août 2026, un nouveau système de manipulation mobile robotique combinant vision, langage et géométrie 3D. Baptisé Semantic-3DGS, le framework s'appuie sur du Gaussian Splatting sémantique multi-vues actif, un positionnement du socle du robot conditionné par l'atteignabilité de la cible, et une politique vision-langage-action (VLA) basée sur la diffusion. Les indices sémantiques 3D ne sont injectés que dans les derniers blocs de l'expert d'action, afin de préserver les a priori du modèle pré-entraîné. Testé sur 50 essais réels par tâche dans des espaces domestiques, le système complet atteint 60% de réussite sur des tâches longues, contre 40% pour PointVLA et 28% pour DexVLA, deux approches VLA de référence. En environnement fortement encombré, il grimpe à 74% de réussite, contre 52% pour une variante mono-vue et 46% pour PointVLA. Le système conserve 75% de réussite même après un décalage de hauteur de caméra de 75 cm, et supprime les erreurs de préhension déclenchées par des photos d'objets plutôt que les objets réels.

Ces résultats ciblent un point faible connu des politiques VLA actuelles: leur dépendance à des représentations 2D ou implicites qui s'effondrent dès que la scène change de point de vue, se charge d'objets ou présente des leurres visuels comme une photo d'objet. En montrant qu'un ancrage 3D sémantique explicite et réactualisable améliore la robustesse de 20 à 30 points de réussite selon les scénarios, l'étude nuance l'idée que les grands modèles VLA généralistes suffiraient seuls à garantir une manipulation fiable hors laboratoire. Pour les intégrateurs et les équipes R&D en robotique domestique et industrielle, le signal est clair: l'écart entre démonstrations soignées et déploiement en environnement encombré reste largement une question de perception 3D, pas seulement de politique d'action. Cela conforte une tendance plus large à hybrider les architectures VLA avec des représentations spatiales explicites plutôt que de tout confier à l'apprentissage bout en bout.

Le travail s'inscrit dans la lignée des méthodes de rendu par Gaussian Splatting, popularisées pour la reconstruction de scènes 3D, ici détournées vers l'ancrage sémantique en robotique. Il se positionne explicitement contre PointVLA et DexVLA, deux approches représentatives de l'état de l'art en VLA pour la manipulation, utilisées comme lignes de base dans les tests. Contrairement aux annonces commerciales du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, il s'agit ici d'une contribution académique publiée en preprint, sans robot commercial ni calendrier de déploiement associé. Aucun acteur français ou européen n'est cité dans l'étude. Les auteurs présentent leurs résultats comme une preuve de concept en laboratoire, sur des tâches de manipulation en espace domestique restreint et en few-shot, plutôt qu'un système prêt pour un déploiement à grande échelle.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

AOV-GS : cartographie sémantique active à vocabulaire ouvert avec le Gaussian Splatting 3D

AOV-GS est un système de cartographie active qui construit une carte 3D en Gaussian Splatting et guide l'exploration d'un robot à l'aide de modèles de fondation gelés, sans masques de segmentation annotés à la main. Pendant une phase d'exploration grossière, il reclasse les points de vue candidats, déjà jugés prometteurs sur le plan géométrique, selon la nouveauté des embeddings CLIP calculés sur les masques d'instance de SAM. SAM et CLIP restent figés pendant toute la cartographie. Un champ de langage léger, propre à chaque scène, est ensuite ajusté hors ligne directement sur les embeddings CLIP collectés. Il permet de segmenter des vues inédites à partir de requêtes textuelles libres. Dans une comparaison contrôlée avec la même pile de perception SAM-CLIP, AOV-GS gagne 1,3 point de mIoU moyen sur le champ de langage par rapport à une planification purement géométrique sur Replica (34,6 % sur huit scènes) et 1,8 point sur Matterport3D (23,1 % sur cinq scènes). Avec CorrCLIP, il atteint 35,6 % sur Replica, soit 2,0 points de plus que la référence géométrique équivalente. Le PSNR en vue inédite reste comparable à la référence, et l'erreur L1 de profondeur s'améliore sur Replica. Le code est publié sur GitHub. Ces résultats montrent qu'on peut orienter l'exploration vers les zones sémantiquement informatives sans passer par une segmentation supervisée à catégories fermées, ce qui retire un verrou pour les robots en environnement humain, où les requêtes dépassent tout jeu d'étiquettes fixé. Il faut toutefois relativiser l'ampleur des gains : 1 à 2 points de mIoU restent modestes, et un score de 23,1 % sur Matterport3D, plus proche de scènes réelles, rappelle que la compréhension sémantique ouverte est loin d'être résolue. Le maintien du rendu géométrique, sans dégradation du PSNR, indique que l'on ne sacrifie pas la qualité de la carte pour gagner en sémantique. Pour un intégrateur, c'est une brique de recherche prometteuse mais pas un produit : l'évaluation reste en simulation et sur des jeux de données de scènes intérieures, sans test annoncé sur robot physique, ni mesure de coût de calcul ou de temps d'exploration en conditions réelles. Le travail s'inscrit entre deux courants. D'un côté, la cartographie active guidée par la géométrie maximise la couverture mais traite la sémantique comme un sous-produit de la trajectoire. De l'autre, la cartographie sémantique active dépend en général d'une segmentation supervisée. AOV-GS s'appuie sur la vague des champs de langage 3D et du Gaussian Splatting, associés à CLIP et SAM. Les prochaines étapes logiques sont une validation sur plateforme mobile réelle, des environnements dynamiques et des comparaisons face à d'autres méthodes de cartographie sémantique ouverte. La publication du code facilitera la reproduction par la communauté.

RecherchePaper

1 source

2arXiv cs.RO

VistaVLA : modèle vision-langage-action fondé sur du 3D gaussian splatting conscient de la géométrie et de la sémantique, pour la manipulation robotique

VistaVLA, présenté dans un article arXiv publié le 15 juillet 2026, est un nouveau framework de manipulation robotique combinant vision, langage et action (VLA) qui construit une représentation 3D explicite de la scène à partir de primitives de Gaussiennes 3D. Contrairement aux modèles VLA classiques qui projettent directement instructions textuelles et images 2D vers des actions, VistaVLA fonctionne en deux étapes : il élève des caractéristiques vision-langage multi-vues en primitives gaussiennes 3D, créant des tokens sémantiques ancrés géométriquement, puis les compresse via un mécanisme baptisé Merge-then-Query (MtQ). Ce module réduit de 99% le nombre de tokens nécessaires tout en préservant les informations spatiales et sémantiques utiles à l'action. Les auteurs rapportent des gains de 22,8% du taux de réussite sur sept tâches réelles, et de 30% par rapport à la baseline VLA-Adapter sur des tâches hors distribution (out-of-distribution), en environnement simulé comme réel. Pour l'industrie robotique, ce travail cible un point faible connu des modèles VLA actuels : leur absence de représentation 3D persistante et invariante au point de vue, qui limite leur capacité à raisonner sur des contraintes géométriques et des layouts spatiaux complexes. La plupart des VLA en production s'appuient sur des flux caméra 2D bruts ou des cartes de profondeur peu structurées ; VistaVLA propose une carte cognitive 3D sémantique inspirée de la cognition humaine, un argument qui, s'il se confirme à plus grande échelle, pourrait influencer la conception des prochaines générations de politiques d'action pour bras manipulateurs et robots mobiles. Ce travail s'inscrit dans une vague de recherche académique cherchant à combler l'écart entre modèles VLA à succès commercial, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, et leurs limites documentées en generalisation spatiale. Les résultats restent pour l'instant issus d'évaluations contrôlées en laboratoire, sans déploiement industriel annoncé ; la validation sur des tâches de manipulation plus variées et à plus grande échelle reste la prochaine étape naturelle pour ce type d'approche.

RechercheActu

1 source

3arXiv cs.RO

ReaDy-Go : simulation dynamique réel-vers-sim par Gaussian Splatting 3D pour la navigation visuelle avec obstacles mobiles

Des chercheurs présentent dans un preprint arXiv (référence 2602.11575, troisième version) un pipeline baptisé ReaDy-Go qui vise à combler l'écart simulation-réalité pour la navigation visuelle robotique en environnements dynamiques. Le principe : reconstruire une scène réelle cible (domicile, restaurant, usine) sous forme de nuage de gaussiennes 3D (Gaussian Splatting, ou GS), puis y insérer des avatars humains animables, eux aussi représentés en GS photoreáliste, dont les mouvements sont synthétisés à partir de trajectoires 2D. Un planificateur expert dédié aux représentations GS dynamiques, couplé à un planificateur humain, génère ensuite automatiquement des milliers de scénarios de navigation depuis des points de vue arbitraires. Les politiques de navigation entraînées sur ces datasets sont ensuite déployées sur robot physique. Les auteurs rapportent des gains de performance en simulation et en conditions réelles face à des obstacles mobiles, ainsi qu'un transfert zero-shot dans un environnement inédit, ce qui suggère une capacité de généralisation au-delà des scènes d'entraînement. L'enjeu industriel est significatif pour les intégrateurs de robots de service et les concepteurs de systèmes AMR (autonomous mobile robots) en environnements non contrôlés. Le verrou principal que ReaDy-Go cherche à lever est double : les méthodes classiques souffrent d'un sim-to-real gap important parce que les scènes d'entraînement sont génériques, et les obstacles dynamiques y sont soit absents, soit représentés par des mannequins non photoréalistes issus de simulateurs comme Isaac Sim ou Gazebo. En ancrant la simulation dans une reconstruction GS de l'environnement cible réel et en peuplant cette scène d'avatars humains photoréalistes et cinématiquement plausibles, l'approche réduit la distance de distribution entre entraînement et déploiement. Il s'agit d'une contribution méthodologique, pas d'un produit commercialisé ; les résultats restent à ce stade des démonstrations académiques, et les métriques annoncées (temps de cycle, taux de succès) gagneraient à être contextualisées par des conditions de test plus variées. Le Gaussian Splatting a émergé comme technique de reconstruction 3D rapide et photoréaliste depuis les travaux de Kerbl et al. en 2023, et plusieurs groupes l'ont depuis exploré pour la simulation robotique, notamment pour la manipulation (voir les travaux de RoboGSim ou GaussianWorld). ReaDy-Go se distingue en ciblant la navigation en présence de piétons, un cas d'usage critique pour les robots de livraison indoor et les plateformes de service en espace public. Sur ce segment, les concurrents directs incluent les pipelines basés sur NeRF (plus lents à l'entraînement), les simulateurs procéduraux type NVIDIA Omniverse, et des approches comme UniSim ou HabitatSim. Aucun acteur européen n'est cité dans le preprint, mais des équipes comme Enchanted Tools (robotique de service, France) ou les labos de navigation de l'INRIA pourraient trouver dans ReaDy-Go une brique de simulation réutilisable. La page projet est accessible et le code pourrait être publié ; les prochaines étapes naturelles seraient des tests à plus grande échelle avec diversité de populations et d'environnements, et une intégration dans des stacks de navigation open-source comme Nav2.

UECette méthode de simulation photoréaliste à base de Gaussian Splatting pourrait être réutilisée par des équipes européennes de navigation robotique (INRIA, Enchanted Tools) pour réduire le sim-to-real gap sans dépendre de simulateurs propriétaires comme Isaac Sim ou NVIDIA Omniverse.

RecherchePaper

1 source

4arXiv cs.RO

De la perception à l'assistance : autonomie partagée à vocabulaire ouvert pour la manipulation robotique

Des chercheurs présentent un système d'autonomie partagée pour la téléopération de bras manipulateurs en environnement industriel, publié le 24 juillet 2026 sur arXiv (référence 2607.17323). Le dispositif repose sur une seule caméra RGB-D qui capture les mouvements du bras et les gestes de la main de l'opérateur, sans combinaison connectée, marqueur fiduciaire ni étape de calibration préalable. La cible à saisir est désignée par une simple consigne textuelle en langage libre, interprétée par un modèle vision-langage via la caméra embarquée sur le préhenseur, puis suivie en continu par un modèle de segmentation vidéo promptable sur les caméras du robot, ce qui isole en permanence un repère de saisie de la carte des obstacles. Un contrôleur prédictif (MPC) accéléré par GPU exécute chaque commande tout en évitant les collisions avec l'environnement et avec le robot lui même, grâce à une reconstruction volumétrique calculée en temps réel, pendant qu'un champ de potentiel corrige la trajectoire de l'opérateur lors de l'approche finale. Testé sur un manipulateur mobile quadrupède, le système atteint une précision de positionnement de 59 mm d'erreur quadratique moyenne par rapport à une référence de capture de mouvement, et maintient le bras à au moins 18 cm des obstacles même lorsque l'opérateur tente délibérément une collision de 6 cm. Sur une tâche de manipulation de vanne industrielle et une tâche de prise dépose, le framework complet réussit tous les essais, tandis que le mode entièrement autonome, déclenché par geste, réussit quatre essais sur cinq par tâche. L'intérêt pour l'industrie robotique tient au problème visé: en téléopération classique, aligner précisément un effecteur avec une cible en environnement encombré, avec une perception de profondeur limitée par caméra, reste une source d'erreurs et de collisions coûteuses. En retirant marqueurs et calibration tout en gardant l'opérateur dans la boucle de décision, le système promet un déploiement plus rapide sur des cellules industrielles existantes. Le fait que retirer soit le module de collision, soit le module d'assistance provoque des échecs par des mécanismes différents montre que les deux briques sont complémentaires et non redondantes, un signal utile pour les intégrateurs qui évaluent la robustesse réelle de ces architectures avant tout achat. Le travail s'inscrit dans la convergence actuelle entre modèles vision-langage et téléopération assistée, où l'ancrage d'instructions textuelles dans la perception robotique gagne du terrain face aux interfaces manuelles pures. Les auteurs positionnent leur contribution comme une alternative légère aux pipelines nécessitant équipement dédié ou calibration lourde, et annoncent la possibilité de basculer vers une exécution autonome sur la même cible sans pipeline de perception séparé, ouvrant la voie à des essais plus poussés sur d'autres plateformes et tâches industrielles.

RecherchePaper

1 source