RecherchearXiv cs.RO1h

Langage comme capteur : estimation calibrée de croyances spatiales en 3D à partir du langage naturel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent dans un preprint arXiv (2606.08666, juin 2026) un système permettant aux robots de traiter les descriptions spatiales en langage naturel comme un signal capteur à part entière. Le coeur de la contribution est le Language Sensor Model (LSM), qui convertit chaque énoncé ("j'ai laissé mon sac à dos sur la table") et son graphe de scène en une distribution de probabilités 3D multimodale. Cette distribution encode simultanément l'ambiguïté référentielle ("quelle table parmi plusieurs") via des poids de mélange, et l'incertitude spatiale ("où exactement sur la table") via des covariances par composante. Le LSM s'intègre dans VL-Map (Vision-Language Metric-Semantic Mapping), un framework probabiliste qui fusionne ces prédictions linguistiques avec la perception embarquée dans une carte de croyance unifiée. Évalué sur le benchmark VLA-3D et sur un robot mobile réel, le LSM est le seul prédicteur dont les estimations de covariance restent dans le régime calibré, et produit environ 70 % de masse de probabilité supplémentaire sur la cible correcte par rapport au meilleur modèle de fondation testé.

L'enjeu pour les intégrateurs est direct : les robots déployés en environnement humain (logistique, soins, assistance) reçoivent constamment des instructions verbales qui référencent des objets hors de leur champ perceptif. La cartographie métrique-sémantique classique ignore ce canal d'information ; les grands modèles multimodaux généralistes ne produisent pas d'estimations calibrées fusionnables dans un filtre bayésien. La calibration est un point critique souvent sous-estimé : un modèle non calibré surestime ou sous-estime sa confiance, rendant la fusion de capteurs instable et potentiellement dangereuse. Ce travail démontre que le langage peut jouer le rôle d'un vrai capteur réducteur d'incertitude, ce qui modifie le calcul architectural pour tout système de navigation ou manipulation en milieu non structuré.

La contribution s'inscrit dans la lignée de la cartographie visuosémantique 3D (ConceptFusion, LERF, OpenScene), qui ancre des embeddings visuolinguistiques dans des représentations de scènes mais demeure passive vis-à-vis du langage conversationnel. Les approches VLA actuelles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA traitent le langage comme déclencheur d'actions, sans produire de distribution spatiale exploitable par un planificateur externe. Ce système s'y positionne orthogonalement : non pas un planificateur ni un annotateur, mais un capteur probabiliste intégrable à un pipeline SLAM existant. Les expériences décrites restent à un stade exploratoire, sans partenaire industriel ni calendrier de déploiement annoncés dans la publication.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Localisation de source de gaz sans calibration par robots mobiles : estimation du terme source par classement des concentrations

Des chercheurs ont déposé sur arXiv (réf. 2605.13208) une méthode de localisation de source gazeuse (GSL) par robot mobile qui élimine la calibration préalable des capteurs chimiques. Le problème central est bien connu : les capteurs bas coût embarqués sur des robots présentent une réponse non linéaire, sensible à l'humidité, à la température et aux interactions chimiques, auxquels s'ajoutent les artefacts liés au déplacement du robot lui-même. La calibration en environnement contrôlé, normalement nécessaire pour corriger ces biais, est souvent impossible en conditions opérationnelles d'urgence. L'algorithme proposé contourne ce problème en substituant les valeurs absolues de concentration par leur classement relatif (ranking) au sein du jeu de données accumulé dynamiquement. Ces rangs sont comparés à ceux issus de modèles physiques de dispersion gazeuse pour estimer une distribution probabiliste des positions de la source sur l'ensemble de l'environnement. La méthode a été validée en simulation haute-fidélité et en expériences physiques, avec une précision de localisation maintenue même avec des capteurs non calibrés, bien que le préprint ne publie pas encore de métriques quantitatives détaillées. L'impact pratique est direct pour les scénarios d'urgence industrielle : fuite de gaz, incident chimique ou inspection de zones contaminées où le déploiement humain est risqué. Les approches probabilistes de GSL existantes, basées sur des modèles de panache gaussien ou des filtres bayésiens, supposent une qualité de mesure fiable, ce qui exige des cycles de recalibration réguliers incompatibles avec un déploiement rapide. En travaillant sur les rangs plutôt que sur les amplitudes, la méthode devient insensible aux dérives capteur et aux variations environnementales, ce qui réduit concrètement les coûts de maintenance et simplifie les procédures de mise en service pour les intégrateurs de robots de sécurité. La localisation de source gazeuse robotisée est étudiée depuis les années 2000, avec des approches allant du hill-climbing aux algorithmes bio-inspirés imitant la navigation olfactive des insectes, puis aux méthodes probabilistes modernes. Ce travail s'inscrit dans une tendance plus large visant à rendre les robots de sécurité industrielle opérationnels en conditions dégradées, sans infrastructure de support dédiée. Les prochaines étapes logiques incluent la validation en environnements dynamiques avec vent variable et obstacles mobiles, ainsi que l'extension à des flottes multi-robots capables de couvrir de larges zones industrielles en parallèle.

RecherchePaper

1 source

2arXiv cs.RO

Estimation dense des forces par capteur tactile optique à événements

Des chercheurs ont présenté sur arXiv (arXiv:2606.09451) le premier framework de reconstruction dense de champ de force 3D à partir d'un capteur tactile optique à événements. L'approche combine deux modules complémentaires : un algorithme de suivi de marqueurs basé sur les événements pour estimer les déplacements de cisaillement (axes X et Y), et un réseau de neurones convolutif entraîné sur un jeu de données synchronisées force-déplacement-événements pour prédire les déplacements normaux (axe Z). Ces déplacements de surface sont ensuite convertis en forces via la méthode des éléments finis inverse (iFEM). Les performances mesurées atteignent une erreur absolue moyenne de 0,14 N, 0,10 N et 0,93 N sur des plages de force respectives de 4 N, 4 N et 20 N, avec une fréquence de traitement moyenne de 100 Hz. Ce résultat comble une lacune importante dans la perception tactile robotique. Les capteurs tactiles à base de caméra conventionnelle, comme le GelSight du MIT ou le DIGIT de Meta AI, permettent déjà une estimation dense des forces, mais butent sur les limites de framerate des capteurs CMOS, le flou de mouvement lors de contacts dynamiques rapides, et la bande passante nécessaire au transfert d'images. Les capteurs à événements, d'inspiration neuromorphique, contournent ces contraintes avec une résolution temporelle à la microseconde et un encodage asynchrone des variations de luminosité. Jusqu'ici, leur usage en tactile était restreint à la prédiction de forces nettes scalaires, sans distribution spatiale. Le framework présenté ouvre la voie à un retour de force géométriquement dense à haute fréquence, condition nécessaire pour des boucles de contrôle en préhension dextre réactive. La manipulation dextre reste l'un des problèmes ouverts les plus difficiles de la robotique, précisément parce que le toucher humain exploite simultanément la densité spatiale, la sensibilité à la géométrie de contact et la résolution temporelle fine. Le paysage des capteurs tactiles intelligents s'est structuré autour de deux familles : les capteurs visuels élastomère (GelSight, DIGIT, Finger Vision, Tactip) et les capteurs neuromorphiques à événements, encore peu exploités pour la reconstruction de champ. Ce travail constitue une première étape de preuve de concept ; les auteurs ciblent explicitement l'intégration dans des pipelines de contrôle haute fréquence pour la préhension robotique et la manipulation, sans annoncer de plateforme ou de timeline de déploiement précise.

RecherchePaper

1 source

3arXiv cs.RO

CommandSwarm : génération d'arbres de comportement en langage naturel pour essaims robotiques avec contraintes de sécurité

CommandSwarm est un pipeline qui convertit des commandes en langage naturel, vocales ou textuelles, en arbres de comportement (behavior trees, BT) au format XML pour piloter des essaims de robots. Publiée en mai 2026 sur arXiv (preprint 2605.07764), l'architecture enchaîne traduction multilingue, filtrage de sécurité au niveau commande, prompting contraint, un LLM adapté par LoRA, et un validateur déterministe basé sur une liste blanche de primitives d'essaim autorisées. Onze LLMs open source de 6,7 à 14 milliards de paramètres, tous quantifiés en 4 bits, ont été évalués : Falcon3-Instruct-10B et Mistral-7B-v3 ressortent comme les meilleurs candidats en few-shot prompting, avec des scores BLEU supérieurs à 0,60. Après adaptation LoRA sur un corpus synthétique de 2 063 paires instruction-BT, le Falcon3-Instruct-10B passe d'un BLEU zero-shot de 0,267 à 0,663, d'un ROUGE-L de 0,366 à 0,692, et d'une validité syntaxique acceptée par le parser de 0 % à 72 %. Pour le front-end multilingue, SeamlessM4T v2-large et EuroLLM-9B, initiative européenne, offrent le meilleur compromis qualité-latence. La conclusion opérationnelle centrale de ces travaux est que la qualité de génération seule est insuffisante pour un déploiement autonome : sans parser de validation et filtre de sécurité en sortie, même les meilleurs modèles produisent des plans non exécutables ou potentiellement dangereux. Pour les intégrateurs robotiques et les décideurs industriels, cela confirme que les garde-fous déterministes sont non négociables, quel que soit le score BLEU affiché par un modèle. La progression de 0 % à 72 % de validité syntaxique après fine-tuning souligne également que l'adaptation domaine-spécifique reste indispensable : aucun LLM généraliste, même performant, ne maîtrise spontanément la syntaxe XML des BTs robotiques. Les behavior trees se sont imposés depuis une dizaine d'années comme le paradigme de contrôle dominant en robotique avancée, supplantant les machines à états finis classiques. La commande par langage naturel rejoint une tendance de fond déjà illustrée par ProgPrompt (Microsoft/Stanford, 2022), SayCan (Google, 2022), et les VLAs Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) pour robots individuels. CommandSwarm se positionne sur le créneau des essaims multi-agents, où la coordination collective et les risques d'interférence rendent la validation formelle encore plus critique qu'en robotique unitaire. Ce travail reste à ce stade un preprint de recherche évalué sur scénarios de simulation ; aucun déploiement sur hardware physique n'est annoncé. Les prochaines étapes attendues comprennent des tests sur robots réels, l'évaluation de la latence temps-réel en conditions opérationnelles, et l'extension du corpus d'entraînement au-delà des 2 063 exemples synthétiques actuels.

UEEuroLLM-9B, initiative européenne, ressort comme l'un des meilleurs compromis qualité-latence pour le front-end multilingue, ce qui lui donne un avantage potentiel dans les projets robotiques financés ou réglementés en Europe.

RecherchePaper

1 source

4arXiv cs.RO

SEDualVLN : un système dual à représentation spatiale enrichie pour la navigation vision-langage

Une équipe a publié sur arXiv (2605.17249) SEDualVLN, un cadre de navigation visuo-langagière (VLN) à double système pour guider un agent autonome à partir d'instructions en langage naturel. Le Système 1 est un modèle VLM affiné sur des trajectoires de navigation, enrichi d'une conscience spatiale globale et locale, chargé de générer les actions immédiates. Le Système 2 intègre un MLLM généraliste et un module de cartographie 3D temps réel : il planifie des points de passage à partir de vues aériennes de la carte construite à la volée et d'un flux d'images de chemin rendues. Ce schéma rapide-lent coordonné atteint des performances état-de-l'art sur les benchmarks VLN-CE (VLN in Continuous Environments). L'intérêt de SEDualVLN est de réconcilier deux paradigmes aux défauts complémentaires. Les approches end-to-end peinent sur les trajectoires longues et manquent de raisonnement dynamique : fine-tunées sur des données de navigation, elles mémorisent des comportements sans réellement planifier. Les pipelines zero-shot exploitent des MLLM pré-entraînés sans ré-entraînement, ce qui offre une meilleure généralisation, mais souffre d'un ancrage spatial insuffisant et d'un temps d'inférence élevé. SEDualVLN hybride les deux : le Système 1 conserve la réactivité end-to-end, le Système 2 apporte la planification raisonnée du modulaire. Pour des robots mobiles de service ou des assistants de livraison intérieure, ce type d'architecture ouvre une voie vers des agents capables de suivre des instructions complexes dans des espaces jamais vus à l'entraînement. Le VLN est un sous-domaine actif de l'IA incarnée, avec des benchmarks comme R2R (Room-to-Room) et VLN-CE sur des environnements Matterport3D et Habitat. SEDualVLN s'inscrit dans une tendance à combiner LLM généralistes et modules de cartographie explicites, direction déjà explorée par NavGPT ou MapGPT. Le papier reste un preprint non évalué par les pairs, sans code ni démo publique, ce qui rend la reproduction indépendante difficile à ce stade. La prochaine étape naturelle est une validation sur robot physique : toutes les expériences rapportées restent pour l'instant confinées à la simulation.

RechercheOpinion

1 source