Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
FloVerse : navigation multimodale guidée par plan d'étage
RecherchearXiv cs.RO 

FloVerse : navigation multimodale guidée par plan d'étage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié FloVerse, un cadre unifié de navigation incarnée guidée par plans d'étage, accompagné d'un jeu de données à grande échelle et d'une nouvelle politique d'apprentissage. Présenté sous forme de preprint arXiv (2606.14267) en juin 2026, ce travail rassemble sous un même protocole trois variantes classiques de navigation autonome en intérieur : PointNav (atteindre des coordonnées cibles), ObjectNav (trouver une instance d'objet précis) et ImageNav (rejoindre un lieu identifié par une image de référence). Pour soutenir ces expériences, les auteurs ont constitué FloVerse-1.6K, un jeu de données de 1 600 scènes issues des environnements HM3D et Gibson 4+, couplé aux plans d'étage correspondants, comprenant 240 000 trajectoires expertes et 12 millions de frames RGBD. Ils proposent également ThreeDiff, une politique d'imitation en deux étapes : un planificateur basé sur la diffusion entraîné par masked-modality modeling (masquage aléatoire des modalités en entrée pour forcer la robustesse multimodale), et un raffineur qui ajuste les trajectoires à l'exécution à partir de données de profondeur pour éviter les collisions.

L'apport principal réside dans la démonstration que les plans d'étage constituent des priors spatiaux efficaces et généralisables : les résultats montrent une amélioration des performances sur l'ensemble des trois modalités de tâches, y compris en généralisation à des scènes non vues durant l'entraînement. Pour un intégrateur déployant des robots mobiles en environnement structuré (entrepôts, hôpitaux, hôtels), ce résultat ouvre une voie pragmatique : exploiter les plans existants issus du BIM ou de simples blueprints sans nécessiter de cartographie préalable par le robot. ThreeDiff montre de surcroît que ce prior spatial peut être capturé implicitement par le modèle, sans supervision explicite sur la structure géométrique du plan.

Ce travail s'inscrit dans un courant de recherche actif où plusieurs approches concurrentes telles que VLN-BERT, NavGPT ou EmbodiedGPT s'appuient sur des modèles de langage visuels ou des cartes sémantiques. La spécificité de FloVerse est d'intégrer le plan d'étage comme modalité de guidage explicite et portable, là où la majorité des travaux antérieurs se limitaient à PointNav sur des environnements restreints comme AI2-THOR ou Matterport3D. En tant que preprint non encore soumis à évaluation par les pairs, les benchmarks restent en simulation ; le gap sim-to-real n'est pas évalué, ce qui constitue la limite principale avant toute application industrielle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Navigation multimodale par apprentissage par renforcement multi-agents
1arXiv cs.RO 

Navigation multimodale par apprentissage par renforcement multi-agents

Des chercheurs ont publié CRONA (Cross-Modal Navigation), un framework basé sur l'apprentissage par renforcement multi-agent (MARL), disponible en préprint sur arXiv (identifiant 2605.06595). Plutôt que d'entraîner un modèle monolithique fusionnant simultanément plusieurs flux sensoriels, ce qui génère des espaces de représentation complexes et élargit considérablement l'espace de politiques à explorer, CRONA déploie des agents légers spécialisés par modalité, coordonnés par un critique centralisé multi-modal disposant d'un état global partagé et de représentations auxiliaires orientées contrôle. Les expériences portent sur des tâches de navigation visuo-acoustique : CRONA surpasse les baselines à agent unique en performance et en efficacité. Les auteurs identifient trois régimes distincts : la collaboration homogène (agents de même modalité) suffit pour la navigation courte portée avec indices saillants ; la collaboration hétérogène (modalités complémentaires) est généralement efficace ; les grands environnements complexes réclament une perception plus riche et une capacité modèle accrue. L'enjeu industriel est la modularité. Fusionner vision, audio et autres capteurs dans un seul réseau reste un obstacle majeur pour les robots incarnés opérant en milieux non contrôlés, entrepôts, espaces publics, bâtiments industriels. En découplant les modalités en agents parallèles indépendants, CRONA simplifie l'acquisition de données (chaque modalité peut être entraînée séparément) et permet de remplacer ou affiner un capteur sans réentraîner l'ensemble du système. Pour les intégrateurs B2B, la taxonomie des trois régimes de navigation constitue une heuristique pratique pour dimensionner les architectures embarquées selon la complexité des scénarios cibles. La navigation audio-visuelle incarnée s'appuie sur des environnements de référence établis comme SoundSpaces et Matterport3D. L'originalité de CRONA réside dans l'application du MARL à ce problème, là où la littérature récente privilégie les architectures Transformer multi-modales de type VLA (Vision-Language-Action). Aucun partenariat industriel ni calendrier de déploiement n'est mentionné : il s'agit d'un preprint sans validation sur hardware réel, ce qui laisse ouverte la question du sim-to-real gap, particulièrement critique pour les signaux acoustiques en environnement non contrôlé. La prochaine étape logique serait une validation sur plateforme robotique physique.

RecherchePaper
1 source
Mémoire explicite guidée par l'avantage pour la navigation sociale
2arXiv cs.RO 

Mémoire explicite guidée par l'avantage pour la navigation sociale

Une équipe de recherche publie sur arXiv (référence 2608.25610v1) un nouvel agent de navigation robotique doté d'une mémoire explicite non paramétrique, conçu pour la navigation sociale, c'est à dire le déplacement d'un robot au milieu d'humains. Le constat de départ est que les politiques robotiques actuelles, entraînées par imitation learning ou par apprentissage par renforcement (RL) classiques, stockent tout leur comportement dans les poids du réseau de neurones, ce qui les rend fragiles face aux situations rares mais critiques, comme un risque de collision avec un piéton. La solution proposée consiste à indexer explicitement les séquences d'étapes ayant mené à ces événements critiques dans une mémoire externe, plutôt que de tout confier à la représentation apprise. Techniquement, cette mémoire est intégrée à une architecture PPO récurrente (Proximal Policy Optimization), où les états cachés du réseau servent de clé de récupération pour capter la dynamique spatio-temporelle continue de l'environnement, et où les signaux d'avantage du RL guident la priorisation des événements rares à fort impact. L'agent est entraîné en simulation, combinant rendu photoréaliste et simulation de foule non visuelle. L'apport principal tient à deux effets combinés. D'une part, l'agent peut continuer à apprendre pendant son déploiement en collectant des données de ses propres épisodes de test, ce qui améliore sa généralisation face à des comportements humains hors distribution (OOD), un point faible connu des politiques purement paramétriques. D'autre part, cette mémoire externe atténue en partie l'écart classique entre simulation et monde réel (sim-to-real gap), puisque certaines décisions peuvent désormais s'appuyer sur des données réelles collectées après l'entraînement, et non uniquement sur des poids figés issus de la simulation. Pour les intégrateurs travaillant sur des robots mobiles évoluant en environnement humain, cela pointe vers des architectures hybrides mémoire plus apprentissage continu comme piste pour fiabiliser la sécurité sans réentraînement complet. Le travail s'inscrit dans la lignée des méthodes RL récurrentes de type PPO et des recherches sur la mémoire épisodique non paramétrique, sans affiliation industrielle ni nom d'entreprise cités dans la publication. Il reste à ce stade une validation en simulation, sans annonce de pilote terrain ni de calendrier de déploiement réel.

RecherchePaper
1 source
CompCPZ : préserver l'intention multimodale dans la manipulation robotique guidée par le langage
3arXiv cs.RO 

CompCPZ : préserver l'intention multimodale dans la manipulation robotique guidée par le langage

Une équipe de recherche publie CompCPZ (arXiv:2608.17717v1, août 2026), qui corrige un défaut structurel des robots pilotés par instructions en langage naturel. Le problème identifié : un robot à qui l'on demande de "poser la tasse près de l'assiette rouge ou de l'assiette bleue" peut se diriger vers le point médian entre les deux, un geste géométriquement plausible qui ne satisfait en réalité aucune des deux options demandées. Cette erreur silencieuse vient du fait que les représentations utilisées par les politiques conditionnées par le langage fusionnent les instructions disjonctives ("ou") en un seul ensemble connexe, effaçant les modes d'action distincts. CompCPZ est une couche algébrique "sound" greffée sur des systèmes d'apprentissage existants : elle recompose, le long de l'arbre syntaxique de la phrase, des enveloppes de type "constrained polynomial zonotope" par primitive d'action, avec une couverture conforme sans hypothèse de distribution et un temps de calcul infra-milliseconde. Sur un banc de manipulation de table en boucle fermée sous ManiSkill3, elle bat des références à ensembles convexes, des décodeurs multi-pics et un modèle vision-langage-action zero-shot, avec 1 900 victoires sur 1 918 comparaisons appariées (p << 10^-30), et transfère sans réglage supplémentaire à des essais réels planaires sur un quadrupède Unitree Go2 suivi par capture de mouvement. Ce résultat intéresse directement les équipes qui déploient des modèles vision-langage-action en usine ou en entrepôt : il met en évidence un mode d'échec discret, invisible aux métriques de réussite géométrique classiques, qui peut laisser croire à tort qu'une consigne ambiguë a été correctement exécutée. Pour les intégrateurs et décideurs robotique, cela déplace le critère de fiabilité : un système de compréhension du langage ne doit plus être jugé seulement sur l'atteinte d'une cible décodée, mais sur la préservation de la structure logique complète de l'intention exprimée, un enjeu concret face aux consignes disjonctives courantes en entrepôt ou en usine ("prends la pièce A ou B"). Le travail souligne aussi un écart entre les démonstrations réussies des VLA et leur robustesse réelle face à l'ambiguïté linguistique. Cette recherche s'inscrit dans la lignée des travaux sur l'ancrage compositionnel du langage et répond à une limite connue des politiques VLA de bout en bout, généralement évaluées sur des benchmarks qui ne testent pas l'ambiguïté. En se comparant explicitement à des décodeurs multi-modaux existants et à un VLA zero-shot, l'équipe positionne CompCPZ comme une couche de sécurité formelle à ajouter par-dessus des modèles existants plutôt que comme un nouveau modèle concurrent. Le transfert réussi vers un robot réel, même limité à un cas planaire sur quadrupède, ouvre une piste au-delà des seuls bras manipulateurs, mais la validation reste pour l'instant circonscrite à des essais de laboratoire sous capture de mouvement, loin d'un déploiement industriel à grande échelle.

RecherchePaper
1 source
Modèle du monde pour la navigation sociale de robots guidée par la logique
4arXiv cs.RO 

Modèle du monde pour la navigation sociale de robots guidée par la logique

Des chercheurs ont publié NaviWM (Navigation World Model), un système de navigation robotique socialement consciente qui couple un grand modèle de langage (LLM) avec un modèle de monde structuré et un module de raisonnement logique déductif. Le système repose sur deux composants principaux : un modèle spatio-temporel qui capture en temps réel les positions, vitesses et activités des agents présents dans l'environnement, et un module de raisonnement par chaîne-de-pensée (chain-of-thought) guidé par des règles formelles. La nouveauté centrale est l'encodage des normes sociales en logique du premier ordre (first-order logic), ce qui rend le raisonnement du robot vérifiable et interprétable, contrairement aux approches par prompt engineering ou fine-tuning. Les expériences menées montrent une amélioration du taux de succès de navigation et une réduction des violations sociales dans les environnements encombrés. L'article, disponible en version 2 sur arXiv (référence 2510.23509), est accompagné de vidéos de démonstration publiées par les auteurs. Ce travail s'attaque à une faille bien documentée des LLM appliqués à la planification de trajectoires en robotique mobile : le manque d'ancrage physique et de cohérence logique lorsqu'ils opèrent seuls. En environnements dynamiques peuplés d'humains, les LLM purs produisent des comportements imprévisibles, voire dangereux. En ajoutant une couche de raisonnement formel en aval du LLM sous des contraintes explicites (espace personnel, évitement de collision, gestion du timing), NaviWM propose une solution plus robuste. Pour un intégrateur travaillant sur des robots de service en intérieur, livraison hospitalière ou navigation en entrepôt mixte humain-robot, cela représente un levier concret pour réduire le gap entre démonstration en laboratoire et déploiement opérationnel. Le caractère interprétable du raisonnement constitue également un atout pour les exigences de traçabilité et de certification en milieu industriel ou médical. La navigation sociale pour robots mobiles est un champ en forte effervescence, où coexistent des approches classiques comme ORCA (Optimal Reciprocal Collision Avoidance), des prédicteurs à base de réseaux LSTM sociaux, et plus récemment des systèmes intégrant des VLA (Vision-Language-Action models) comme Pi-0 ou les architectures embarquées de Boston Dynamics et Figure. NaviWM se positionne dans un segment distinct : il ne cherche pas à remplacer le LLM mais à le contraindre via un modèle du monde explicite et des règles formelles, une approche hybride neuro-symbolique proche des travaux du MIT CSAIL sur la planification task-and-motion. Les prochaines étapes naturelles seront de valider l'architecture sur des plateformes physiques hors simulation et de tester la robustesse des règles logiques face à des scénarios sociaux non anticipés lors de leur encodage initial.

RecherchePaper
1 source