RecherchearXiv cs.RO 13 août 2026

DaViNCi : un jeu de données pour la navigation extérieure vision-langage avec actions continues

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv (2608.11901) présente DaViNCi (Dynamic Vision-and-Language Navigation in Continuous Environment), premier jeu de données de navigation vision-langage (VLN) en extérieur combinant actions continues et éléments dynamiques imprévisibles, avec six cartes distinctes et 6 933 trajectoires au total. Contrairement aux datasets VLN outdoor existants, construits sur des graphes topologiques fixes et discrets, DaViNCi impose à l'agent de se déplacer avec des commandes continues tout en réagissant à des éléments mobiles qui modifient l'environnement en temps réel. Les expériences comparatives montrent que le taux de réussite chute de plus de 10 % en configuration discrète par rapport aux jeux de données précédents, et la baisse est encore plus marquée en configuration continue. Les auteurs isolent également l'impact respectif de la granularité des actions et de la présence d'éléments dynamiques sur la performance des agents. Le dataset et les ressources associées sont disponibles sur le site du projet.

Ce résultat contredit l'idée que les agents VLN actuels, entraînés et évalués sur des graphes topologiques figés, seraient prêts pour un déploiement réel en extérieur, et expose l'écart persistant entre bancs d'essai simulés et conditions réelles rencontrées par les robots mobiles et les AMR devant naviguer parmi piétons, véhicules ou obstacles temporaires. Pour les équipes qui développent des agents de navigation autonome guidés par le langage, qu'il s'agisse de robots de livraison, d'inspection ou de plateformes humanoïdes mobiles, ce benchmark offre un cadre d'évaluation plus exigeant que les datasets discrets utilisés jusqu'ici. Il souligne surtout que le passage à des actions continues, plus proches du contrôle moteur réel, reste un facteur de fragilité majeur pour les modèles de navigation, un enjeu direct pour le transfert sim-to-real que l'industrie robotique cherche à valider avant tout déploiement commercial.

DaViNCi s'inscrit dans l'évolution du champ VLN, d'abord développé en environnement intérieur avant de s'étendre progressivement à l'extérieur ces dernières années via des jeux de données construits sur des graphes topologiques discrets, qui simplifiaient la tâche d'entraînement mais s'éloignaient des conditions réelles de terrain où les trajectoires ne sont pas prédéfinies. En introduisant simultanément mouvement continu et dynamique environnementale, DaViNCi se positionne comme un nouveau standard d'évaluation, plus difficile que les benchmarks VLN outdoor précédents. Les auteurs présentent ce travail comme une étape vers des agents de navigation capables d'opérer dans des environnements urbains réalistes, et mettent le jeu de données à disposition de la communauté de recherche pour mesurer les progrès futurs sur ce terrain plus exigeant.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher

Des chercheurs du Faerber Lab publient RCT (Robotic Contact Tactile), un jeu de données touch-vision-language collecté par robot pour évaluer la généralisation tactile des systèmes robotiques. Le dataset comprend 29 279 frames tactiles issues de pressions complètes effectuées par un bras robotique sur 122 matériaux de référence industriels répartis en 7 catégories, enregistrées à l'aide de trois capteurs DIGIT positionnés à plusieurs points de contact. Particularité méthodologique : RCT conserve chaque pression comme une séquence de contact continue plutôt que comme des frames isolées, ce qui permet des évaluations "held-out" rigoureuses par matériau, catégorie, capteur, position de contact ou séquence entière. Les auteurs démontrent que les frames issues d'une même pression sont fortement corrélées entre elles : un découpage aléatoire des frames (frame-random split), pratique courante dans le domaine, place des observations quasi-identiques de la même interaction physique à la fois dans les jeux d'entraînement et de test. En supprimant ce chevauchement de séquences, le score de Recall@1 en correspondance tactile-texte chute de 17,7 points de pourcentage à encodeur fixe. Lorsque les matériaux sont également exclus à l'entraînement, la performance s'effondre davantage, avec un Recall@1 de seulement 25,1 % (± 6,1 %) en moyenne sur trois tirages de matériaux non vus. Le jeu de données est open source, disponible sur faerber-lab.github.io/RCT. Cette étude expose un biais méthodologique qui gonflait artificiellement les résultats publiés sur la perception tactile robotique. En analysant le split public TVL/HCT, référence largement utilisée dans le domaine, les auteurs montrent que chaque séquence de contact du jeu de test apparaît déjà dans l'entraînement : une simple recherche du plus proche voisin en pixels bruts, sans aucun apprentissage, retrouve la bonne séquence dans 98,3 % des cas. Autrement dit, les benchmarks existants mesurent en grande partie de la mémorisation plutôt que de la généralisation réelle. Pour les équipes qui développent des systèmes de manipulation tactile destinés à des environnements ouverts (tri de déchets, logistique, inspection de pièces), cela signifie que des modèles annoncés comme performants pourraient largement sous-performer face à des matériaux jamais rencontrés. L'étude montre aussi une piste corrective concrète : échantillonner uniformément les frames au sein d'une pression, plutôt que de façon aléatoire, améliore l'entraînement contrastif, et les embeddings entraînés sur RCT améliorent les probes de catégorisation sur des matériaux inédits. Le travail s'inscrit dans la lignée des jeux de données touch-vision-language existants comme TVL (Touch-Vision-Language) et HCT, dont RCT réutilise la structure de split pour illustrer le problème de fuite de données. Le choix des capteurs DIGIT, développés initialement par Meta AI et largement adoptés en recherche tactile académique, ancre RCT dans l'écosystème matériel dominant du secteur plutôt que dans des capteurs propriétaires. Aucun acteur français ou européen n'est mentionné dans cette publication, qui reste un travail de recherche fondamentale plutôt qu'une annonce produit. Les prochaines étapes attendues pour le domaine concernent l'adoption de protocoles d'évaluation "contact-sequence-aware" par les équipes travaillant sur la manipulation tactile, ainsi que l'extension de ce type de benchmark held-out-material à d'autres modalités sensorielles combinées, à mesure que les architectures VLA (vision-language-action) intègrent de plus en plus le retour tactile comme signal de contrôle.

RecherchePaper

1 source

2arXiv cs.RO

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

RechercheActu

1 source

3arXiv cs.RO

I2Nav-Robot : un jeu de données robotique intérieur-extérieur à grande échelle pour la navigation par fusion multi-capteurs

Chercheurs de l'université de Wuhan (laboratoire i2Nav) ont publié i2Nav-Robot, un jeu de données à grande échelle destiné à la navigation par fusion multi-capteurs pour véhicules terrestres autonomes (UGV), en environnements intérieurs et extérieurs. La plateforme, un véhicule à roues omnidirectionnel, embarque des LiDAR solid-state à vision frontale et à 360 degrés de dernière génération, un radar millimétrique 4D, des caméras stéréo, une centrale inertielle (IMU), un récepteur GNSS et des odomètres à roues, tous synchronisés temporellement via une combinaison de synchronisation matérielle en ligne et de calibration hors ligne. Le jeu de données comprend dix séquences couvrant des scénarios variés (rues extérieures, parkings intérieurs) pour une distance cumulée d'environ 17 060 mètres, avec une vérité terrain de précision centimétrique obtenue par post-traitement de navigation intégrée sur IMU haut de gamme. Quinze méthodes open source de fusion multi-capteurs ont servi à valider la qualité des données. Le tout est accessible sur GitHub (i2Nav-WHU/i2Nav-Robot). Pour la recherche en navigation robotique, ce type de benchmark comble un manque réel: les jeux de données existants pour UGV souffrent souvent de configurations de capteurs limitées, d'une synchronisation imprécise, d'une vérité terrain incomplète ou peu fiable, et d'un manque de diversité de scénarios, ce qui freine le développement et la comparaison rigoureuse des algorithmes SLAM et de fusion de capteurs. Un dataset combinant LiDAR récents, radar 4D et vérité terrain centimétrique dans des environnements mixtes intérieur-extérieur offre aux équipes de recherche et aux intégrateurs un terrain d'évaluation plus représentatif des conditions réelles de déploiement, notamment pour les robots mobiles industriels et logistiques. Ce travail s'inscrit dans la lignée de benchmarks antérieurs comme KITTI ou M2DGR, mais cherche à dépasser leurs limites en matière de synchronisation et de diversité de capteurs, notamment via l'intégration récente du radar millimétrique 4D, technologie de plus en plus utilisée en complément du LiDAR pour la robustesse par mauvaise visibilité. La publication en open source, avec documentation complète sur GitHub, vise à en faire une référence pour les futures évaluations comparatives de méthodes de navigation autonome, un domaine où la disponibilité de données de qualité reste un goulot d'étranglement majeur pour l'industrie.

RecherchePaper

1 source

$SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu$

4arXiv cs.RO

SC$^{2}$-WM : un modèle du monde autocorrecteur à boucle de rétroaction fermée pour la navigation vision-langage en environnement continu

Des chercheurs ont publié le 11 août 2026 sur arXiv (référence 2608.07548v1) un article présentant SC²-WM, un modèle du monde auto-correcteur destiné à la navigation par vision et langage en environnement continu (VLN-CE), une tâche où un agent robotique doit suivre des instructions en langage naturel pour se déplacer dans un espace qu'il ne perçoit que partiellement. Contrairement à la plupart des méthodes existantes, qui fonctionnent en boucle ouverte sans mécanisme pour détecter une dérive de leur représentation interne pendant l'exécution, SC²-WM introduit une boucle de rétroaction fermée : le modèle du monde anticipe les conséquences d'une action avant de l'exécuter et affine le plan de navigation au niveau de l'état interne. Pour les cas les plus difficiles, les auteurs ajoutent un mécanisme d'adaptation conditionnelle qui met à jour le modèle du monde lui-même au moment du test, lorsque la rétroaction signale que ses capacités sont insuffisantes pour la situation rencontrée. Les expériences, menées sur les benchmarks standards de VLN-CE, montrent une robustesse et une généralisation améliorées par rapport aux approches en boucle ouverte. Le code est mis à disposition sur GitHub (sunrise-ikun/SC2_WM). Aucun chiffre précis de gain de performance ni comparaison avec des systèmes commerciaux n'est communiqué dans le résumé. Cette contribution touche un point sensible de la navigation robotique par instructions : le fossé entre les démonstrations en simulation et la fiabilité en conditions réelles. Un agent en boucle ouverte accumule des erreurs de perception ou d'interprétation du langage sans pouvoir les corriger, ce qui dégrade rapidement ses performances dès que l'environnement s'écarte des données d'entraînement. En donnant au modèle du monde la capacité de vérifier ses propres prédictions avant d'agir, puis de se réadapter localement quand ses connaissances ne suffisent plus, SC²-WM s'inscrit dans une tendance de fond de la recherche en IA incarnée : rendre les architectures de type modèle du monde ou VLA plus robustes à l'inférence, sans réentraînement complet. Pour les intégrateurs travaillant sur des AMR ou des plateformes mobiles guidées par langage naturel, ce type de mécanisme de correction interne est un prérequis pour sortir des scénarios de laboratoire scriptés et s'approcher d'un déploiement fiable en environnement non structuré. SC²-WM s'inscrit dans la lignée des travaux récents combinant modèles du monde et navigation instruite par le langage, un domaine où la littérature s'est jusqu'ici surtout concentrée sur l'amélioration de la perception et de la planification en boucle ouverte, laissant de côté la correction d'erreurs pendant l'exécution. L'article ne précise ni affiliation institutionnelle ni partenariat industriel ; il s'agit d'une publication de recherche accompagnée d'un code open source, sans annonce de produit ni de déploiement commercial. Les prochaines étapes attendues pour ce type de travaux sont généralement une validation sur des plateformes robotiques physiques et une comparaison directe avec d'autres architectures de navigation par le langage, notamment les approches fondées sur des modèles VLA génériques.

RecherchePaper

1 source