RecherchearXiv cs.RO 14 juillet 2026

Traj-VLN : apprentissage de l'interaction dans l'espace des pixels par génération autorégressive de trajectoire

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Traj-VLN, une méthode publiée en prépublication sur arXiv (référence 2607.10744) pour la navigation vision-langage en environnements continus (VLN-CE), où un agent embarqué doit se déplacer dans un lieu inconnu en suivant des instructions en langage naturel du type « marche jusqu'au bout du canapé et tourne à gauche ». Plutôt que d'injecter des données de profondeur ou une géométrie 3D explicite dans le modèle vision-langage (VLM), les auteurs proposent de faire apprendre directement au VLM, par fine-tuning, à générer une trajectoire dans l'espace des pixels de l'image 2D, de façon autorégressive : à partir de l'instruction et de l'historique d'observations, le modèle prédit une séquence de coordonnées de pixels formant un chemin depuis le centre bas de l'image courante. Les auteurs indiquent que cette supervision par trajectoire en pixels, dont un signal proche (le pixel-goal) avait déjà montré sa supériorité sur l'apprentissage d'actions discrètes dans des travaux antérieurs, améliore sensiblement les performances de navigation, et que leur modèle principal atteint un niveau état de l'art avec des ressources de calcul et un volume de données d'entraînement relativement limités.

L'intérêt dépasse l'exercice académique : la navigation vision-langage en continu reste un verrou central pour tout robot mobile ou humanoïde censé exécuter des instructions naturelles dans un environnement non cartographié au préalable, un scénario clé pour la logistique d'entrepôt, l'assistance domestique ou l'inspection industrielle. Le choix de contourner la profondeur et la géométrie 3D est significatif : les VLM généralistes sont entraînés quasi exclusivement sur des conversations autour d'images RGB, et leur faire ingérer des cartes de profondeur ou des nuages de points exige d'ordinaire des architectures spécialisées ou des données rares. En reformulant le problème comme une génération de trajectoire en pixels, modalité que ces modèles maîtrisent déjà nativement, Traj-VLN illustre une tendance de fond du secteur : réutiliser les priors des VLM plutôt que d'entraîner des chaînes de perception 3D dédiées, ce qui pourrait réduire le coût d'intégration pour les fabricants de robots mobiles autonomes (AMR) et les intégrateurs cherchant à connecter leurs plateformes à des VLM existants.

Ce travail s'inscrit dans la lignée des approches vision-langage-action (VLA) qui, ces deux dernières années, cherchent à faire des sorties en pixels ou en points-objectifs une interface universelle entre perception et action, aussi bien pour la manipulation que pour la navigation. Le résumé du papier ne précise ni les benchmarks utilisés, ni les chiffres de performance exacts, ni la disponibilité du code ou des poids, ce qui invite à la prudence tant que ces éléments ne sont pas comparés indépendamment aux systèmes concurrents. Publié comme simple prépublication arXiv (catégorie « cross »), Traj-VLN n'est rattaché à aucun laboratoire nommé ni à un acteur français ou européen dans les informations disponibles ; la suite logique, comme pour la plupart des travaux VLN académiques, sera une évaluation sur des benchmarks standards du domaine (R2R, RxR ou équivalents en continu) et, potentiellement, un transfert au delà de la simulation vers des plateformes robotiques réelles.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

HIGenNTO : génération évolutive d'interactions humanoïdes par optimisation de trajectoire dans l'espace de bruit

Des chercheurs présentent HIGenNTO (Humanoid Interaction Generation via Noise-space Trajectory Optimization), décrit dans un article publié sur arXiv le 22 septembre 2026 (arXiv:2609.22611v1). Le framework s'attaque à un problème concret de l'apprentissage par imitation chez les robots humanoïdes : les références de mouvement issues de capture de mouvement (motion capture) se dégradent en cas d'occlusion ou de contact physique rapproché, et le retargeting vers un squelette robotique introduit des incohérences géométriques et de contact. La méthode optimise le bruit initial d'un modèle de mouvement pré-entraîné et conditionné par texte, sous des contraintes spatio-temporelles et de scène éparses, afin de générer des trajectoires d'interaction humanoïde-scène qui respectent les contacts souhaités, évitent les collisions et conservent un appui stable, tout en préservant le réalisme du modèle de base. Ces mouvements, générés depuis zéro ou composés en séquences longues par étapes, sont ensuite exécutés par des politiques de suivi en simulation, puis utilisés pour entraîner des politiques visuomotrices conditionnées par la profondeur, fonctionnant uniquement avec les capteurs embarqués. L'équipe a déployé ces politiques sur un robot Unitree G1 pour quatre tâches riches en contacts, parmi huit tâches évaluées au total, dont trois ont été proposées et compilées (prompts, contraintes, scènes) par un agent de codage autonome. L'intérêt principal tient au contournement d'un goulot d'étranglement connu du secteur : la difficulté d'obtenir des données de démonstration fiables pour des interactions physiques complexes (s'asseoir, pousser, manipuler un objet), sans dépendre de capture de mouvement humaine coûteuse et imparfaite. Le recours à un agent de codage pour générer automatiquement des spécifications de tâches ouvre une piste de mise à l'échelle des pipelines de données, un enjeu central pour les laboratoires qui développent des modèles VLA comme Pi-0, GR00T N2 ou Helix. Il faut toutefois noter l'échelle limitée de la démonstration, huit tâches seulement, dont quatre validées sur robot réel, ce qui en fait une preuve de concept académique plutôt qu'un système prêt pour un déploiement industriel. Le choix du Unitree G1, plateforme largement utilisée en recherche académique pour son coût accessible, situe ce travail dans la lignée des efforts combinant modèles génératifs de mouvement et politiques d'exécution par simulation, sans acteur commercial ni implication d'un intégrateur français ou européen. Aucun calendrier de pilote industriel n'est annoncé, le travail restant à ce stade cantonné à la validation en laboratoire et à l'extension future du nombre de tâches couvertes.

RecherchePaper

1 source

2arXiv cs.RO

SCREP : génération de trajectoires perceptuelles par régression de coordonnées de scène et apprentissage évidentiel

Des chercheurs ont publié sur arXiv (référence 2507.07467v3) SCREP, un planificateur de trajectoire dit "perception-aware" conçu pour les drones autonomes évoluant en intérieur sans signal GPS. Le système repose sur la régression de coordonnées de scène (SCR, ou Scene Coordinate Regression) couplée à un apprentissage évidentiel : au lieu d'effectuer une reconstruction de carte 3D par appariement de features (approche classique mais coûteuse en calcul et en stockage), le réseau prédit directement les coordonnées 3D associées à chaque pixel de l'image embarquée, ce qui permet une estimation de pose absolue en temps réel. Un optimiseur de trajectoire à horizon glissant (receding-horizon) oriente activement la caméra vers les zones de la scène présentant la plus faible incertitude de localisation. Un lisseur à retard fixe (fixed-lag smoother) fusionne ensuite les estimations de pose SCR, de basse fréquence, avec les données IMU haute fréquence pour produire une estimation de pose continue et de haute qualité. En simulation, SCREP réduit l'erreur quadratique moyenne (RMSE) de translation d'au moins 4,9 % et celle de rotation d'au moins 30,8 % par rapport aux méthodes de référence. Des expériences hardware-in-the-loop valident la faisabilité dans des conditions proches du déploiement réel. L'intérêt industriel de cette approche tient à deux tensions classiques dans la navigation autonome en intérieur : la scalabilité des cartes de localisation visuelle et le coût de calcul embarqué. Les méthodes par appariement de features (comme celles utilisées dans ORB-SLAM ou HLoc) imposent une reconstruction préalable de la carte et souffrent d'une explosion mémoire dans les grands environnements entrepôts ou industriels. La SCR résout ce problème par un réseau compact appris offline, directement exploitable onboard sur un calculateur de drone. L'apport d'SCREP va plus loin : en intégrant l'incertitude estimée dans la boucle de planification de trajectoire, le système évite activement les zones visuellement ambiguës plutôt que de subir leur dégradation localement. C'est un changement de paradigme notable par rapport aux planificateurs classiques qui traitent la localisation comme une boîte noire externe. Pour un intégrateur ou un décideur industriel déployant des drones d'inspection ou d'inventaire, cela réduit le risque de dérive de pose dans les couloirs peu texturés ou les allées sombres. La navigation en environnement GPS-denied est un verrou technique persistant pour les drones d'intérieur autonomes, avec une communauté de recherche active depuis une décennie autour de VIO (Visual-Inertial Odometry), SLAM et, plus récemment, des méthodes apprises comme NeRF ou les champs de scène implicites. La SCR elle-même est une alternative proposée initialement par la communauté relocalisation visuelle (travaux pionniers Microsoft Research, DSAC++), mais son application dans une boucle de planification proactive reste peu explorée. SCREP se positionne comme une contribution de recherche académique, présentée sous forme de preprint arXiv sans affiliation industrielle identifiée ni annonce de déploiement commercial. Les résultats hardware-in-the-loop sont encourageants mais ne constituent pas une validation terrain à grande échelle. Les concurrents directs incluent les approches VIO+planification certifiée (ETH Zurich, MIT CSAIL), ainsi que des acteurs industriels comme Skydio ou Exotec pour la navigation autonome en entrepôt. Les prochaines étapes attendues seraient une évaluation sur des environnements réels de grande dimension et une comparaison avec des champs de scène neuraux récents comme l'iNeRF ou les Gaussian Splats.

UEImpact indirect sur Exotec (France) et autres opérateurs européens de drones d'entrepôt : si l'approche SCR+planification proactive se confirme à l'échelle terrain, elle pourrait réduire le coût des cartes de localisation visuelle dans les grands entrepôts logistiques européens.

RecherchePaper

1 source

3arXiv cs.RO

MinInter : minimiser l'interpolation de trajectoire lors de l'augmentation de données pour l'apprentissage par imitation

Une équipe de chercheurs a publié en juin 2026 sur arXiv (arXiv:2606.24078) une méthode baptisée MinInter (Minimizing Interpolation), destinée à améliorer la qualité des données synthétiques générées lors de l'apprentissage par imitation pour la manipulation robotique. Le principe est ciblé : lorsqu'un pipeline d'augmentation de données recompose des démonstrations d'experts à partir de configurations initiales variées, il doit typiquement intercaler des segments d'interpolation entre les morceaux de trajectoire, segments qui ne correspondent à aucun comportement expert et dégradent la qualité des données générées. MinInter résout ce problème en sélectionnant, pour chaque configuration initiale échantillonnée, la démonstration source qui nécessite le moins d'interpolation pour former une trajectoire complète. Sur le benchmark MimicGen, la méthode a été évaluée sur 12 tâches de manipulation couvrant 26 variantes, et améliore systématiquement à la fois les taux de succès de génération de données et les taux de succès des politiques apprises, avec les gains les plus importants sur les tâches dites contact-rich (en contact physique intensif), long-horizon (longues séquences d'actions) et high-variance (configurations initiales très dispersées). L'intérêt principal de MinInter réside dans sa capacité à améliorer la qualité des données sans modifier l'architecture du pipeline d'augmentation existant : la méthode est compatible avec les frameworks actuels et agit uniquement sur la stratégie de sélection de trajectoire. C'est un levier pratique pour les laboratoires qui cherchent à réduire le coût humain de la collecte de démonstrations tout en maintenant la qualité des politiques apprises. Les résultats sur les tâches contact-rich sont particulièrement notables, car ce type de tâche est historiquement difficile à traiter par augmentation synthétique, les dynamiques de contact étant sensibles aux discontinuités introduites par les segments d'interpolation. La surperformance face à SkillGen, un framework récent et plus complexe, questionne l'utilité d'approches sophistiquées quand une heuristique de sélection bien ciblée suffit. Le contexte est celui de la montée en puissance de l'apprentissage par imitation (IL) comme alternative au reinforcement learning pour la robotique de manipulation, notamment avec des méthodes comme BC (Behavioral Cloning), ACT ou Diffusion Policy. MimicGen, le benchmark utilisé, est devenu une référence du domaine pour comparer les méthodes d'augmentation de trajectoire. MinInter s'inscrit dans la même lignée que SkillGen (2024), mais avec une philosophie de minimalisme algorithmique. La prochaine étape logique serait de valider ces gains sur du matériel réel, où les dynamiques de contact et la variabilité du monde physique dépassent largement ce que les simulateurs capturent, et où le sim-to-real gap reste la principale incertitude non résolue.

UELes laboratoires européens travaillant sur l'apprentissage par imitation (INRIA, CEA-List, universités techniques) peuvent intégrer directement MinInter dans leurs pipelines d'augmentation MimicGen sans modifier leur architecture existante.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage dans l'espace de bruit pour l'adaptation des modèles VLA

Des chercheurs proposent le « Noise Space Learning » (NSL), une méthode d'adaptation des modèles vision-langage-action (VLA) fondés sur le flow matching, décrite dans un preprint arXiv (2610.13943v1). Le principe est de laisser le VLA préentraîné entièrement figé et d'apprendre à la place une distribution conditionnelle sur le bruit initial qui alimente le processus génératif. Cette distribution dépend du contexte, c'est-à-dire de l'observation et de la tâche. Les auteurs formalisent NSL comme une interface générique d'adaptation, compatible avec plusieurs algorithmes d'apprentissage. Ils l'instancient avec trois d'entre eux: PPO et SAC (apprentissage par renforcement) et AWR (régression pondérée par l'avantage). L'évaluation porte sur les benchmarks de simulation LIBERO et RoboTwin, ainsi que sur quatre tâches de manipulation sur robot réel. Le résumé ne chiffre ni gains de succès, ni nombre d'interactions, ni nom de robot. L'intérêt pratique tient à la contrainte que la méthode cherche à lever. Les VLA préentraînés encodent de larges priors de manipulation, mais les spécialiser à une tâche ou un site exige d'arbitrer entre interactions robot limitées, budget de calcul et contraintes de sécurité. Un fine-tuning complet de modèles de plusieurs milliards de paramètres est coûteux, et l'exploration en ligne sur matériel réel est risquée. Agir sur l'espace de bruit réduit l'espace de recherche et laisse le modèle de base intact. Cela facilite le déploiement, car une même base peut servir plusieurs politiques d'adaptation légères. Les auteurs revendiquent aussi une analyse théorique, fondée sur la théorie de l'information, qui explique pourquoi cette adaptation est efficace. Sa portée reste à vérifier dans le texte complet. Surtout, le travail ne se limite pas à un algorithme: il compare des variantes et en tire des recommandations selon les régimes de ressources et de déploiement. Cette comparaison est utile aux intégrateurs, qui doivent choisir entre efficacité en données, coût de calcul et sûreté d'exécution. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail prolonge les méthodes de « noise steering » existantes, qui exploitent le fait que les politiques de diffusion et de flow matching transforment un bruit gaussien en actions. Piloter ce bruit permet d'orienter le comportement sans toucher aux poids, une idée déjà explorée pour des politiques de diffusion. Elle gagne en pertinence avec la généralisation des VLA à base de flow matching, comme la famille Pi-0 de Physical Intelligence. D'autres approches d'adaptation concurrentes passent par le fine-tuning supervisé, l'apprentissage par renforcement des poids ou les adaptateurs de type LoRA. LIBERO et RoboTwin sont des benchmarks établis, mais la simulation ne garantit pas la robustesse en production, et quatre tâches réelles restent un échantillon modeste. La suite dépendra de la publication du code, de la validation par relecture, et de résultats sur des tâches plus longues ou plus variées.

RecherchePaper

1 source