RecherchearXiv cs.RO 14 juillet 2026

Traj-VLN : apprentissage de l'interaction dans l'espace des pixels par génération autorégressive de trajectoire

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Traj-VLN, une méthode publiée en prépublication sur arXiv (référence 2607.10744) pour la navigation vision-langage en environnements continus (VLN-CE), où un agent embarqué doit se déplacer dans un lieu inconnu en suivant des instructions en langage naturel du type « marche jusqu'au bout du canapé et tourne à gauche ». Plutôt que d'injecter des données de profondeur ou une géométrie 3D explicite dans le modèle vision-langage (VLM), les auteurs proposent de faire apprendre directement au VLM, par fine-tuning, à générer une trajectoire dans l'espace des pixels de l'image 2D, de façon autorégressive : à partir de l'instruction et de l'historique d'observations, le modèle prédit une séquence de coordonnées de pixels formant un chemin depuis le centre bas de l'image courante. Les auteurs indiquent que cette supervision par trajectoire en pixels, dont un signal proche (le pixel-goal) avait déjà montré sa supériorité sur l'apprentissage d'actions discrètes dans des travaux antérieurs, améliore sensiblement les performances de navigation, et que leur modèle principal atteint un niveau état de l'art avec des ressources de calcul et un volume de données d'entraînement relativement limités.

L'intérêt dépasse l'exercice académique : la navigation vision-langage en continu reste un verrou central pour tout robot mobile ou humanoïde censé exécuter des instructions naturelles dans un environnement non cartographié au préalable, un scénario clé pour la logistique d'entrepôt, l'assistance domestique ou l'inspection industrielle. Le choix de contourner la profondeur et la géométrie 3D est significatif : les VLM généralistes sont entraînés quasi exclusivement sur des conversations autour d'images RGB, et leur faire ingérer des cartes de profondeur ou des nuages de points exige d'ordinaire des architectures spécialisées ou des données rares. En reformulant le problème comme une génération de trajectoire en pixels, modalité que ces modèles maîtrisent déjà nativement, Traj-VLN illustre une tendance de fond du secteur : réutiliser les priors des VLM plutôt que d'entraîner des chaînes de perception 3D dédiées, ce qui pourrait réduire le coût d'intégration pour les fabricants de robots mobiles autonomes (AMR) et les intégrateurs cherchant à connecter leurs plateformes à des VLM existants.

Ce travail s'inscrit dans la lignée des approches vision-langage-action (VLA) qui, ces deux dernières années, cherchent à faire des sorties en pixels ou en points-objectifs une interface universelle entre perception et action, aussi bien pour la manipulation que pour la navigation. Le résumé du papier ne précise ni les benchmarks utilisés, ni les chiffres de performance exacts, ni la disponibilité du code ou des poids, ce qui invite à la prudence tant que ces éléments ne sont pas comparés indépendamment aux systèmes concurrents. Publié comme simple prépublication arXiv (catégorie « cross »), Traj-VLN n'est rattaché à aucun laboratoire nommé ni à un acteur français ou européen dans les informations disponibles ; la suite logique, comme pour la plupart des travaux VLN académiques, sera une évaluation sur des benchmarks standards du domaine (R2R, RxR ou équivalents en continu) et, potentiellement, un transfert au delà de la simulation vers des plateformes robotiques réelles.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

SCREP : génération de trajectoires perceptuelles par régression de coordonnées de scène et apprentissage évidentiel

Des chercheurs ont publié sur arXiv (référence 2507.07467v3) SCREP, un planificateur de trajectoire dit "perception-aware" conçu pour les drones autonomes évoluant en intérieur sans signal GPS. Le système repose sur la régression de coordonnées de scène (SCR, ou Scene Coordinate Regression) couplée à un apprentissage évidentiel : au lieu d'effectuer une reconstruction de carte 3D par appariement de features (approche classique mais coûteuse en calcul et en stockage), le réseau prédit directement les coordonnées 3D associées à chaque pixel de l'image embarquée, ce qui permet une estimation de pose absolue en temps réel. Un optimiseur de trajectoire à horizon glissant (receding-horizon) oriente activement la caméra vers les zones de la scène présentant la plus faible incertitude de localisation. Un lisseur à retard fixe (fixed-lag smoother) fusionne ensuite les estimations de pose SCR, de basse fréquence, avec les données IMU haute fréquence pour produire une estimation de pose continue et de haute qualité. En simulation, SCREP réduit l'erreur quadratique moyenne (RMSE) de translation d'au moins 4,9 % et celle de rotation d'au moins 30,8 % par rapport aux méthodes de référence. Des expériences hardware-in-the-loop valident la faisabilité dans des conditions proches du déploiement réel. L'intérêt industriel de cette approche tient à deux tensions classiques dans la navigation autonome en intérieur : la scalabilité des cartes de localisation visuelle et le coût de calcul embarqué. Les méthodes par appariement de features (comme celles utilisées dans ORB-SLAM ou HLoc) imposent une reconstruction préalable de la carte et souffrent d'une explosion mémoire dans les grands environnements entrepôts ou industriels. La SCR résout ce problème par un réseau compact appris offline, directement exploitable onboard sur un calculateur de drone. L'apport d'SCREP va plus loin : en intégrant l'incertitude estimée dans la boucle de planification de trajectoire, le système évite activement les zones visuellement ambiguës plutôt que de subir leur dégradation localement. C'est un changement de paradigme notable par rapport aux planificateurs classiques qui traitent la localisation comme une boîte noire externe. Pour un intégrateur ou un décideur industriel déployant des drones d'inspection ou d'inventaire, cela réduit le risque de dérive de pose dans les couloirs peu texturés ou les allées sombres. La navigation en environnement GPS-denied est un verrou technique persistant pour les drones d'intérieur autonomes, avec une communauté de recherche active depuis une décennie autour de VIO (Visual-Inertial Odometry), SLAM et, plus récemment, des méthodes apprises comme NeRF ou les champs de scène implicites. La SCR elle-même est une alternative proposée initialement par la communauté relocalisation visuelle (travaux pionniers Microsoft Research, DSAC++), mais son application dans une boucle de planification proactive reste peu explorée. SCREP se positionne comme une contribution de recherche académique, présentée sous forme de preprint arXiv sans affiliation industrielle identifiée ni annonce de déploiement commercial. Les résultats hardware-in-the-loop sont encourageants mais ne constituent pas une validation terrain à grande échelle. Les concurrents directs incluent les approches VIO+planification certifiée (ETH Zurich, MIT CSAIL), ainsi que des acteurs industriels comme Skydio ou Exotec pour la navigation autonome en entrepôt. Les prochaines étapes attendues seraient une évaluation sur des environnements réels de grande dimension et une comparaison avec des champs de scène neuraux récents comme l'iNeRF ou les Gaussian Splats.

UEImpact indirect sur Exotec (France) et autres opérateurs européens de drones d'entrepôt : si l'approche SCR+planification proactive se confirme à l'échelle terrain, elle pourrait réduire le coût des cartes de localisation visuelle dans les grands entrepôts logistiques européens.

RecherchePaper

1 source

2arXiv cs.RO

MinInter : minimiser l'interpolation de trajectoire lors de l'augmentation de données pour l'apprentissage par imitation

Une équipe de chercheurs a publié en juin 2026 sur arXiv (arXiv:2606.24078) une méthode baptisée MinInter (Minimizing Interpolation), destinée à améliorer la qualité des données synthétiques générées lors de l'apprentissage par imitation pour la manipulation robotique. Le principe est ciblé : lorsqu'un pipeline d'augmentation de données recompose des démonstrations d'experts à partir de configurations initiales variées, il doit typiquement intercaler des segments d'interpolation entre les morceaux de trajectoire, segments qui ne correspondent à aucun comportement expert et dégradent la qualité des données générées. MinInter résout ce problème en sélectionnant, pour chaque configuration initiale échantillonnée, la démonstration source qui nécessite le moins d'interpolation pour former une trajectoire complète. Sur le benchmark MimicGen, la méthode a été évaluée sur 12 tâches de manipulation couvrant 26 variantes, et améliore systématiquement à la fois les taux de succès de génération de données et les taux de succès des politiques apprises, avec les gains les plus importants sur les tâches dites contact-rich (en contact physique intensif), long-horizon (longues séquences d'actions) et high-variance (configurations initiales très dispersées). L'intérêt principal de MinInter réside dans sa capacité à améliorer la qualité des données sans modifier l'architecture du pipeline d'augmentation existant : la méthode est compatible avec les frameworks actuels et agit uniquement sur la stratégie de sélection de trajectoire. C'est un levier pratique pour les laboratoires qui cherchent à réduire le coût humain de la collecte de démonstrations tout en maintenant la qualité des politiques apprises. Les résultats sur les tâches contact-rich sont particulièrement notables, car ce type de tâche est historiquement difficile à traiter par augmentation synthétique, les dynamiques de contact étant sensibles aux discontinuités introduites par les segments d'interpolation. La surperformance face à SkillGen, un framework récent et plus complexe, questionne l'utilité d'approches sophistiquées quand une heuristique de sélection bien ciblée suffit. Le contexte est celui de la montée en puissance de l'apprentissage par imitation (IL) comme alternative au reinforcement learning pour la robotique de manipulation, notamment avec des méthodes comme BC (Behavioral Cloning), ACT ou Diffusion Policy. MimicGen, le benchmark utilisé, est devenu une référence du domaine pour comparer les méthodes d'augmentation de trajectoire. MinInter s'inscrit dans la même lignée que SkillGen (2024), mais avec une philosophie de minimalisme algorithmique. La prochaine étape logique serait de valider ces gains sur du matériel réel, où les dynamiques de contact et la variabilité du monde physique dépassent largement ce que les simulateurs capturent, et où le sim-to-real gap reste la principale incertitude non résolue.

UELes laboratoires européens travaillant sur l'apprentissage par imitation (INRIA, CEA-List, universités techniques) peuvent intégrer directement MinInter dans leurs pipelines d'augmentation MimicGen sans modifier leur architecture existante.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage d'une politique de suivi de trajectoire asynchrone dans l'espace des tâches du haut du corps pour robots humanoïdes

Des chercheurs ont publié le 25 juin 2026 sur arXiv (preprint 2606.25706) un cadre de contrôle baptisé "asynchronous upper body task-space tracking" pour robots humanoïdes. Le problème qu'ils adressent est architectural : les planificateurs de haut niveau génèrent des trajectoires dans l'espace des tâches à faible fréquence (quelques Hz), alors que les contrôleurs de corps entier tournent à haute fréquence (typiquement plusieurs centaines de Hz). Cette désynchronisation temporelle entre planification et exécution produit des dérives de référentiel et des incohérences dans le contrôle. Pour y remédier, l'équipe propose une politique étudiante initialisée par distillation enseignant-étudiant, conditionnée sur la trajectoire future complète mise en cache et un index d'exécution temporel, puis entraînée avec une récompense globale à fenêtre glissante. Un module MPC (Model Predictive Control) complète les références creuses en guidage corps flottant et membre supérieur, tandis que des contraintes au niveau des actions et de la cinématique directe (FK) limitent la dérive de la politique. Les expériences ont été conduites en simulation et sur le robot Unitree G1, un humanoïde commercial à 23 degrés de liberté. Ce travail touche un goulot d'étranglement concret qui freine la commercialisation des humanoïdes : la chaîne planification-exécution reste fragmentée dans la quasi-totalité des architectures actuelles, forçant des compromis entre réactivité et cohérence de mouvement. Le fait que la politique obtienne de meilleures performances que les baselines synchrones et découplées, et qu'elle s'adapte plus sûrement aux mouvements hors distribution, suggère une progression vers un déploiement robuste en environnement non contrôlé. L'approche sans estimation explicite de référentiel réduit aussi la charge computationnelle, ce qui est pertinent pour les intégrateurs industriels cherchant à embarquer le traitement. Toutefois, il s'agit d'un preprint non encore évalué par les pairs, et les métriques de suivi de trajectoire présentées restent contextualisées à des scénarios de laboratoire ; la généralisabilité à des tâches industrielles réelles reste à démontrer. Unitree Robotics, fabricant chinois fondé en 2016, s'est imposé comme fournisseur de plateformes de recherche abordables avec des robots quadrupèdes puis le G1 humanoïde. Ce contexte explique le choix du matériel : le G1 est accessible à de nombreux labos académiques, ce qui élargit la portée reproductible des résultats. Sur le fond, la course à la maîtrise du pipeline planification-exécution pour les humanoïdes mobilise simultanément Figure (02 et bientôt 03), Tesla Optimus, Agility Robotics, 1X Technologies et les laboratoires académiques liés à Physical Intelligence (Pi-0) et à NVIDIA (GR00T N2). La distillation enseignant-étudiant couplée au MPC comme module de complétion de trajectoire s'inscrit dans une tendance plus large : combler le sim-to-real gap par des architectures hybrides apprises/optimisées plutôt que par du RL pur. Les prochaines étapes naturelles seraient une validation sur des cycles de manipulation répétitifs en cadence industrielle et une intégration avec des VLA (Vision-Language-Action models) pour fermer la boucle perception-planification-exécution.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de la manipulation d'objets depuis zéro par interaction contrastive

Une équipe de chercheurs propose sur arXiv (réf. 2606.11525, juin 2025) une méthode baptisée Interaction-weighted Resampling (IWR) pour améliorer l'apprentissage par renforcement contrastif (CRL) appliqué à la manipulation robotique. Le CRL apprend des représentations structurées des dynamiques pour résoudre des tâches conditionnées par objectif, mais peinait à gérer les contacts et les saisies. L'article formalise ce problème en modélisant la dynamique de manipulation comme un processus de Markov lisse par morceaux : les changements de mode induits par les contacts créent des structures d'accessibilité non linéaires que les fonctions d'énergie CRL standard ne représentent pas correctement. L'IWR rééchantillonne de manière pondérée autour des trois phases clés (avant, pendant et après le contact) pour que la représentation apprise préserve ces frontières de mode. En simulation, la méthode améliore de 19,8 % en moyenne les performances par rapport aux méthodes CRL existantes sur plusieurs environnements (contrôle 2D dynamique, manipulation, hockey sur table). En transfert sim-to-real, un agent de hockey sur table conditionné par objectif voit son taux de réussite passer de 25 % à 60 %. Ce résultat est notable pour les équipes qui misent sur le RL pur pour la manipulation, un domaine dominé depuis 2023 par l'imitation learning et les politiques de diffusion comme ACT, Diffusion Policy ou pi-0. Le principal obstacle, la discontinuité dynamique liée aux contacts, était jusqu'ici contourné par des démonstrations humaines ou des curricula manuels ; IWR propose une approche mathématiquement fondée pour l'attaquer sans supervision. La progression de 25 % à 60 % en conditions réelles reste cependant modeste, et le domaine de test (hockey sur table planaire, tâche répétitive et bien contrainte) est éloigné de la dextérité multidimensionnelle requise en milieu industriel. Aucune comparaison directe avec des architectures VLA ou diffusion policy sur des benchmarks communs n'est fournie dans le preprint. Le CRL pour la manipulation avait été porté par des travaux issus de Berkeley et de Google DeepMind (GCRL, QuaSAR), sans jamais franchir le verrou du contact-rich. Ce preprint arXiv de juin 2025, non encore soumis à peer-review, s'inscrit dans un effort académique plus large face à la montée en puissance des VLA comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné ; le projet reste à un stade de recherche fondamentale. Le code et les démonstrations vidéo sont disponibles sur la page projet IWR-arxiv.github.io.

RecherchePaper

1 source