RecherchearXiv cs.RO 4 septembre 2026

MulDP : politique de diffusion multimodale pour la navigation parkour autonome d'un quadrupède en terrains complexes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté MulDP (Multimodal Diffusion Policy), décrit dans un article publié en septembre 2026 sur arXiv (arXiv:2609.03984), pour rendre autonome la navigation parkour des robots quadrupèdes. Jusqu'ici, la plupart des systèmes de ce type, même capables de franchir des obstacles complexes, dépendent encore d'un opérateur humain pour la planification de haut niveau. MulDP fusionne perception visuelle, proprioception et information d'objectif pour générer des commandes de vitesse cohérentes et anticipatrices, couplant étroitement perception et contrôle. Les auteurs ont aussi constitué le premier jeu de données dédié à cette tâche, le Quadruped Parkour Navigation Dataset (QPND), couvrant des comportements de navigation variés sur des terrains complexes, et démontrent en simulation comme sur robot réel une navigation autonome robuste sur de longs horizons.

Ce résultat vise un goulot d'étranglement connu du secteur : les démonstrations spectaculaires de parkour quadrupède restent souvent scriptées ou pilotées à distance pour la décision de trajectoire, même quand la locomotion bas niveau est déjà autonome. En confiant cette décision à un modèle de diffusion multimodal plutôt qu'à un contrôleur réactif classique, les auteurs cherchent à combler l'écart entre agilité motrice et autonomie cognitive, un enjeu concret pour les intégrateurs voulant déployer des quadrupèdes en inspection ou intervention sur sites accidentés sans supervision humaine constante. La publication du dataset QPND compte potentiellement autant que le modèle lui-même : faute de données standardisées, chaque équipe devait jusqu'ici constituer ses propres scénarios de test, ce qui limitait la comparabilité des résultats entre laboratoires.

Le travail s'inscrit dans une lignée de recherches portée par des plateformes comme Spot de Boston Dynamics, ANYmal d'ANYbotics ou les séries Go2 et B2 de Unitree, qui ont démontré des capacités de franchissement d'obstacles impressionnantes mais rarement autonomes de bout en bout. MulDP se positionne face aux approches de contrôle par apprentissage par renforcement pur, en misant sur les modèles de diffusion déjà popularisés en manipulation robotique par des politiques comme Diffusion Policy ou des architectures vision-langage-action telles que Pi-0 et GR00T N2. À ce stade, il s'agit d'une contribution de recherche validée en simulation et sur banc d'essai réel, sans déploiement industriel ni partenariat commercial annoncé, mais QPND ouvre la voie à des comparaisons futures pour d'autres équipes académiques ou industrielles travaillant sur l'autonomie des robots à pattes.

Dans nos dossiers

Boston Dynamics Unitree IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

PUMA : un modèle de terrain à base de perception pour l'agilité augmentée du parkour quadrupède

Le PUMA (Perception-driven Unified Foothold Prior for Mobility Augmented Parkour) est un nouveau cadre d'apprentissage de bout en bout destine aux robots quadrupèdes pratiquant le parkour, décrit dans une version révisée d'un article arXiv (2601.15995v2). Contrairement aux approches classiques qui séparent perception et contrôle via des contrôleurs hiérarchiques suivant des appuis precalcules, PUMA fusionne perception visuelle et estimation des appuis au sein d'un seul processus d'entrainement. Le système exploite les caractéristiques du terrain pour estimer des "priors" de pose du pied en coordonnées polaires égocentriques, c'est a dire la distance relative et le cap par rapport a l'obstacle, ce qui guide en temps réel l'adaptation posturale du robot. Les auteurs rapportent des expériences menées a la fois en simulation et sur robot réel, sur une variété de terrains discrets et complexes (marches, gaps, obstacles disperses), avec des résultats d'agilité et de robustesse supérieurs aux méthodes de référence dans ces scenarios difficiles. L'enjeu pour l'industrie robotique tient a la limite structurelle des pipelines hiérarchiques encore dominants sur les quadrupèdes commerciaux: un module de perception estime la carte du terrain, un planificateur choisit des points d'appui, puis un contrôleur bas niveau exécuté la trajectoire. Cette chaine rigidifie la réactivité du robot face a des changements de terrain imprévus et brise le lien direct entre ce que le robot voit et ce qu'il fait, ce qui restreint aussi la capacité de l'apprentissage par renforcement a explorer des stratégies motrices originales. En fusionnant perception et priors d'appui dans un entrainement unique, PUMA s'inscrit dans une tendance plus large vers des politiques visuomotrices intégrées, déjà explorées pour la manipulation avec les architectures VLA, et applique cette logique a la locomotion agile. Si les résultats se confirment hors du cadre de publication, cela renforcerait l'hypothèse que l'apprentissage end-to-end peut remplacer des pipelines modulaires plus lourds a maintenir pour les intégrateurs. Le parkour quadrupède s'est impose ces dernières années comme un benchmark standard pour évaluer l'agilité des robots a pattes, dans la lignée de travaux comme Extreme Parkour ou les démonstrations sur plateformes de type ANYmal et Unitree Go. PUMA se positionne dans cette compétition académique en ciblant spécifiquement le problème du foothold sélection, souvent traite séparément de la politique de locomotion. L'article reste a ce stade une contribution de recherche publiée sur arXiv, sans plateforme matérielle commerciale nommée ni annonce de déploiement industriel; les prochaines étapes attendues seraient une validation sur des quadrupèdes du commerce et une comparaison plus directe avec les pipelines hiérarchiques encore utilises en production.

RecherchePaper

1 source

2arXiv cs.RO

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

RechercheActu

1 source

3arXiv cs.RO

PRISM : cartographie multimodale de terrain pour la navigation d'un rover en environnement non structuré

Des chercheurs présentent PRISM, un système de perception multimodale destiné à la cartographie de terrain pour la navigation de rovers en environnements non structurés, dans un article publié sur arXiv (2607.16366v1). Le système s'appuie sur une suite de capteurs personnalisée capturant simultanément des images RGB, de profondeur et thermiques alignées, format noté RGB-D-T. Son cœur algorithmique, baptisé OmniUnet, est un réseau basé sur les vision transformers, conçu spécifiquement pour la segmentation sémantique multimodale de terrain. Les auteurs ont validé leur approche sur deux jeux de données inédits, BASEPROD et LAENTIEC, annotés pour l'occasion, puis testé le système lors d'expériences de terrain réelles. Point notable, PRISM tourne sur un calculateur embarqué aux ressources limitées et génère des cartes de franchissabilité directement exploitables par le sous-système de guidage, navigation et contrôle (GNC) du rover. L'intérêt principal de ces travaux réside dans l'ajout de l'imagerie thermique aux capteurs optiques et de profondeur classiques, une combinaison qui améliore la différenciation des types de terrain, notamment dans des conditions où la seule vision RGB-D peine (faible luminosité, ombres, poussière, végétation ambiguë). Pour l'industrie de la robotique de terrain, planétaire ou tout-terrain, cela répond à un vrai point de friction : la fiabilité de la cartographie de franchissabilité conditionne directement la sécurité de navigation autonome sur pentes raides ou sols rocheux. Le fait que le pipeline complet, capteurs, réseau de segmentation et génération de carte, fonctionne sur du matériel embarqué contraint constitue une démonstration concrète de faisabilité, plutôt qu'une simple preuve de concept en simulation, ce qui distingue ce travail d'approches purement académiques limitées au laboratoire. Ce papier s'inscrit dans une tendance plus large de fusion de capteurs pour la perception robotique en extérieur, où les systèmes purement RGB-D montrent des limites face à la diversité des textures et éclairages du terrain naturel. Contrairement à des annonces de robots humanoïdes très médiatisées, il s'agit ici d'une contribution académique (preprint arXiv, non encore relu par les pairs) centrée sur les rovers et véhicules autonomes tout-terrain, un segment où les acteurs de référence restent les programmes d'exploration planétaire et la robotique de défense ou agricole. Les prochaines étapes attendues concernent l'extension des jeux de données et des essais terrain supplémentaires pour confirmer la robustesse du système dans des conditions plus variées.

RecherchePaper

1 source

4arXiv cs.RO

MAMMOTH : une politique multimodale de bout en bout robuste face aux modalités manquantes pour la mobilité tout-terrain

Une équipe de recherche présente MAMMOTH (MAsking Multi-Modal inputs for Off-road Traversability Heuristic-informed navigation), une politique de navigation autonome end-to-end conçue pour les terrains non structurés, publiée sur arXiv le 15 juillet 2026. Le système fusionne quatre modalités de capteurs, la caméra RGB, l'imagerie thermique, le nuage de points 3D issu du lidar et la vitesse propre du robot, pour estimer la praticabilité du terrain et planifier des trajectoires, que ce soit vers un objectif visuel ou en exploration libre. La particularité technique réside dans un entraînement par "modality dropout" : certaines entrées sensorielles sont masquées aléatoirement pendant l'apprentissage, ce qui force le modèle à rester fonctionnel même quand une caméra tombe en panne, qu'un lidar est aveuglé par la poussière ou que la lumière ambiante s'effondre. La planification de trajectoire s'appuie sur une politique de diffusion apprenant conjointement des trajectoires physiquement réalistes et une heuristique de praticabilité intrinsèque. Les auteurs annoncent des tests réels sur robot dans plusieurs environnements tout-terrain distincts, y compris de nuit, avec des gains mesurés en évitement de collision et en planification tenant compte du terrain. L'enjeu dépasse la démonstration technique : la dépendance quasi exclusive au RGB est le talon d'Achille de nombreux systèmes de navigation off-road actuels, qui échouent dès que l'éclairage devient difficile (contre-jour, ombres, obscurité). En rendant la fusion multimodale tolérante aux pannes de capteurs plutôt que rigide, MAMMOTH s'attaque directement à un écart connu entre démonstrations en conditions idéales et déploiement réel, un enjeu clé pour les robots agricoles, miniers, militaires ou de secours en extérieur. Le travail s'inscrit dans la lignée des approches de navigation par apprentissage visuo-conditionné et de génération de trajectoires par diffusion, deux axes de recherche actifs en robotique mobile. Code et jeu de données seront publiés, ce qui permettra une évaluation indépendante des performances annoncées, notamment sur la robustesse réelle en cas de perte de capteurs plutôt que sur des scénarios de dropout simulés en laboratoire.

RecherchePaper

1 source