Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
MAMMOTH : une politique multimodale de bout en bout robuste face aux modalités manquantes pour la mobilité tout-terrain
RecherchearXiv cs.RO 

MAMMOTH : une politique multimodale de bout en bout robuste face aux modalités manquantes pour la mobilité tout-terrain

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente MAMMOTH (MAsking Multi-Modal inputs for Off-road Traversability Heuristic-informed navigation), une politique de navigation autonome end-to-end conçue pour les terrains non structurés, publiée sur arXiv le 15 juillet 2026. Le système fusionne quatre modalités de capteurs, la caméra RGB, l'imagerie thermique, le nuage de points 3D issu du lidar et la vitesse propre du robot, pour estimer la praticabilité du terrain et planifier des trajectoires, que ce soit vers un objectif visuel ou en exploration libre. La particularité technique réside dans un entraînement par "modality dropout" : certaines entrées sensorielles sont masquées aléatoirement pendant l'apprentissage, ce qui force le modèle à rester fonctionnel même quand une caméra tombe en panne, qu'un lidar est aveuglé par la poussière ou que la lumière ambiante s'effondre. La planification de trajectoire s'appuie sur une politique de diffusion apprenant conjointement des trajectoires physiquement réalistes et une heuristique de praticabilité intrinsèque. Les auteurs annoncent des tests réels sur robot dans plusieurs environnements tout-terrain distincts, y compris de nuit, avec des gains mesurés en évitement de collision et en planification tenant compte du terrain.

L'enjeu dépasse la démonstration technique : la dépendance quasi exclusive au RGB est le talon d'Achille de nombreux systèmes de navigation off-road actuels, qui échouent dès que l'éclairage devient difficile (contre-jour, ombres, obscurité). En rendant la fusion multimodale tolérante aux pannes de capteurs plutôt que rigide, MAMMOTH s'attaque directement à un écart connu entre démonstrations en conditions idéales et déploiement réel, un enjeu clé pour les robots agricoles, miniers, militaires ou de secours en extérieur.

Le travail s'inscrit dans la lignée des approches de navigation par apprentissage visuo-conditionné et de génération de trajectoires par diffusion, deux axes de recherche actifs en robotique mobile. Code et jeu de données seront publiés, ce qui permettra une évaluation indépendante des performances annoncées, notamment sur la robustesse réelle en cas de perte de capteurs plutôt que sur des scénarios de dropout simulés en laboratoire.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Un modèle basé sur l'attention pour la prévision robuste face aux modalités manquantes
1arXiv cs.RO 

Un modèle basé sur l'attention pour la prévision robuste face aux modalités manquantes

Des chercheurs ont publié le 18 juin 2026 sur arXiv (arXiv:2606.13970) un modèle d'apprentissage multimodal conçu pour fonctionner en présence de données sensorielles incomplètes, une contrainte courante dans les systèmes robotiques réels. L'architecture combine un autoencodeur variationnel conditionnel (CVAE) et un réseau de transformers exploitant des mécanismes d'attention pour produire une représentation vectorielle de dimension fixe, même lorsqu'une ou plusieurs modalités sont absentes, aussi bien en phase d'entraînement qu'à l'inférence. Le modèle a été évalué sur cinq jeux de données multimodaux couvrant deux tâches distinctes : la prédiction de trajectoires humaines et la prévision de manipulations robotiques. Sur l'ensemble de ces benchmarks, il surpasse les approches de fusion multimodale précédemment publiées, selon les métriques rapportées par les auteurs. Ce travail s'attaque à un verrou réel du déploiement robotique : les modèles multimodaux existants supposent quasi-universellement que toutes les modalités (vision, profondeur, proprioception, LiDAR, etc.) sont disponibles simultanément, une hypothèse rarement vérifiée en production. Une caméra obstruée, un capteur de force défaillant ou une latence réseau suffit à faire chuter les performances d'un pipeline classique. En formulant le problème comme un apprentissage conditionnel plutôt qu'une fusion rigide, les auteurs permettent au modèle d'approximer une représentation robuste à partir de l'information partielle disponible, ce qui ouvre la voie à des architectures tolérantes aux pannes sans recourir à des modules de gestion d'exception ad hoc. Pour un intégrateur ou un COO industriel, c'est la promesse de systèmes plus résilients face aux aléas terrain, à condition que les gains en conditions réelles confirment les résultats sur benchmarks. Le problème de la modalité manquante est connu en apprentissage automatique depuis les travaux sur les données tabulaires incomplètes, mais son traitement dans le contexte des robots physiques est resté marginal, la majorité des efforts récents se concentrant sur les architectures VLA (Vision-Language-Action) comme Pi-0 ou GR00T N2, qui présupposent des flux visuels stables. Ce papier s'inscrit dans un courant de recherche plus discret mais potentiellement structurant, aux côtés de travaux sur la robustesse sensorielle et le sim-to-real transfer. L'article est un preprint arXiv non encore évalué par les pairs, et les benchmarks retenus (trajectoires humaines, manipulation) ne couvrent pas des scénarios industriels complexes comme la navigation en entrepôt ou l'assemblage multi-bras. Les prochaines étapes naturelles seraient une validation sur des plateformes physiques réelles et une comparaison avec des approches de type dropout multimodal ou récents travaux sur l'imputation par diffusion.

RecherchePaper
1 source
Abandon ciblé de modalités pour une manipulation robotique réelle robuste aux pertes intermittentes de vision
2arXiv cs.RO 

Abandon ciblé de modalités pour une manipulation robotique réelle robuste aux pertes intermittentes de vision

Des chercheurs proposent le Targeted Modality Dropout (TMD), une méthode d'entraînement pour politiques d'apprentissage par imitation multimodales (vision et autres capteurs). Elle cible un défaut connu: pendant l'entraînement, la politique s'appuie de façon excessive sur la modalité dominante, généralement la vision, et son exécution se dégrade quand cette modalité disparaît à l'inférence. Le TMD estime la dépendance à chaque modalité grâce aux poids d'attention, puis supprime sélectivement la plus dominante. Ce mécanisme est associé à une régularisation par entropie sur la distribution de dépendance, qui empêche la politique de reporter toute sa confiance sur une seule source. Les tests ont été menés sur un robot réel, un manipulateur bimanuel. Lors d'une perte de vision, le taux de réussite de la politique de référence chute nettement, tandis que la politique entraînée avec TMD continue d'exécuter les tâches. Le résumé de l'article ne fournit ni taux de réussite chiffrés, ni nombre de tâches, ni précision sur les modalités testées, ni identité du robot. Pour les intégrateurs et les responsables d'exploitation, l'enjeu est la robustesse en conditions réelles. Les caméras s'occultent, s'éblouissent, se salissent ou se déconnectent, notamment quand un bras ou un objet bloque le champ de vision en pleine manipulation. Une politique qui n'a appris qu'à "regarder" échoue alors précisément quand la tâche exige de la précision, alors qu'une politique capable de se rabattre sur d'autres signaux, comme la proprioception ou le tactile, tolère mieux ces pannes intermittentes. Le résultat sur le dropout conventionnel est aussi instructif. Un dropout tiré au hasard, sans régularisation par entropie, échoue sur de nombreuses tâches même sans perte de vision. La robustesse n'est donc pas gratuite: un masquage mal conçu dégrade la performance nominale. Il faut toutefois rester prudent, car il s'agit d'un préprint (arXiv, v1) sans relecture par les pairs, avec une évaluation qui semble limitée à une plateforme et dont l'ampleur reste à vérifier dans le texte complet. Ce travail s'inscrit dans la montée des politiques multimodales entraînées par imitation, qu'il s'agisse de modèles vision-langage-action (VLA) ou de politiques de diffusion enrichies de signaux de force et de toucher. Ces approches se heurtent au même problème de modalité dominante, déjà traité par des techniques de dropout de modalités, de masquage aléatoire ou d'équilibrage des gradients. La nouveauté revendiquée ici est de remplacer le tirage aléatoire par un ciblage guidé par l'attention de la modalité sur laquelle la politique s'appuie le plus. Les prochaines étapes à surveiller sont la comparaison sur des politiques généralistes à grande échelle, la validation sur plusieurs robots, et la publication du code et des chiffres détaillés. Aucun déploiement industriel ni calendrier de commercialisation n'est annoncé: il s'agit d'une contribution de recherche.

RecherchePaper
1 source
MulDP : politique de diffusion multimodale pour la navigation parkour autonome d'un quadrupède en terrains complexes
3arXiv cs.RO 

MulDP : politique de diffusion multimodale pour la navigation parkour autonome d'un quadrupède en terrains complexes

Des chercheurs ont présenté MulDP (Multimodal Diffusion Policy), décrit dans un article publié en septembre 2026 sur arXiv (arXiv:2609.03984), pour rendre autonome la navigation parkour des robots quadrupèdes. Jusqu'ici, la plupart des systèmes de ce type, même capables de franchir des obstacles complexes, dépendent encore d'un opérateur humain pour la planification de haut niveau. MulDP fusionne perception visuelle, proprioception et information d'objectif pour générer des commandes de vitesse cohérentes et anticipatrices, couplant étroitement perception et contrôle. Les auteurs ont aussi constitué le premier jeu de données dédié à cette tâche, le Quadruped Parkour Navigation Dataset (QPND), couvrant des comportements de navigation variés sur des terrains complexes, et démontrent en simulation comme sur robot réel une navigation autonome robuste sur de longs horizons. Ce résultat vise un goulot d'étranglement connu du secteur : les démonstrations spectaculaires de parkour quadrupède restent souvent scriptées ou pilotées à distance pour la décision de trajectoire, même quand la locomotion bas niveau est déjà autonome. En confiant cette décision à un modèle de diffusion multimodal plutôt qu'à un contrôleur réactif classique, les auteurs cherchent à combler l'écart entre agilité motrice et autonomie cognitive, un enjeu concret pour les intégrateurs voulant déployer des quadrupèdes en inspection ou intervention sur sites accidentés sans supervision humaine constante. La publication du dataset QPND compte potentiellement autant que le modèle lui-même : faute de données standardisées, chaque équipe devait jusqu'ici constituer ses propres scénarios de test, ce qui limitait la comparabilité des résultats entre laboratoires. Le travail s'inscrit dans une lignée de recherches portée par des plateformes comme Spot de Boston Dynamics, ANYmal d'ANYbotics ou les séries Go2 et B2 de Unitree, qui ont démontré des capacités de franchissement d'obstacles impressionnantes mais rarement autonomes de bout en bout. MulDP se positionne face aux approches de contrôle par apprentissage par renforcement pur, en misant sur les modèles de diffusion déjà popularisés en manipulation robotique par des politiques comme Diffusion Policy ou des architectures vision-langage-action telles que Pi-0 et GR00T N2. À ce stade, il s'agit d'une contribution de recherche validée en simulation et sur banc d'essai réel, sans déploiement industriel ni partenariat commercial annoncé, mais QPND ouvre la voie à des comparaisons futures pour d'autres équipes académiques ou industrielles travaillant sur l'autonomie des robots à pattes.

RecherchePaper
1 source
Récupération guidée par renforcement et fusion souple pour l'imitation multimodale robuste aux modalités manquantes
4arXiv cs.RO 

Récupération guidée par renforcement et fusion souple pour l'imitation multimodale robuste aux modalités manquantes

Des chercheurs présentent RL4IL, une méthode d'apprentissage par imitation guidée par renforcement qui s'attaque à un problème concret du déploiement robotique : la défaillance de capteurs en cours d'opération. Publiée en préprint sur arXiv (2606.15514), l'approche sélectionne dynamiquement les démonstrations d'experts les plus pertinentes depuis une bibliothèque d'entraînement, plutôt que d'entraîner un réseau de politique classique. Une politique RL entraînée via Proximal Policy Optimisation (PPO) sur des ensembles de candidats générés par recherche en largeur (BFS) classe ces démonstrations, et une tête de fusion par cross-attention agrège leurs signaux d'action pour produire la prédiction finale. Lorsqu'une modalité est absente à l'inférence, caméra obstruée, flux langage interrompu, une politique RL dédiée par modalité identifie des démonstrations "donneuses" dans la bibliothèque, et une tête d'imputation reconstruit l'embedding manquant par cross-attention sur les meilleures correspondances, sans aucun réentraînement du système. Évaluée sur trois suites du benchmark LIBERO, RL4IL surpasse les méthodes d'apprentissage par imitation de l'état de l'art dans les conditions de perte de capteurs. Ce résultat adresse une hypothèse fragile qui traverse l'ensemble des architectures VLA (Vision-Language-Action) actuelles : la disponibilité permanente de toutes les entrées sensorielles. En conditions réelles, une caméra peut être occultée par un objet, un module langage peut tomber hors ligne, un capteur de profondeur peut saturer. La capacité à inférer sans réentraînement est particulièrement notable pour les intégrateurs industriels : redéployer un modèle en production à chaque nouvelle configuration de panne est prohibitif. RL4IL découple la robustesse à la perte de modalité du coût d'apprentissage, ce qui représente un levier opérationnel concret, à nuancer cependant par l'absence, dans le papier, de tests sur des robots physiques réels. L'apprentissage par imitation fondé sur la récupération de démonstrations (retrieval-based IL) est une direction active depuis les travaux sur VINN et les approches kNN pour la robotique. Les architectures VLA dominantes comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) supposent toutes des capteurs intègres. RL4IL s'inscrit dans une veine de recherche visant à rendre ces systèmes tolérants aux pannes sans modifier leur entraînement initial. Le code est disponible publiquement sur GitHub. Les prochaines étapes naturelles incluent une validation sur manipulateurs physiques et l'extension à des bibliothèques de démonstrations à grande échelle, deux conditions nécessaires pour crédibiliser le passage au déploiement réel.

RecherchePaper
1 source