Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
MUSE : quantification multimodale de l'incertitude dans l'estimation d'état
RecherchearXiv cs.RO 

MUSE : quantification multimodale de l'incertitude dans l'estimation d'état

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a déposé sur arXiv (référence 2605.17421, mai 2026) un cadre d'apprentissage automatique baptisé MUSE (Multimodal Uncertainty Quantification of State Estimation), conçu pour quantifier en temps réel l'incertitude dans l'estimation d'état visuel. La contribution centrale porte sur l'odométrie visuelle-inertielle (VIO), technique qui fusionne données de caméra et unité de mesure inertielle (IMU) pour localiser un robot sans GPS. MUSE exploite l'architecture Mamba, modèle séquentiel à état discret proposé en 2023 comme alternative efficace aux Transformers, pour traiter plusieurs flux de capteurs asynchrones simultanément. Les expériences ont été conduites sur des jeux de données publics et des données propriétaires ; les auteurs rapportent une fiabilité et une robustesse supérieures aux méthodes existantes, sans fournir dans l'abstract de métriques chiffrées précises permettant une comparaison directe avec l'état de l'art.

L'enjeu dépasse la simple précision de localisation : savoir quand ne pas faire confiance à une estimation est aussi critique que l'estimation elle-même. En navigation autonome, en conduite sans conducteur et en vol autonome, une erreur non détectée peut provoquer une collision ou un abandon de mission. Le problème est particulièrement difficile en VIO car la distribution des erreurs est hétéroscédastique (la variance évolue selon les conditions lumineuses, les textures, la vitesse) et multimodale (plusieurs hypothèses de pose simultanément plausibles). Une quantification d'incertitude fiable ouvre la voie à des mécanismes embarqués de détection de défaillance et de dégradation gracieuse, deux capacités très recherchées par les intégrateurs de systèmes autonomes en industrie.

L'estimation d'état visuel est un domaine très actif, où filtres de Kalman étendus, graphes de facteurs (GTSAM, g2o) et méthodes neuronales récentes (DPVO, DROID-SLAM) se concurrencent sur des benchmarks standard comme EuRoC ou TUM-VI. Mamba gagne du terrain dans les tâches de séquences longues, et MUSE s'inscrit dans cette tendance en l'appliquant à la fusion sensorielle multi-modale. Aucune affiliation institutionnelle ni partenariat industriel n'est mentionné dans l'abstract, et le papier n'a pas encore été soumis à une revue à comité de lecture confirmée. Les performances annoncées restent donc à valider indépendamment avant toute intégration dans un pipeline de production.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Quantification de l'incertitude pour les modèles VLA à base de flux
1arXiv cs.RO 

Quantification de l'incertitude pour les modèles VLA à base de flux

Des chercheurs de la TU Munich ont publié sur arXiv (2606.18043) une méthode pour quantifier l'incertitude des modèles vision-langage-action (VLA) basés sur le flow matching, une classe de modèles qui combine un backbone vision-langage avec une tête génératrice d'actions entraînée sur de larges corpus de données robotiques. Leur approche, baptisée Velocity-Field Disagreement (VFD), exploite le désaccord entre les champs de vitesse d'un petit ensemble de modèles pour estimer l'incertitude épistémique, c'est-à-dire l'incertitude liée au manque de données d'entraînement plutôt qu'au bruit intrinsèque du signal. S'appuyant sur ces estimations, ils proposent SAVE, un cadre d'apprentissage actif multitâche guidé par l'incertitude, validé sur le benchmark LIBERO. Résultat clé : SAVE nécessite au moins 22 % de démonstrations expertes en moins que les baselines pour adapter un VLA à de nouvelles tâches. Ce résultat adresse un problème concret qui freine le déploiement industriel des VLAs : sans mécanisme de confiance, un robot ne sait pas quand il risque d'échouer, ce qui est rédhibitoire dans des environnements non-stationnaires comme une ligne de production évolutive. La détection de défaillance en temps réel qu'offre VFD permettrait d'intégrer un circuit de supervision humain ciblé plutôt que systématique, réduisant directement le coût opérationnel. La réduction de 22 % des démonstrations nécessaires à l'adaptation représente aussi un argument économique fort : collecter des données téléopérées reste la goulot d'étranglement principal du passage à l'échelle des VLAs en production. Les VLAs ont émergé comme paradigme dominant en manipulation robotique depuis les travaux de Physical Intelligence (pi-0, basé sur flow matching), Google DeepMind (RT-2, OpenVLA) et Hugging Face (LeRobot). La limitation identifiée ici -- l'absence de calibration des prédictions -- est connue du secteur mais rarement traitée directement. Le groupe LSY de la TU Munich, spécialisé en apprentissage pour systèmes autonomes, positionne ce travail comme une brique de fiabilité applicable à tout VLA flow-based existant, sans réentraînement complet. Le projet dispose d'un site dédié (tum-lsy.github.io/uq_vla/) et la prochaine étape logique serait une validation sur hardware réel, les expériences actuelles restant confinées au benchmark simulé LIBERO.

UELa TU Munich (institution européenne) publie une brique de fiabilité intégrable dans tout VLA flow-based sans réentraînement complet, ce qui pourrait réduire les coûts de supervision humaine et accélérer le déploiement industriel des VLAs dans les usines européennes.

RechercheOpinion
1 source
NanoBench : un jeu de données multitâche pour l'identification, le contrôle et l'estimation d'état des nano-quadrirotors
2arXiv cs.RO 

NanoBench : un jeu de données multitâche pour l'identification, le contrôle et l'estimation d'état des nano-quadrirotors

NanoBench est un jeu de données benchmark open-source multitâches consacré aux nano-quadrotors, construit à partir du Crazyflie 2.1, plateforme commerciale de 27 grammes au décollage, testée dans une arène équipée d'un système de capture de mouvement Vicon à précision millimétrique. Le dataset regroupe 172 enregistrements de vol répartis en trois catégories : excitation multi-fréquence, suivi de trajectoires géométriques à trois régimes de vitesse, et vol stationnaire longue durée jusqu'à décharge complète de la batterie. Chaque enregistrement synchronise, par corrélation gyroscopique sur une grille de recherche de 1 milliseconde, la vérité terrain Vicon, les données IMU brutes, les estimations du filtre de Kalman étendu embarqué, les variables internes du contrôleur PID et les commandes PWM des moteurs, échantillonnées à 100 Hz, ainsi que la télémétrie batterie à 10 Hz. Le papier, publié sur arXiv (2603.09908v2, version révisée), définit des protocoles d'évaluation standardisés, des répartitions train/test et des lignes de base open-source pour trois tâches : identification de système non linéaire, benchmarking de contrôleurs en boucle fermée, et évaluation de l'estimation d'état embarquée. L'enjeu tient au vide identifié dans les benchmarks aériens existants, calibrés sur des véhicules de plusieurs centaines de grammes à quelques kilogrammes et limités à des données d'état de haut niveau. À l'échelle nano, l'aérodynamique à faible nombre de Reynolds, les non-linéarités des moteurs DC sans noyau et les contraintes de calcul embarqué sévères invalident les modèles et contrôleurs conçus pour des drones plus lourds, sans qu'aucun jeu de données public ne permette jusqu'ici de les recaler avec des signaux au niveau actionneur. Selon les auteurs, NanoBench est le premier dataset public à réunir commandes moteurs, variables internes de contrôleur et sorties d'estimateur avec une vérité terrain millimétrique sur une plateforme nano-aérienne commerciale, ce qui en fait une référence potentielle pour la recherche en contrôle et estimation d'état appliquée aux essaims de micro-drones ou à l'inspection en espaces confinés. Le choix du Crazyflie 2.1 comme plateforme de référence s'explique par son statut de standard de facto dans les laboratoires de robotique aérienne, en raison de son faible coût et de sa large diffusion, ce qui permet une reproductibilité directe des résultats sans matériel propriétaire. La mention "replace" sur arXiv signale une version révisée d'un travail déjà soumis. Les auteurs annoncent la mise à disposition ouverte du dataset complet, des protocoles d'évaluation et des baselines, posant les bases d'une comparaison future des méthodes de modélisation, de contrôle et d'estimation d'état spécifiques aux nano-quadrotors, un segment jusqu'ici sous-desservi par les benchmarks génériques de la robotique aérienne.

UEAucun acteur européen n'est cite, mais le Crazyflie, plateforme standard dans de nombreux laboratoires de robotique aérienne européens, pourrait bénéficier indirectement de ce benchmark.

RecherchePaper
1 source
MIGU : ancrage d'instructions multimodales en contexte incertain pour la planification de manipulation
3arXiv cs.RO 

MIGU : ancrage d'instructions multimodales en contexte incertain pour la planification de manipulation

L'équipe de recherche à l'origine de MIGU (Multimodal Instruction Grounding under Uncertainty) a publié sur arXiv, sous la référence 2609.24995, une nouvelle soumission datée du 22 septembre 2026, un framework destiné à interpréter des instructions humaines combinant langage et gestes pour la manipulation robotique. Le système construit une vraisemblance géométrique en 3D en propageant l'incertitude de direction du regard et de profondeur à travers la géométrie œil-doigt, en tenant compte de l'erreur d'estimation de la direction de la main. En parallèle, un modèle vision-langage (VLM) fournit des a priori sémantiques sur les objets et régions candidats. Ces deux sources sont fusionnées par une approche inspirée de l'inférence bayésienne pour produire une croyance unifiée de désignation. Cette croyance alimente un planificateur de comportement qui décide soit de passer directement à la planification d'action, soit de demander une clarification si l'ambiguïté reste trop forte. Les cibles ainsi désignées définissent les objectifs pour la manipulation mobile et pour la planification tâche-et-mouvement sur table. Sur un benchmark réel, MIGU dépasse toutes les méthodes de référence testées, et les études d'ablation confirment l'apport de la modélisation explicite de l'incertitude multimodale. Le projet est documenté sur multimodal-instruction.github.io. L'enjeu dépasse l'exercice académique: dans un entrepôt, un domicile ou un établissement de soin, une instruction vague accompagnée d'un geste imprécis reste une source majeure d'échec pour un bras ou un robot mobile chargé de manipulation. La plupart des systèmes de désignation fondés sur des VLM ou des architectures VLA traitent le langage ou le geste isolément, ou supposent un signal propre et non ambigu. L'apport de MIGU est de quantifier explicitement l'incertitude de chaque canal et de prévoir une option de clarification plutôt que de forcer une décision hasardeuse, ce qui réduit le risque de saisir le mauvais objet, un défaut coûteux en conditions réelles pour les intégrateurs. La validation sur un benchmark physique, et non en simulation seule, distingue ce travail des démonstrations vidéo sélectives fréquentes dans le secteur. Le travail s'inscrit dans une recherche plus large sur la fiabilité des interfaces homme-robot fondées sur des modèles de fondation multimodaux, alors que des architectures VLA comme GR00T N2, Pi-0 ou Helix se généralisent pour piloter manipulateurs et humanoïdes. Contrairement à un produit commercial, MIGU reste à ce stade une contribution de recherche en prépublication, sans acteur industriel ni calendrier de déploiement annoncés dans l'article. Les suites évoquées portent sur l'intégration de cette brique de désignation dans des chaînes complètes de manipulation mobile et de planification tâche-et-mouvement, sans détail chiffré sur un passage à l'échelle.

RecherchePaper
1 source
Évaluation de l'incertitude et de la qualité des robots à base de VLA
4arXiv cs.RO 

Évaluation de l'incertitude et de la qualité des robots à base de VLA

Des chercheurs publient une étude d'évaluation portant sur les robots pilotés par des modèles Vision-Language-Action (VLA), qui combinent perception visuelle, compréhension du langage naturel et planification d'actions pour exécuter des tâches de façon autonome. Le papier (arXiv:2507.17049) adapte huit métriques d'incertitude et cinq métriques de qualité spécifiquement conçues pour les tâches de manipulation robotique par VLA. L'étude s'appuie sur 908 exécutions de tâches réussies, issues de trois modèles VLA de pointe testés sur quatre tâches de manipulation représentatives et deux morphologies de robots différentes. Des experts du domaine ont annoté manuellement la qualité de chaque exécution, servant ainsi d'oracle humain de référence pour mesurer la corrélation avec les métriques automatiques proposées. L'enjeu dépasse l'exercice académique. Aujourd'hui, la quasi-totalité des benchmarks robotiques VLA se limitent au taux de succès binaire, une tâche est réussie ou échouée, sans mesurer la qualité de l'exécution ni le niveau de confiance du modèle dans ses propres décisions. Pour les intégrateurs et les équipes qui déploient ces modèles en conditions réelles, cette limite est concrète : un robot peut valider une tâche tout en l'exécutant de manière hésitante, dangereuse ou peu répétable, sans que cela apparaisse dans les statistiques de succès. Les auteurs montrent que plusieurs de leurs métriques présentent une corrélation modérée à forte avec le jugement humain, et que certaines permettent même de distinguer des exécutions de bonne, moyenne ou mauvaise qualité parmi les tâches échouées, un cas où l'oracle de succès classique ne fournit aucune information exploitable. Ce travail s'inscrit dans la montée en puissance rapide des architectures VLA ces deux dernières années comme brique centrale des robots humanoïdes et bras manipulateurs, où l'écart entre démonstration et fiabilité réelle reste une question ouverte pour le secteur. En proposant des métriques exploitables sans oracle de succès préexistant, les auteurs ouvrent la voie à du monitoring temps réel et à des mécanismes d'amélioration adaptative pour des robots déployés en production, plutôt qu'à une simple évaluation a posteriori en laboratoire.

RecherchePaper
1 source