Le MIT conçoit un système robotique qui permet aux machines d'effacer et de réécrire leurs mauvais souvenirs

Des chercheurs du MIT ont mis au point UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment), un système qui permet à un robot de repérer, d'évaluer puis de corriger les descriptions peu fiables d'objets stockées dans sa mémoire. Il prolonge le cadre DAAAM, où un modèle vision-langage (VLM) génère des descriptions détaillées des objets vus par les caméras embarquées et les range dans une représentation cartographique en trois dimensions de l'environnement. Le robot s'appuie ensuite sur cette carte pour répondre à des questions ou exécuter des tâches. UQ-DAAAM calcule d'abord la confiance du modèle dans les mots qu'il produit pour décrire un objet suspect. Il mesure ensuite la cohérence de cette description avec les légendes générées à partir d'images du même objet prises sous d'autres angles. Les deux mesures sont fusionnées en un score d'incertitude unique. Au-delà d'un seuil prédéfini, la description est jugée douteuse et un raffinement s'enclenche. Une règle sélectionne alors quelques vues utiles, sans analyser toutes les images, et un grand modèle de langage (LLM) fusionne leurs descriptions en une légende révisée, en pondérant davantage les descriptions récentes et les moins ambiguës. Lors des tests, ce raffinement a levé les ambiguïtés dans environ 92 % des cas, d'après les chercheurs.

L'enjeu est la fiabilité de la mémoire sémantique, un point faible des robots pilotés par des VLM. Un objet partiellement visible, lointain, flou ou mal éclairé peut être mal décrit. L'exemple donné est une cheminée grise prise pour un écureuil sur un toit. Sans mécanisme de correction, l'erreur reste en mémoire et contamine la navigation comme la planification. Pour un intégrateur ou un responsable d'exploitation, le point notable est que la correction a lieu pendant que le robot se déplace, sans recalcul coûteux. Les auteurs affirment avoir démontré mathématiquement que leur méthode de sélection des vues identifie les images utiles sans relancer le VLM à répétition, ce qui la rend compatible avec des ressources de calcul limitées. Il reste à voir comment elle se comporte hors laboratoire. Le taux de 92 % vient des auteurs eux-mêmes, et rien n'indique ici le jeu de données, les conditions de test ni le type d'erreurs traitées. Rien n'est annoncé non plus sur un déploiement industriel ou un produit. Il s'agit d'un résultat de recherche, pas d'un système livré.

Ce travail s'inscrit dans l'effort général pour rendre les modèles de fondation plus sûrs en robotique. Les VLM et les architectures VLA (vision-langage-action) sont performants en démonstration, mais leurs hallucinations deviennent un risque dès que leurs sorties alimentent une mémoire persistante. La quantification d'incertitude, longtemps cantonnée à l'apprentissage automatique classique, gagne donc du terrain dans les piles de perception et de planification des robots. DAAAM visait déjà à doter les robots d'une mémoire consultable en langage naturel, et UQ-DAAAM y ajoute une couche d'autocontrôle. Les suites logiques seraient des évaluations sur plateformes mobiles réelles, dans des environnements plus variés et plus dynamiques, puis une intégration avec des modèles de décision de plus haut niveau. Aucun calendrier, partenaire industriel ni pilote n'est mentionné à ce stade.