Aller au contenu principal
PreSIST : prédire la persistance des objets via vision-langage dans des scènes en monde ouvertIllustration générée par IA
RecherchearXiv cs.RO 

PreSIST : prédire la persistance des objets via vision-langage dans des scènes en monde ouvert

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent PreSIST (Predictive Scene-conditioned Instance Survival over Time), une méthode qui permet à un robot de prédire combien de temps un objet va rester à sa position observée, plutôt que de simplement constater après coup qu'il a bougé. Le système combine des estimations de "priors" de persistance, calculées à partir des propriétés de l'objet et du contexte de la scène, avec un filtre probabiliste qui affine ces prédictions au fil des nouvelles observations. Deux variantes ont été développées : PreSIST-Lang, qui s'appuie directement sur un modèle vision-langage (VLM) pour raisonner sur le contexte, et PreSIST-Vis, un modèle uniquement visuel entraîné par distillation à partir des pseudo-labels générés par PreSIST-Lang, pensé pour un déploiement plus léger et plus rapide en conditions réelles. Les auteurs ont aussi constitué un nouveau jeu de données d'annotations de persistance d'objets en environnement ouvert et non contrôlé, sur lequel les deux variantes surpassent les approches de référence existantes.

L'enjeu dépasse la simple curiosité académique : les robots déployés sur de longues durées, en entrepôt, en environnement domestique ou en espace public, doivent maintenir une carte de leur environnement à jour sans revisiter physiquement chaque zone en permanence. Les systèmes actuels réagissent après coup, en recalant leur carte seulement quand ils reconstatent qu'un objet a disparu ou changé de place, ce qui coûte du temps de calcul et impose des repassages fréquents. PreSIST exploite le bon sens contextuel des VLM, capables de distinguer par exemple qu'une voiture arrêtée à un feu rouge ne restera probablement pas là contrairement à une voiture garée sur une place de parking, pour anticiper ces changements avant même de les observer. Pour des intégrateurs travaillant sur la navigation autonome ou la maintenance de cartes sémantiques, cela ouvre la voie à des architectures de perception moins gourmandes en re-scans constants.

Ce travail s'inscrit dans la continuité des recherches sur la cartographie sémantique et le SLAM dynamique en environnement ouvert, où la difficulté historique était justement l'absence de raisonnement proactif sur le changement. L'arrivée des VLM comme brique de raisonnement contextuel change la donne face aux méthodes purement géométriques ou fondées sur la seule reconnaissance de classe d'objet. Les auteurs positionnent leur jeu de données annoté comme une ressource ouverte pour de futurs travaux sur la prédiction de persistance en monde ouvert.

À lire aussi

Évaluation des modèles vision-langage pour la prédiction précoce de situations dangereuses en robotique
Illustration générée par IA
1arXiv cs.RO 

Évaluation des modèles vision-langage pour la prédiction précoce de situations dangereuses en robotique

Une équipe de chercheurs publie sur arXiv une évaluation empirique de modèles vision-langage (VLM) généralistes pour prédire des défaillances de robots avant qu'elles ne surviennent. Trois modèles open source sont comparés : Qwen, InternVL et LLaVA-OneVision. Ils sont testés sur trois cas d'étude robotiques, HuRoN, Pal Robotics et CrowdBot, à partir de flux vidéo et de données d'odométrie. La tâche consiste à classer chaque situation en trois catégories (sûre, potentiellement dangereuse, dangereuse), l'objectif étant d'émettre une alerte avant l'événement dangereux. Les auteurs mesurent aussi l'incertitude des modèles avec plusieurs métriques et étudient son lien avec la performance. Qwen obtient les meilleurs résultats globaux en classification et en fiabilité des prédictions, tandis qu'InternVL offre une meilleure capacité d'alerte précoce dans plusieurs configurations. L'apport d'informations sur l'état du robot et d'un historique temporel varie selon le modèle et l'objectif d'évaluation. L'intérêt pour l'industrie tient à la nature du résultat : il n'existe pas de meilleur modèle unique. Pour un intégrateur ou un responsable d'exploitation qui envisage un moniteur de sécurité fondé sur un VLM, le choix dépend de la priorité. Il faut arbitrer entre l'exactitude de l'évaluation de l'état de sécurité, la calibration de la confiance et de l'incertitude, et la rapidité de l'avertissement. Cela compte particulièrement pour les flottes de robots évoluant près d'humains, où une fausse alerte coûte en productivité et une alerte tardive en sécurité. L'étude suggère que des VLM généralistes, sans entraînement spécifique à la tâche, peuvent déjà servir de couche de supervision. Elle ne démontre pas pour autant une fiabilité suffisante pour une certification. Les résumés disponibles ne donnent ni taux de détection, ni délais d'anticipation, ni taux de faux positifs chiffrés, et rien n'indique de test en boucle fermée sur robot réel. Il s'agit donc d'une preuve de faisabilité en évaluation hors ligne, non d'un système déployé. Ce travail s'inscrit dans la montée en puissance des modèles vision-langage-action et des VLM comme outils de raisonnement contextuel en robotique, alors que les preuves de leur utilité pour la prévention des incidents restaient limitées, comme le reconnaissent les auteurs. Le choix des terrains d'essai reflète les usages concernés : navigation de robots sociaux et de service (HuRoN), plateformes commerciales de l'européen Pal Robotics, basé à Barcelone, et navigation parmi des foules avec CrowdBot. La présence de Pal Robotics donne un ancrage européen à des données encore rares sur les situations proches de l'accident. Côté concurrence, les approches classiques de détection d'anomalies et de contrôle de sûreté fondé sur des règles restent la référence industrielle, et les VLM se positionnent comme un complément sémantique. Les suites logiques sont des tests en temps réel, la mesure de la latence d'inférence embarquée, et la comparaison avec des modèles plus récents ou affinés sur des données de sécurité.

UELes données de l'européen Pal Robotics (Barcelone) servent de terrain d'essai, ce qui intéresse les intégrateurs européens étudiant des moniteurs de sécurité fondés sur des VLM.

RecherchePaper
1 source
Loi vers action en monde ouvert : a priori vision-langage et toucher pour des pièces à la physique cachée
Illustration générée par IA
2arXiv cs.RO 

Loi vers action en monde ouvert : a priori vision-langage et toucher pour des pièces à la physique cachée

Des chercheurs proposent Open-World Law-to-Action (L2A), un cadre qui permet à un robot de manipuler dans un foyer inconnu des pièces mobiles (portes, tiroirs, couvercles, robinets) dont la physique n'est pas visible sur une image. Un modèle vision-langage (VLM) propose pour chaque pièce ses mouvements possibles, les termes de sa loi de mouvement et ce qui peut la bloquer. Chaque proposition devient un a priori avec un plancher de probabilité, de sorte que le toucher puisse toujours l'infirmer. Le robot identifie ensuite la loi de chaque pièce en ligne, par régression linéaire bayésienne avec évidence en forme close, pour des pièces à un ou deux modes de mouvement, tout en conservant l'hypothèse qu'une pièce ou un mouvement non vu verrouille la cible. Tous les essais sont en simulation, avec un développement sur certaines scènes et une exécution unique sur des scènes réservées. Dans de nouvelles cuisines, le robot réussit 80 % des tâches à partir des seules propositions du VLM, contre 98 % lorsque toutes les pièces sont connues. Sur les objets exigeant des termes inédits, les propositions de physique font passer le succès de 353 à 378-383 épisodes sur 400. Un second regard fait monter le succès en scènes mixtes de 284 à 329 tâches sur 366. Un robot mobile qui ne tire rien du simulateur accomplit 70 requêtes sur 100 en scènes nouvelles, contre 62 quand le simulateur indique quelle pièce est quelle boîte. L'intérêt tient à la manière dont le travail traite un angle mort des modèles vision-langage-action : les consignes du type « ouvre le tiroir à moitié, doucement » dépendent de grandeurs invisibles (course, résistance, verrouillage). Les auteurs montrent que le toucher seul ne peut pas exclure l'hypothèse d'un verrou caché, dérivent un critère indiquant quand un second regard vaut son coût, et établissent qu'une charge constante et un frottement restent indiscernables tant que la pièce ne bouge que dans un sens. Ces résultats théoriques sont plus utiles à un intégrateur que le score brut. L'écart de 80 % contre 98 % chiffre ce que coûte l'ignorance des pièces en environnement ouvert. En revanche, il faut rester prudent : aucune expérience sur robot réel n'est rapportée, et la comparaison à 70 % contre 62 % intervient après une modification entre deux tests réservés, ce qui fragilise sa valeur de preuve. Le fait que le robot sans information du simulateur dépasse celui qui en reçoit est un signe d'intérêt, mais pas une démonstration de robustesse. Ce travail s'inscrit dans l'effort pour sortir la manipulation domestique des scènes entièrement connues, où les VLM servent de source de connaissance a priori sur les objets, et où les approches par apprentissage de bout en bout peinent à inférer des propriétés physiques latentes. Il se distingue en traitant explicitement l'incertitude, avec un a priori borné qui évite qu'une erreur du VLM ne devienne irréversible. Le papier ne cite ni déploiement ni calendrier de pilotes. Les prochaines étapes évidentes sont la validation sur matériel réel, avec capteurs de force et bruit de contact, et la mesure sur des foyers non simulés. Pour les acteurs de la manipulation mobile, y compris européens, l'enjeu sera de savoir si ces garanties tiennent hors simulation.

RecherchePaper
1 source
EffiNav : fusion de la profondeur et du modèle vision-langage pour une navigation efficace vers des objets
Illustration générée par IA
3arXiv cs.RO 

EffiNav : fusion de la profondeur et du modèle vision-langage pour une navigation efficace vers des objets

Une équipe de chercheurs a publié EffiNav, un framework de navigation robotique orientée-objet (Object Goal Navigation, ObjNav) qui fusionne perception de profondeur et modèles vision-langage pour améliorer l'efficacité des trajectoires d'exploration en environnement inconnu. La contribution, déposée en preprint sur arXiv (2606.18634) en juin 2026, évalue le système sur deux simulateurs de référence du domaine, HM3D (Habitat Matterport 3D) et OVON (Open-Vocabulary Object goal Navigation), puis le valide sur robots physiques en conditions réelles. Les auteurs l'étendent également à GOAT-BENCH, un benchmark de navigation avec mémoire augmentée, pour démontrer la généralisation du framework au-delà du protocole ObjNav standard. Sur les deux métriques habituelles du domaine, taux de succès (SR) et succès pondéré par longueur de chemin (SPL), EffiNav égale ou dépasse les baselines récentes, sans que le preprint ne communique de valeurs numériques absolues permettant une comparaison chiffrée directe. L'apport principal porte moins sur le taux de réussite brut que sur le SPL, qui pénalise les trajets inutilement longs. C'est précisément là que les approches actuelles divergent : les modèles entraînés end-to-end, y compris certains VLA (Vision-Language-Action), peinent à généraliser à de nouveaux environnements, tandis que les frameworks modulaires sans apprentissage accumulent des allers-retours redondants et revisitent des zones déjà explorées. EffiNav prétend adresser ces deux pathologies simultanément en combinant une estimation de la profondeur pour la représentation géométrique de l'espace et un modèle vision-langage pour l'interprétation sémantique. Pour les intégrateurs de robots de service ou les décideurs B2B, l'efficacité de trajectoire est directement liée au temps disponible pour les tâches secondaires, donc à la rentabilité opérationnelle d'un déploiement en entrepôt ou en environnement indoor. Le champ ObjNav s'est structuré autour de l'écosystème Habitat de Meta AI Research, qui fournit les simulateurs HM3D et OVON utilisés ici. Les approches concurrentes incluent des pipelines modulaires à cartographie explicite comme SemExp ou OpenFMNav, et des VLA appliqués à la navigation. EffiNav se positionne comme un framework hybride ne nécessitant ni encodeurs supplémentaires lourds ni réentraînement complet par domaine. Aucune timeline commerciale ni partenariat industriel n'est mentionné dans le preprint ; la prochaine étape naturelle serait une validation sur des plateformes AMR variées pour confirmer le transfert sim-to-real sur des morphologies autres que celles testées.

RecherchePaper
1 source
Calibration de la confiance dans les modèles vision-langage-action (VLA)
Illustration générée par IA
4arXiv cs.RO 

Calibration de la confiance dans les modèles vision-langage-action (VLA)

Une étude disponible sur arXiv (2507.17383, désormais en version 3) examine un point rarement traité pour les modèles vision-langage-action (VLA). Ces modèles de fondation transforment des observations visuelles et des instructions en langage naturel en commandes moteur de bas niveau. Les auteurs présentent leur travail comme la première étude de la calibration de confiance sur ce type de modèle, c'est-à-dire de l'écart entre la probabilité de réussite que le robot s'attribue et sa réussite réelle. Ils établissent une base de référence pour l'estimation de confiance. Ils analysent le lien entre le taux de réussite des tâches et l'erreur de calibration, ainsi que l'évolution de cette erreur au fil de l'exécution. Face à la mauvaise calibration observée, ils proposent deux correctifs légers. Le premier est un ensemble de prompts, qui consiste à reformuler une même consigne de plusieurs façons. Le second est un Platt scaling par action, un recalibrage logistique appliqué séparément à chaque dimension de commande. Le résumé ne donne ni les modèles testés, ni les gains chiffrés, ni les conditions expérimentales (simulation ou robot réel). Toute conclusion quantitative suppose donc de lire l'article complet. L'enjeu est très concret pour un intégrateur ou un responsable d'exploitation. Un robot qui réussit 80 % de ses tâches mais ne sait pas prédire ses échecs est difficile à déployer, car rien ne permet de déclencher à temps une reprise, un arrêt ou un appel à l'opérateur. Le taux de succès affiché en démonstration ne dit rien de cette capacité d'auto-évaluation, qui conditionne pourtant la supervision et la sécurité. Le caractère « léger » des méthodes est intéressant, puisqu'il suggère de pouvoir améliorer des VLA existants sans les réentraîner. L'analyse temporelle compte aussi pour les tâches longues, où les erreurs s'accumulent. Il s'agit toutefois de recherche académique, sans validation en production ni preuve que ces techniques tiennent sur des flottes réelles. Le travail s'inscrit dans la montée en puissance des VLA, de RT-2 et OpenVLA jusqu'aux modèles industriels comme Pi-0, Helix ou GR00T. Leur capacité d'action progresse plus vite que les outils pour mesurer leur fiabilité. La quantification d'incertitude est mieux établie pour les grands modèles de langage, et cette étude en transpose les principes à la robotique. Les suites logiques sont de tester ces méthodes sur des tâches longues en conditions réelles, de les relier à des politiques de repli, et de les comparer à d'autres approches comme la prédiction conforme.

RecherchePaper
1 source