Can Vision-Language Models évaluer le risque proxémique à partir d'images robotiques égocentriques ?

Trois modèles de langage-vision open source, InternVL, Qwen-VL et SmolVLM, ont été évalués sur leur capacité à juger le danger proxémique à partir d'images égocentriques captées par un robot naviguant en environnement humain. L'étude, publiée sur arXiv (2608.12515), teste la classification en quatre niveaux de danger selon trois stratégies de prompting différentes, comparées à une base aléatoire stratifiée, puis affine les modèles via deux cycles de fine-tuning QLoRA. Résultat principal: sans fine-tuning, les trois modèles restent proches de la performance de référence aléatoire, ce qui signifie qu'ils ne font pas mieux qu'un tirage stratifié pour repérer une situation dangereuse. Le fine-tuning n'apporte que des gains globaux modestes. Seul Qwen-VL, associé à un prompt élaboré, se distingue avec un rappel nettement supérieur sur les cas de danger élevé, c'est-à-dire qu'il rate moins de situations réellement critiques. Une analyse complémentaire de localisation des personnes dans l'image montre qu'une classification correcte du danger ne s'accompagne pas forcément d'un meilleur ancrage spatial du modèle sur la zone pertinente de la scène.

Ce travail est significatif pour tout intégrateur ou concepteur de robots mobiles destinés à cohabiter avec des humains, car il questionne directement la fiabilité des VLM comme couche de sécurité perceptive. Le résultat le plus inconfortable pour le secteur est méthodologique: un modèle peut produire une étiquette de sécurité correcte sans réellement "regarder" la bonne zone de l'image, ce qui invalide l'idée qu'une bonne accuracy garantit un raisonnement spatial fiable. Cela nuance l'enthousiasme actuel autour des VLA et VLM appliqués à la navigation sûre, en montrant que la performance en classification et la compréhension spatiale fine restent deux capacités distinctes, non corrélées.

Cette recherche s'inscrit dans un effort plus large d'évaluation empirique des modèles de fondation appliqués à la robotique, où la promesse de généralisation zero-shot se heurte souvent à des tâches de perception fine comme la proxémie. Les auteurs positionnent leurs résultats comme un signal d'alerte méthodologique plutôt qu'une solution, appelant à des benchmarks dédiés au raisonnement spatial de sécurité avant tout déploiement réel de VLM comme composant de navigation sociale.