JRDB-AVR : un banc d'essai de raisonnement visuel actif pour les agents incarnés en environnements réels

JRDB-AVR est un nouveau benchmark de raisonnement visuel actif pour agents incarnés, publié sur arXiv avec son code et ses données sur GitHub (ControlNet/JRDB-AVR). Il est dérivé des données robotiques réelles JRDB, recueillies dans plusieurs environnements, via un moteur structuré de génération de questions. Le principe : un agent reçoit une question visuelle, puis doit demander lui-même des observations bornées, en précisant un horodatage et un angle de vue. Il est évalué à la fois sur sa réponse finale et sur les preuves visuelles qu'il invoque pour la justifier. Les questions couvrent la recherche temporelle, le choix du point de vue et le raisonnement compositionnel centré sur les humains. Les auteurs proposent aussi JRDB-AVR-Agent, une méthode de référence qui maintient un modèle du monde sous forme de graphe ancré dans les observations, et qui répond par résolution de ce graphe. Le résumé ne chiffre pas les écarts de performance.

L'enjeu tient à ce que mesurent, ou non, les évaluations actuelles. Les benchmarks de raisonnement visuel classiques notent des observations passives et une réponse finale, ce qui permet à un modèle vision-langage (VLM) de donner une réponse plausible, voire correcte, sans avoir regardé l'objet, l'instant ou la vue qui la fonde. Les expériences des auteurs montrent un écart substantiel entre précision de la réponse et précision des preuves chez les modèles de référence testés. Pour un intégrateur ou un décideur qui envisage de confier des tâches de perception à un robot mobile, c'est un signal de prudence : un bon score de réponse peut masquer un raisonnement non fondé, donc fragile hors des conditions de test. Ce travail plaide pour évaluer la capacité d'un agent à aller chercher l'information, un point critique en conditions réelles où le champ de vision est limité. Il s'agit toutefois d'un benchmark académique, sans produit ni déploiement, et son adoption reste à démontrer.

Le contexte est celui d'un glissement de la recherche vers des agents incarnés, où les VLM servent de couche de raisonnement au-dessus de la perception. Les jeux de données JRDB, issus de plateformes robotiques mobiles opérant en environnements humains, fournissaient jusqu'ici surtout des tâches de perception. Ce nouveau benchmark les réutilise pour tester l'acquisition active de preuves, un angle encore peu couvert par les évaluations de questions-réponses visuelles. La version 2 de l'article, indiquée comme remplaçante, suggère un travail encore en évolution. La suite dépendra de l'adoption de l'évaluation par la communauté et de la capacité des modèles de pointe à réduire l'écart entre réponse et preuve.