RecherchearXiv cs.RO 1 juin 2026

PInVerify : un benchmark incarné hors-ligne pour la vérification active d'instances

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (référence 2605.30639) PInVerify, un benchmark pour la vérification d'instance active (AIV), tâche dans laquelle un agent embarqué sélectionne activement ses angles d'observation autour d'un objet candidat pour décider s'il correspond à une description textuelle précise, par exemple "floral blanc" contre "rayé blanc". Le dispositif comprend 3 000 épisodes couvrant 18 catégories d'objets, structurés en topologie à six secteurs avec des vues-pièges (positions navigables mais non informatives) et des secteurs inaccessibles. Quatre familles de modèles sont évaluées dans la contrainte embarquée de moins de 8 milliards de paramètres : Qwen3-VL en versions 4B et 8B, SenseNova-SI-1.2-InternVL3-8B, CLIP et SigLIP2. Le meilleur agent basé sur un grand modèle multimodal (MLLM) dépasse la meilleure baseline d'embeddings de 4,9 points de pourcentage, et un agent affiné via LoRA (combinant SFT et GSPO) atteint 85,6 %.

Ce travail formalise une lacune documentée mais peu traitée dans la navigation robotique : atteindre la proximité d'un objet cible ne garantit pas la bonne identification de l'instance, problème critique dans des entrepôts ou environnements industriels où des objets visuellement similaires coexistent. L'enjeu est direct pour les intégrateurs de robots mobiles autonomes (AMR) ou de bras manipulateurs qui s'appuient sur des pipelines vision-langage pour le picking. Résultat contre-intuitif : les trois stratégies de sélection du prochain point de vue (NBV, next-best-view) testées ne produisent pas de gains fiables, indiquant que l'exploration active reste un problème ouvert même avec des MLLMs performants. Les ablations sur les boîtes de détection (GT-box) révèlent en outre un écart de +3,1 points, pointant la qualité de détection en amont comme verrou non négligeable.

PInVerify s'inscrit dans la lignée des benchmarks d'IA incarnée comme EmbodiedScan ou les suites Habitat de Meta, mais se concentre sur la vérification sémantique fine plutôt que sur la navigation globale. Les modèles retenus pour l'évaluation proviennent quasi exclusivement d'acteurs asiatiques (Qwen3 d'Alibaba, SenseNova de SenseTime), GPT-4V et Gemini étant absents du banc de test, ce qui limite la portée comparative. Le code est publié en open source sur GitHub, positionnant PInVerify comme potentielle référence commune pour les équipes travaillant sur les agents VLA (Vision-Language-Action) à déploiement embarqué, avec comme prochaines étapes identifiées l'amélioration des stratégies NBV et l'extension vers des scènes dynamiques.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

RVN-Bench : un benchmark pour la navigation visuelle réactive

Des chercheurs présentent RVN-Bench (Reactive Visual Navigation Benchmark), un nouveau protocole d'évaluation pour la navigation visuelle sécurisée des robots mobiles en intérieur. Construit sur le simulateur Habitat 2.0 et les scènes photoréalistes HM3D, RVN-Bench place un agent robotique dans des environnements intérieurs jamais vus auparavant, sans carte préalable, avec pour seule information des observations visuelles brutes. L'agent doit atteindre une série d'objectifs de position successifs tout en évitant les collisions, une contrainte que les benchmarks existants négligent généralement ou qu'ils appliquent à des scénarios extérieurs peu transposables aux espaces encombrés d'un intérieur. Le système fournit un environnement d'apprentissage par renforcement en ligne, un générateur de jeux de trajectoires en images, ainsi que des outils dédiés à la production de jeux de données "négatifs" capturant spécifiquement les événements de collision, permettant un entraînement hors ligne aussi bien qu'en ligne. Les auteurs ont validé leur approche par des tests physiques sur un robot terrestre Jackal UGV. Ce travail comble un vide méthodologique réel pour l'industrie robotique : la plupart des benchmarks de navigation visuelle mesurent la capacité à atteindre un objectif sans pénaliser les collisions, ce qui masque un défaut critique pour tout déploiement en usine, entrepôt ou établissement de santé où un robot mobile évolue au milieu d'humains et d'obstacles mobiles. En intégrant la sécurité de trajectoire comme métrique de premier plan, RVN-Bench donne aux équipes de recherche et aux intégrateurs un outil standardisé pour comparer des politiques de navigation sur un critère qui compte réellement en production, plutôt que sur la seule réussite de la tâche. Les résultats indiquant une généralisation à des environnements simulés inédits et un transfert sim-to-real prometteur sur Jackal restent toutefois préliminaires : les auteurs eux-mêmes qualifient ces expériences physiques d'initiales, et la portée du transfert vers des robots aux dynamiques différentes reste à démontrer. RVN-Bench s'inscrit dans une lignée de benchmarks de navigation basés sur Habitat, déjà largement utilisés par la communauté de recherche en robotique et en apprentissage par renforcement visuel. Le code, les jeux de données et les outils associés sont publiés en accès libre, une pratique désormais standard pour ce type de contribution académique visant l'adoption par d'autres laboratoires. Aucun acteur français ou européen n'est mentionné dans ces travaux, qui restent pour l'instant au stade de la recherche et n'ont pas de calendrier de déploiement commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

IMBench : un benchmark pour la manipulation robotique intuitive

Une équipe de recherche publie IMBench, un nouveau benchmark conçu pour évaluer ce qu'elle appelle la « manipulation intuitive » des robots, c'est-à-dire la capacité à combiner raisonnement physique et exécution motrice de façon intégrée, plutôt que de tester ces deux compétences séparément. L'article, déposé sur arXiv le 15 juillet 2026, propose un jeu de 35 tâches couvrant la manipulation avec contact riche, l'usage d'outils et les dépendances multi-étapes, accompagné de 14 000 trajectoires filtrées et d'outils permettant de générer de nouveaux scénarios à l'échelle. Contrairement aux benchmarks existants, IMBench exige des modèles qu'ils identifient d'abord la structure physique pertinente d'une scène (poids, friction, contraintes géométriques) avant de produire une séquence d'actions exécutable sous contraintes explicites. Les auteurs ont testé à la fois des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) de dernière génération sur cet ensemble de tâches. Les résultats mettent en évidence un écart systématique dans les systèmes actuels : les VLM montrent une capacité de raisonnement physique partielle mais ne parviennent pas à traduire ce raisonnement en plans d'action exécutables, tandis que les VLA de pointe échouent à respecter les contraintes des tâches et généralisent mal d'un scénario à l'autre. Pour l'industrie robotique, ce constat confirme un doute déjà répandu chez les intégrateurs : la performance affichée par les politiques génératives sur des démonstrations contrôlées ne garantit pas une compréhension physique transférable à des scènes nouvelles. IMBench propose ainsi une mesure plus rigoureuse pour distinguer les systèmes qui « comprennent » réellement une scène de ceux qui reproduisent des schémas d'entraînement. Ce travail s'inscrit dans une vague récente de benchmarks cherchant à combler le fossé entre évaluation en simulation et déploiement réel, alors que des modèles comme GR00T N2, Pi-0 ou Helix visent une manipulation généraliste dans des environnements variés. En isolant explicitement la composante « raisonnement intuitif » comme axe manquant des politiques robotiques actuelles, les auteurs positionnent IMBench comme un outil de diagnostic pour orienter les prochaines générations de modèles fondation en robotique, plutôt que comme un simple classement de performance brute.

RecherchePaper

1 source

3arXiv cs.RO

Perception active pour la désambiguïsation incarnée

Un article de recherche intitulé "Active Perception for Embodied Disambiguation" (arXiv:2608.13605v1) propose un nouveau cadre pour lever l'ambiguïté des instructions données en langage naturel aux robots. Le constat de départ est que lorsqu'un robot reçoit une consigne, l'incertitude sur la cible visée ne provient pas uniquement d'une formulation imprécise de l'utilisateur, mais aussi d'un manque de preuves visuelles dans l'observation courante : objet occulté, point de vue restreint, texte illisible ou cible simplement hors champ. Les méthodes existantes de désambiguïsation interactive se contentent généralement de poser des questions supplémentaires à l'utilisateur. Le système proposé s'appuie à la place sur l'observation active comme mécanisme principal d'acquisition d'information, pilotée par un modèle vision-langage (VLM) qui décide, à partir des indices visuels déjà accumulés et des échanges passés, s'il faut poursuivre l'observation, demander une clarification, ou valider directement la sélection de la cible. Des expériences menées sur robot réel montrent que ce cadre combine effectivement acquisition physique d'information et clarification d'intention au sein d'un seul processus de désambiguïsation incarnée. L'intérêt pour l'industrie robotique tient au fait que la plupart des systèmes de commande en langage naturel traitent l'ambiguïté comme un problème purement conversationnel, en multipliant les questions à l'utilisateur, sans jamais remettre en cause la qualité de l'observation elle-même. Or dans un entrepôt, un domicile ou un site industriel, les occlusions, les angles de vue limités et les étiquettes illisibles sont la norme plutôt que l'exception. Montrer qu'un robot peut résoudre une partie de ces ambiguïtés en changeant activement de point de vue, plutôt qu'en interrompant systématiquement la tâche pour interroger l'opérateur, va dans le sens d'une autonomie plus robuste pour les architectures de type VLA déployées sur bras manipulateurs ou robots mobiles. Cela répond aussi, de façon ciblée, à l'écart souvent observé entre démonstrations en environnement contrôlé et comportement en conditions réelles bruitées. Ce travail s'inscrit dans la lignée des recherches sur la désambiguïsation interactive et sur les modèles vision-langage-action qui infusent la compréhension du langage dans la boucle de perception et d'action des robots, un axe où plusieurs laboratoires publient régulièrement de nouvelles architectures. Il s'agit ici d'une publication de recherche en préimpression sur arXiv, sans produit commercial ni déploiement industriel associé à ce stade : la contribution reste méthodologique et validée par des essais limités sur robot réel, pas encore par des pilotes à grande échelle ni des chiffres de performance chiffrés publiquement communiqués.

RecherchePaper

1 source

4arXiv cs.RO

ActiveFly-Bench : aligner la réponse à des questions incarnée avec un modèle vision-langage-action pour la perception aérienne incarnée

Une équipe de recherche publie ActiveFly-Bench, un nouveau benchmark visant à combler le fossé entre le raisonnement en environnement virtuel et l'interaction physique pour la perception active des drones. Décrit dans un article déposé sur arXiv (2607.10180v1), ce benchmark décompose la perception active en trois tâches hiérarchiques: le question-réponse incarné aérien (Air-EQA), la planification du comportement d'observation (OBP) et le contrôle fin du drone guidé par le langage (FLUC), reliant explicitement la compréhension de tâches de haut niveau, la planification comportementale et le contrôle bas niveau. Les jeux de données combinent des environnements extérieurs réels et simulés, utilisés à la fois pour l'entraînement et l'évaluation. Les auteurs ont aussi développé ActiveFly, un agent en boucle fermée qui associe raisonnement vision-langage et contrôle fin, effectivement déployé sur une plateforme UAV physique, et non testé uniquement en simulation. L'enjeu dépasse le simple exercice académique: les tests menés avec des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) représentatifs montrent que les agents actuels peinent encore sur la planification comportementale, l'ajustement de point de vue et l'accomplissement robuste de tâches en perception active. Autrement dit, la promesse des architectures VLA généralistes, popularisées au sol par des systèmes comme GR00T N2 ou Helix, ne se transpose pas automatiquement au domaine aérien: piloter un drone qui doit décider où regarder, comment se repositionner et quand agir reste un problème ouvert. Pour les intégrateurs de drones d'inspection, d'agriculture ou de surveillance, ce constat tempère l'enthousiasme autour des copilotes autonomes tout-en-un et souligne que le sim-to-real n'est pas résolu pour l'aérien comme il commence à l'être pour la manipulation au sol. Ce travail s'inscrit dans la lignée des benchmarks d'IA incarnée (embodied QA) déjà développés pour les robots terrestres et les bras manipulateurs, mais transposés pour la première fois de façon systématique au domaine UAV, où les contraintes de vol, de vent et de champ de vision changent la donne. Face à des acteurs commerciaux comme DJI ou Skydio qui vendent déjà de l'autonomie de vol assistée, ActiveFly-Bench propose un cadre d'évaluation académique standardisé plutôt qu'un produit, avec l'ambition de devenir une référence pour mesurer les progrès futurs des agents aériens embarquant du raisonnement multimodal.

RecherchePaper

1 source