RecherchearXiv cs.RO 16 octobre 2026

VP-EVT : préservation active de la visibilité pour le suivi visuel incarné

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent VP-EVT, un cadre de suivi visuel incarné (Embodied Visual Tracking, EVT) qui traite la visibilité de la cible comme un objectif explicite du contrôle de mouvement, et non comme un simple effet secondaire du suivi. L'EVT consiste à faire suivre à un robot une personne désignée en dynamique, avec pour seule source la perception visuelle égocentrique de sa caméra. Le système utilise une perception guidée par le langage pour extraire séparément les observations de la cible et celles des piétons environnants. Lorsqu'une occlusion rend les observations incomplètes, il combine l'historique visuel et l'ego-motion pour maintenir une estimation des positions et mouvements relatifs. À partir de ces estimations et des waypoints de suivi courants, il prédit si poursuivre le suivi va prolonger l'obstruction. Si le risque est faible, le mouvement initial est conservé. Sinon, un contrôleur récurrent, qui intègre le contexte des manoeuvres précédentes, coordonne un changement de point de vue puis le retour à un suivi stable. Les auteurs introduisent aussi OccEVT-Bench, un banc d'essai en boucle fermée dédié aux occlusions persistantes, et collectent des démonstrations d'experts pour l'entraînement. Sur son split Risk, VP-EVT améliore le taux de succès de 121,4 % face à une base de comparaison jugée compétitive, et réduit le déficit de visibilité de 78,8 % ainsi que la plus longue durée de perte de la cible de 74,4 %.

L'intérêt tient à un changement de posture : la plupart des méthodes de suivi sont réactives et ne réagissent qu'une fois la cible perdue, ce qui provoque de longues pertes en présence de foule. Pour la robotique de service, la logistique et la collaboration homme-robot, par exemple des robots suiveurs en entrepôt, en hôpital ou en commerce, la fiabilité en environnement encombré conditionne le passage de la démonstration à l'usage réel. Raisonner sur ce qui masque la cible et sur la façon dont le robot peut modifier cette obstruction rapproche le suivi d'une forme de planification active de la perception. Les chiffres sont toutefois à nuancer : le gain de 121,4 % est relatif, donc dépend fortement d'un taux de base potentiellement bas, il est mesuré sur le split le plus exigeant, et le banc d'essai est introduit par les auteurs eux-mêmes. Aucune validation sur robot physique ni indication de coût de calcul embarqué n'apparaît dans le résumé, ce qui laisse ouverte la question du transfert simulation vers réel.

Ce travail s'inscrit dans la lignée des approches de suivi de personne apprises de bout en bout, guidées par le langage ou par des modèles vision-langage-action, qui se sont surtout évaluées dans des scènes où les occlusions restent brèves. En proposant un benchmark dédié, les auteurs cherchent à fixer un terrain d'évaluation commun, et sa diffusion, ainsi que celle des données de démonstration, dira si d'autres équipes l'adoptent. Les suites logiques sont des essais sur plateformes mobiles réelles, une comparaison avec davantage de méthodes concurrentes et une intégration dans des systèmes de navigation plus larges. Il s'agit à ce stade d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial annoncé.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

ReferTrack, référencer avant de suivre pour le suivi visuel incarné

Le suivi visuel incarné (embodied visual tracking, EVT) demande à un robot mobile de suivre en continu une cible décrite en langage naturel, en s'appuyant uniquement sur sa caméra embarquée. Des chercheurs présentent ReferTrack, un modèle qui découpe la tâche en deux étapes explicites : d'abord désigner la cible parmi un ensemble indexé de boîtes englobantes détectées dans l'image, puis générer les points de trajectoire pour la suivre, en conditionnant cette planification sur la décision de désignation. Pour conserver la trace du mouvement de la cible dans le temps, le système maintient une fenêtre glissante des boîtes précédemment sélectionnées et injecte leurs caractéristiques géométriques via des tokens appelés TVBI (temporal-viewpoint-bbox indicator). L'identification de cible est renforcée par un co-entraînement sur un jeu de données maison, Refer-QA. Sur le benchmark EVT-Bench, ReferTrack atteint des taux de réussite de 89,4 %, 73,3 % et 74,1 % respectivement sur les scénarios cible unique, cible parmi des distracteurs, et cible ambiguë. Des tests réels sur robots à pattes et humanoïdes confirment un transfert simulation-vers-réel fonctionnel. Le code est publié sur GitHub (MedlarTea/referTrack). L'intérêt principal tient à la manière dont ReferTrack contourne un défaut connu des politiques vision-langage-action (VLA) actuelles : leur raisonnement en chaîne de pensée s'appuie souvent sur des représentations spatiales abstraites, difficiles à superviser et mal alignées avec les détections réelles dans l'image. En ancrant explicitement la décision d'identification sur des boîtes englobantes visibles avant de planifier la trajectoire, le modèle devient plus interprétable et plus facile à corriger. Fait notable pour les intégrateurs : avec une seule caméra frontale, ReferTrack égale voire dépasse des méthodes multi-caméras sur les tâches où l'identification est le point dur, ce qui suggère une simplification matérielle possible sans perte de robustesse sur ce type de tâche. Le travail s'inscrit dans la vague actuelle de politiques VLA généralistes (à l'image de GR00T N2, Pi-0 ou Helix) qui cherchent à unifier perception et action dans un seul modèle. Il s'agit ici d'une publication de recherche accompagnée d'un dépôt de code ouvert, pas d'un produit commercial ni d'un déploiement industriel annoncé ; la validation sur robots à pattes et humanoïdes reste à ce stade une démonstration de faisabilité plutôt qu'un déploiement à grande échelle.

RecherchePaper

1 source

2arXiv cs.RO

Perception active pour la désambiguïsation incarnée

Un article de recherche intitulé "Active Perception for Embodied Disambiguation" (arXiv:2608.13605v1) propose un nouveau cadre pour lever l'ambiguïté des instructions données en langage naturel aux robots. Le constat de départ est que lorsqu'un robot reçoit une consigne, l'incertitude sur la cible visée ne provient pas uniquement d'une formulation imprécise de l'utilisateur, mais aussi d'un manque de preuves visuelles dans l'observation courante : objet occulté, point de vue restreint, texte illisible ou cible simplement hors champ. Les méthodes existantes de désambiguïsation interactive se contentent généralement de poser des questions supplémentaires à l'utilisateur. Le système proposé s'appuie à la place sur l'observation active comme mécanisme principal d'acquisition d'information, pilotée par un modèle vision-langage (VLM) qui décide, à partir des indices visuels déjà accumulés et des échanges passés, s'il faut poursuivre l'observation, demander une clarification, ou valider directement la sélection de la cible. Des expériences menées sur robot réel montrent que ce cadre combine effectivement acquisition physique d'information et clarification d'intention au sein d'un seul processus de désambiguïsation incarnée. L'intérêt pour l'industrie robotique tient au fait que la plupart des systèmes de commande en langage naturel traitent l'ambiguïté comme un problème purement conversationnel, en multipliant les questions à l'utilisateur, sans jamais remettre en cause la qualité de l'observation elle-même. Or dans un entrepôt, un domicile ou un site industriel, les occlusions, les angles de vue limités et les étiquettes illisibles sont la norme plutôt que l'exception. Montrer qu'un robot peut résoudre une partie de ces ambiguïtés en changeant activement de point de vue, plutôt qu'en interrompant systématiquement la tâche pour interroger l'opérateur, va dans le sens d'une autonomie plus robuste pour les architectures de type VLA déployées sur bras manipulateurs ou robots mobiles. Cela répond aussi, de façon ciblée, à l'écart souvent observé entre démonstrations en environnement contrôlé et comportement en conditions réelles bruitées. Ce travail s'inscrit dans la lignée des recherches sur la désambiguïsation interactive et sur les modèles vision-langage-action qui infusent la compréhension du langage dans la boucle de perception et d'action des robots, un axe où plusieurs laboratoires publient régulièrement de nouvelles architectures. Il s'agit ici d'une publication de recherche en préimpression sur arXiv, sans produit commercial ni déploiement industriel associé à ce stade : la contribution reste méthodologique et validée par des essais limités sur robot réel, pas encore par des pilotes à grande échelle ni des chiffres de performance chiffrés publiquement communiqués.

RecherchePaper

1 source

3arXiv cs.RO

CST-WM : un modèle du monde à structure causale pour le suivi visuel incarné

Des chercheurs proposent CST-WM, un modèle du monde à structure causale pour le suivi visuel incarné (embodied visual tracking), publié sur arXiv (2609.06302v2). La tâche consiste à choisir des actions qui gardent une cible mobile visible à bonne distance, puis à la retrouver après une occlusion, une sortie de champ ou le croisement d'un élément distracteur. Le suivi est formulé comme une planification sur les preuves futures de présence de la cible, à l'aide d'un modèle du monde conditionné par l'action. L'état du modèle est scindé en trois branches (preuve de la cible, robot, observation). La transition supprime le lien direct, au même pas de temps, entre l'action et la preuve de la cible, mais conserve le chemin passant par le mouvement du robot et les vues qui en résultent. Couplé à un contrôle prédictif par rollouts (MPC), un modèle unique gère le suivi stable et la réacquisition après perte. Sur EVT-Bench et Habitat 3.0, il est évalué en suivi standard, en récupération après perte et en transfert entre jeux de données. Sur un quadrupède Unitree Go2, il réussit 20 essais réels sur 30 (occlusion, croisement de distracteurs, mouvements rapides), contre 14 sur 30 pour TrackVLA. L'intérêt tient au diagnostic d'un défaut discret mais répandu. Dans les données de suivi enregistrées, les actions de la politique de collecte sont corrélées à la position de la cible. Un prédicteur générique apprend alors un raccourci, où l'action courante est écrite directement dans la prédiction de la cible. Les auteurs appellent cela l'hallucination causale. Les rollouts semblent plausibles, mais le classement des actions candidates repose sur une mauvaise raison, ce qui dégrade précisément la planification. Les résultats vont dans ce sens : retirer le masque d'action provoque la plus forte baisse de réacquisition parmi les ablations. Hors ligne, l'erreur de rollout multi-pas est plus faible et le classement des actions s'accorde mieux avec celui du simulateur. Pour les intégrateurs, le message est qu'un modèle du monde entraîné sur des logs opérationnels peut être trompé par des biais de collecte, et que l'ajout d'une structure causale se montre plus utile que davantage de données. Les limites sont claires : 30 essais par méthode sur un seul robot restent un échantillon réduit, et l'écart de 20 contre 14 sur 30 demande confirmation à plus grande échelle. Ces travaux se positionnent face aux suiveurs réactifs et aux approches VLA (vision-langage-action) comme TrackVLA, qui mappent directement les observations vers les actions sans anticiper les conséquences. Ils s'ajoutent aux modèles du monde utilisés en planification robotique, en y injectant une contrainte causale explicite. Le Go2, plateforme de recherche courante, sert de banc d'essai réaliste, mais aucun déploiement industriel ni produit n'est annoncé : il s'agit d'une publication académique. Les prochaines étapes probables sont des validations sur d'autres morphologies, des environnements plus denses et des mesures de latence de planification, que le résumé ne précise pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Fly-by-Code : des agents de code incarnés pour la manipulation aérienne, avec retour visuel actif et retour physique

Des chercheurs proposent Fly-by-Code, un cadre où des agents de codage incarnés pilotent un manipulateur aérien (un drone équipé d'un bras) en générant des programmes exécutables à partir d'instructions en langage naturel, puis en les corrigeant à partir du retour d'exécution. Le travail, publié sur arXiv (2610.12549), introduit un mécanisme appelé Active Feedback (AF), fondé sur le principe « View and Probe ». Quand le retour d'exécution laisse des questions ouvertes, l'agent synthétise un programme de diagnostic distinct, exécuté en simulation. Ce programme peut soit inspecter depuis des points de vue informatifs des résultats que le robot n'a pas vus (View), soit tester des hypothèses sur les causes d'un échec par des interactions physiques ciblées (Probe). Sur six tâches de manipulation aérienne simulées, avec 60 essais par condition, AF fait passer les fausses déclarations de réussite de 25 à 5 et le taux de succès final de 31,7 % à 75 %. La comparaison se fait avec un retour terminal simple, à configuration d'agent et limite d'exécution identiques. Les programmes affinés en simulation tournent ensuite sur un manipulateur aérien physique, via des API robot partagées et sans modification du code source. Ils accomplissent des tâches de manipulation en plusieurs étapes en conditions réelles. L'intérêt tient à l'hypothèse que le travail remet en cause. Les boucles d'agents de codage supposent que le retour d'exécution dit si la tâche a réussi et, en cas d'échec, indique comment corriger le programme. En aérien, cette hypothèse ne tient pas. Les contraintes de charge utile limitent les caméras embarquées, si bien que des résultats décisifs restent hors champ (observabilité partielle). Le fort couplage dynamique et les faibles marges de contrôle rendent les interactions fragiles, et plusieurs causes d'échec produisent les mêmes symptômes. Relire le même retour ne récupère donc ni des observations jamais capturées, ni une distinction entre causes. Le point le plus parlant est la réduction des fausses déclarations de réussite : un agent qui annonce avoir fini sans l'avoir fait est le principal danger d'un déploiement autonome. Pour les intégrateurs, le message est que la fiabilité vient moins d'un meilleur modèle de langage que d'une instrumentation active du diagnostic. Il faut toutefois nuancer : les chiffres viennent de simulation, six tâches seulement, et la démonstration réelle reste qualitative, sans taux de succès publié sur matériel. Le transfert sans modification du code est encourageant, mais ne vaut pas validation en production. Ce travail s'inscrit dans la montée des agents de codage embarqués, qui génèrent des politiques sous forme de programmes plutôt que d'entraîner des politiques neuronales de bout en bout, comme le font les approches VLA. L'aérien est un cas limite, car la charge utile impose des capteurs réduits et la physique pardonne peu. Le résumé ne cite ni modèle de langage, ni plateforme précise, ni calendrier de pilotes. Il s'agit d'une préversion de recherche (v1), sans produit ni déploiement industriel annoncé. La suite logique est une évaluation plus large sur matériel, avec des mesures chiffrées en conditions réelles, et l'application de la même logique de diagnostic exécutable à d'autres robots à capteurs contraints.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source