RecherchearXiv cs.RO 23 juillet 2026

ReferTrack, référencer avant de suivre pour le suivi visuel incarné

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le suivi visuel incarné (embodied visual tracking, EVT) demande à un robot mobile de suivre en continu une cible décrite en langage naturel, en s'appuyant uniquement sur sa caméra embarquée. Des chercheurs présentent ReferTrack, un modèle qui découpe la tâche en deux étapes explicites : d'abord désigner la cible parmi un ensemble indexé de boîtes englobantes détectées dans l'image, puis générer les points de trajectoire pour la suivre, en conditionnant cette planification sur la décision de désignation. Pour conserver la trace du mouvement de la cible dans le temps, le système maintient une fenêtre glissante des boîtes précédemment sélectionnées et injecte leurs caractéristiques géométriques via des tokens appelés TVBI (temporal-viewpoint-bbox indicator). L'identification de cible est renforcée par un co-entraînement sur un jeu de données maison, Refer-QA. Sur le benchmark EVT-Bench, ReferTrack atteint des taux de réussite de 89,4 %, 73,3 % et 74,1 % respectivement sur les scénarios cible unique, cible parmi des distracteurs, et cible ambiguë. Des tests réels sur robots à pattes et humanoïdes confirment un transfert simulation-vers-réel fonctionnel. Le code est publié sur GitHub (MedlarTea/referTrack).

L'intérêt principal tient à la manière dont ReferTrack contourne un défaut connu des politiques vision-langage-action (VLA) actuelles : leur raisonnement en chaîne de pensée s'appuie souvent sur des représentations spatiales abstraites, difficiles à superviser et mal alignées avec les détections réelles dans l'image. En ancrant explicitement la décision d'identification sur des boîtes englobantes visibles avant de planifier la trajectoire, le modèle devient plus interprétable et plus facile à corriger. Fait notable pour les intégrateurs : avec une seule caméra frontale, ReferTrack égale voire dépasse des méthodes multi-caméras sur les tâches où l'identification est le point dur, ce qui suggère une simplification matérielle possible sans perte de robustesse sur ce type de tâche.

Le travail s'inscrit dans la vague actuelle de politiques VLA généralistes (à l'image de GR00T N2, Pi-0 ou Helix) qui cherchent à unifier perception et action dans un seul modèle. Il s'agit ici d'une publication de recherche accompagnée d'un dépôt de code ouvert, pas d'un produit commercial ni d'un déploiement industriel annoncé ; la validation sur robots à pattes et humanoïdes reste à ce stade une démonstration de faisabilité plutôt qu'un déploiement à grande échelle.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

OceanGym : un environnement de référence pour les agents incarnés sous-marins

Des chercheurs du projet OceanGPT ont publié en septembre 2025 sur arXiv (article 2509.26536, version 3) OceanGym, présenté comme le premier benchmark complet pour les agents incarnés évoluant en environnement océanique sous-marin. La plateforme couvre huit domaines de tâches réalistes et repose sur un framework d'agent unifié piloté par des modèles de langage multimodaux de grande taille (MLLM), combinant perception, mémoire et prise de décision séquentielle. Les agents testés doivent interpréter à la fois des données optiques et sonar, explorer de façon autonome des environnements complexes et mener à bien des objectifs à long horizon, dans des conditions marquées par une faible visibilité et des courants océaniques dynamiques. Le code et les données du benchmark sont mis à disposition sur GitHub, sous l'organisation OceanGPT. Les expériences menées par les auteurs montrent un écart substantiel entre les agents MLLM les plus avancés et des experts humains sur les tâches de perception, de planification et d'adaptation en milieu sous-marin, un constat qui tranche avec le discours ambiant sur la maturité des agents vision-langage-action. Pour l'industrie des véhicules sous-marins autonomes (AUV) et des ROV, ce résultat confirme que l'environnement océanique reste nettement plus exigeant que les domaines terrestre ou aérien, où des benchmarks d'agents incarnés existent déjà depuis plusieurs années. OceanGym fournit ainsi aux équipes de recherche et aux intégrateurs un outil d'évaluation standardisé pour mesurer les progrès réels des agents avant tout déploiement physique, plutôt que de se fier à des démonstrations isolées. Le milieu sous-marin figure, selon les auteurs, parmi les dernières frontières inexplorées de la Terre. Jusqu'ici, l'essentiel des benchmarks d'IA incarnée portait sur des environnements terrestres ou aériens, structurés et bien cartographiés, laissant un vide pour les usages océaniques. OceanGym s'inscrit dans la continuité du projet OceanGPT, dont l'équipe avait déjà développé des modèles de langage dédiés aux sciences océaniques, et prolonge cette démarche vers l'évaluation d'agents capables d'agir physiquement sous l'eau. Les auteurs présentent ce travail comme une étape vers le transfert de ces capacités à de véritables véhicules sous-marins autonomes déployés en conditions réelles, sans toutefois communiquer de calendrier de pilote ni de partenariat industriel à ce stade: le projet reste pour l'instant au niveau de la recherche académique en accès ouvert plutôt que du produit commercial.

RecherchePaper

1 source

2arXiv cs.RO

Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné

Feat2Go est un framework de recherche présenté sur arXiv (2605.30795, mai 2026) qui s'attaque à un verrou persistant dans l'entraînement des modèles vision-langage-action (VLA) : générer automatiquement des signaux de récompense denses pour l'apprentissage par renforcement (RL) sur des tâches de manipulation longue portée. Le système décompose automatiquement un épisode robotique en étapes sémantiques via un clustering orienté tendances, puis mesure la progression par similarité au niveau patch entre l'état courant et des sous-objectifs visuels extraits d'un world model visuel pré-entraîné. Un modèle de valeur incarné prédit ensuite ce progrès à partir de l'observation et de l'instruction textuelle, et le signal est utilisé pour reformuler les récompenses terminales lors de l'optimisation de politique, sans ingénierie manuelle des récompenses. Les résultats sur deux benchmarks de référence sont nets : sur ManiSkill3, OpenVLA-OFT passe d'un taux de succès hors distribution de 17,5 % à 82,9 % tout en maintenant 96,9 % en distribution ; sur RoboTwin 2.0, Feat2Go atteint 88,8 % de succès moyen en domain randomization, dépassant les méthodes RL antérieures. Le framework est compatible avec PPO et GRPO, et couvre manipulation bras unique et bras bimanuels. L'intérêt de cette contribution est qu'elle attaque un problème structurel du RL robotique : soit on conçoit à la main des fonctions de récompense tâche par tâche, soit on reste captif de lourds datasets d'imitation. Feat2Go contourne ces deux contraintes en extrayant automatiquement un signal de progrès granulaire depuis un world model, ce qui le rend théoriquement compatible avec des architectures VLA existantes sans modification majeure du pipeline. Un saut de 17,5 % à 82,9 % hors distribution représente un écart brut significatif, mais il faut souligner que ces chiffres restent obtenus en simulation : la chaîne sim-to-real n'est pas validée sur hardware réel, une limite habituelle mais non négligeable. Cette approche s'inscrit dans une tendance large où le RL sert de couche de fine-tuning au-dessus de fondations VLA pré-entraînées, après des travaux récents comme π0 de Physical Intelligence, GROOT N2 de NVIDIA, ou les architectures de 1X et Figure AI. La question du signal de récompense était le chaînon manquant dans ce paradigme ; Feat2Go propose une réponse agnostique au modèle. Aucun partenariat industriel ni déploiement terrain n'est annoncé, la contribution restant académique à ce stade.

RechercheOpinion

1 source

3arXiv cs.RO

VIA : agent d'interface visuelle pour le contrôle de robots

Le laboratoire d'IA publie sur arXiv (référence 2607.11119v1) un framework baptisé VIA, pour Visual Interface Agent, qui aborde le contrôle robotique sous un angle radicalement différent des approches dominantes. Plutôt que d'entraîner un modèle vision-langage-action (VLA) spécialisé sur des données robotiques, VIA fait piloter un bras manipulateur par un agent génériste (Claude Code ou Codex) via une interface 3D dans un navigateur : l'agent prend des captures d'écran, envoie des commandes simples, observe le résultat et ajuste sa trajectoire en boucle fermée. Aucun fine-tuning spécifique au robot, aucun accès à des données d'état privilégiées : seulement de la perception visuelle et un petit ensemble d'outils génériques. Avec le modèle le plus performant testé, Fable 5, VIA atteint 96,7% de réussite sur trois tâches de la suite LIBERO-Goal et 100% sur une tâche complexe d'assemblage séquentiel ("rainbow assembly"). L'enjeu dépasse la simple prouesse technique. Les modèles VLA actuels (dérivés de familles comme pi-0 ou GR00T N2) restent des ordres de grandeur plus petits que les modèles généralistes de pointe, faute de données et de calcul disponibles pour le fine-tuning robotique, ce qui plafonne mécaniquement leurs capacités de raisonnement. VIA suggère au contraire que les capacités générales des agents de codage ou d'usage d'ordinateur se transfèrent directement au contrôle physique, à condition de leur fournir la bonne interface. Autre signal notable : la performance de VIA progresse avec l'échelle et la puissance du modèle sous-jacent, ce qui laisserait entrevoir des gains automatiques à mesure que les modèles génériques s'améliorent, sans réentraînement robotique dédié. Pour les intégrateurs et décideurs du secteur, cela questionne la nécessité de collecter des données robotiques coûteuses pour chaque nouvelle tâche. Le travail s'inscrit dans la vague de recherche sur les VLA (RT-2, OpenVLA, Helix et consorts), qui reste aujourd'hui le paradigme dominant pour la robotique généraliste. VIA en propose une alternative agentique, sans fine-tuning, testée pour l'instant uniquement sur des tâches de manipulation de table en environnement contrôlé. Il s'agit d'un préprint arXiv, non encore validé par les pairs, et les auteurs eux-mêmes présentent leurs résultats comme des indices de transférabilité plutôt que comme une solution de déploiement industriel : les prochaines étapes attendues porteront sur l'élargissement à des tâches plus diverses et des environnements réels au-delà du tabletop.

RechercheActu

1 source

4arXiv cs.RO

HumanTracker : vers un benchmark complet et aligné sur l'humain pour le suivi de mouvement

Un benchmark nommé HumanTracker vient d'être publié sur arXiv (référence 2608.13555v1) pour évaluer le suivi de mouvement des robots humanoïdes dans les tâches de téléopération et d'imitation corps entier. Le jeu de données rassemble environ 153 heures de trajectoires de capture de mouvement optique, enregistrées auprès de plusieurs performeurs professionnels, et organisées en quatre familles de mouvements accompagnées d'étiquettes textuelles permettant un diagnostic fin des erreurs. Les auteurs introduisent également HumanScore, une métrique alignée sur les préférences humaines, entraînée sur 12 000 paires de mouvements couvrant 24 000 séquences au total. L'objectif affiché est de rendre l'évaluation à la fois plus fidèle à la perception humaine et suffisamment large pour couvrir des comportements riches en contacts et de longue durée, ce que les suites de tests existantes, jugées trop restreintes, ne permettaient pas jusqu'ici. Le problème ciblé touche directement les développeurs de systèmes de contrôle pour humanoïdes: les métriques cinématiques classiques, qui moyennent les écarts de pose image par image, masquent des artefacts physiques critiques comme le glissement des pieds ou des contacts mal synchronisés au sol, deux défauts souvent invisibles dans les scores mais très visibles dans les vidéos de démonstration. En confrontant plusieurs trackers considérés comme état de l'art, les auteurs montrent que HumanScore détecte des échecs de stabilité et de contact que les métriques cinématiques ignorent purement et simplement. Pour les intégrateurs et laboratoires qui évaluent des pipelines de téléopération ou d'imitation par apprentissage, ce travail pointe un écart connu mais rarement quantifié entre scores publiés et qualité perçue réellement, un signal utile face à l'inflation de démonstrations vidéo dans le secteur humanoïde. Il s'agit d'une publication de recherche fraîchement déposée sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement industriel: aucun robot, entreprise ou date de sortie n'est cité dans le papier. HumanTracker s'inscrit dans une vague plus large de travaux académiques cherchant à combler le fossé entre benchmarks de laboratoire et performance réelle des systèmes de contrôle humanoïdes, alors que le secteur multiplie les modèles vision langage action et les démonstrations de téléopération dont l'évaluation reste largement auto rapportée par les fabricants.

RecherchePaper

1 source