RecherchearXiv cs.RO 9 novembre 2026

DobotTrack : apprentissage vision-langage-action (VLA) ancré sur la cible pour le suivi de personnes en IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DobotTrack, un cadre VLA (vision-language-action) publié sur arXiv par l'équipe Dobot, s'attaque au suivi de personne guidé par le langage: un agent mobile doit identifier une cible à partir d'une description verbale, puis la suivre de façon continue à partir d'images égocentriques. Le modèle, de 0,8 milliard de paramètres, atteint un taux de succès moyen de 77,9 % sur le benchmark EVT-Bench, soit 16,9 points de pourcentage de plus que OmTrackVLA sur l'ensemble des trois tâches. Les auteurs ont testé cinq tâches auxiliaires de supervision: segmentation de personne, localisation par boîte englobante, classification visuo-spatiale (position horizontale et échelle apparente dans l'image), prédiction de features DINO futures et prédiction d'images futures. Ils retiennent la combinaison complémentaire masques et boîtes englobantes. Ils introduisent aussi Q-identity, un module de compression de l'historique visuel conditionné par la cible, qui garde dans des tokens compacts les apparences discriminantes et les repères spatiaux. Un jeu de données réel a été collecté avec un robot quadrupède: 126 épisodes et 596 323 images annotées par masques.

L'intérêt tient à la méthode plus qu'au score. Le suivi de personne est une brique de base pour les robots d'accompagnement, de logistique ou d'inspection, où le robot doit rester sur la bonne personne malgré les occlusions et les croisements. Utiliser la prédiction de la cible comme signal pour décider quoi retenir de l'historique répond à un compromis connu: la mémoire visuelle coûte cher en calcul embarqué, alors qu'un modèle de 0,8 milliard de paramètres reste compatible avec des plateformes mobiles. Le pipeline d'annotation réduit aussi le coût de collecte: les masques permettent de dériver automatiquement boîtes et labels spatiaux, sans annotation manuelle séparée. Des réserves s'imposent. Le chiffre de 77,9 % vient d'un benchmark en simulation, et le jeu réel, avec 126 épisodes, reste modeste. Le résumé ne donne ni taux de succès en conditions réelles, ni latence, ni matériel embarqué, ni scénarios de test hors distribution. L'écart entre simulation et réel n'est donc pas quantifié.

Dobot, connu surtout pour ses bras collaboratifs et ses robots humanoïdes et quadrupèdes, étend ici son offre vers la couche logicielle d'IA incarnée. Le travail se place dans la lignée de TrackVLA et de ses variantes comme OmTrackVLA, qui ont installé EVT-Bench comme référence du suivi incarné guidé par le langage. Ces modèles se mesurent à des VLA généralistes comme Pi-0 ou GR00T, moins spécialisés dans la poursuite d'une cible. Le code est publié en open source sur GitHub (Dobot-Team/dobot_track), ce qui permet une reproduction indépendante. La suite logique serait une validation sur robot en environnement ouvert, avec des mesures de latence et de robustesse. Aucun pilote commercial ni calendrier de produit n'est annoncé: il s'agit d'un résultat de recherche, pas d'un produit livré.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

WareFly-VLA : un cadre vision-langage-action pour la navigation de drones et le suivi de personnes en entrepôt intelligent

Des chercheurs publient WareFly-VLA, un cadre et un jeu de données destinés à la navigation de drones pilotée par le langage dans les entrepôts intelligents (arXiv 2610.08526). Le corpus rassemble 507 épisodes de vol téléopérés par des humains et 8 504 transitions RGB haute résolution, collectés dans NVIDIA Isaac Sim. Chaque transition est associée à une description écrite par un humain de l'apparence du travailleur ciblé et à une commande de contrôle synchronisée à 4 degrés de liberté. Deux tâches sont couvertes, l'approche d'une cible et le suivi d'une personne, avec occlusions, recherche longue portée, variations d'altitude et encombrement. Quatre architectures VLA open source (SmolVLA, GR00T N1.7, pi0 et OpenVLA) sont comparées sur un protocole sans fuite de données au niveau de l'épisode, à deux fréquences de contrôle. Le jeu de données, les modèles de référence et le protocole d'évaluation sont publiés. Les résultats tempèrent l'enthousiasme autour des modèles vision-langage-action. Les performances chutent nettement dès que la généralisation est évaluée strictement, c'est-à-dire sur des épisodes réellement inédits. La modélisation continue des actions bat systématiquement la tokenisation discrète, ce qui va contre le choix d'OpenVLA et conforte l'approche de pi0. Sur une seule image, seul le canal avant (avancer) est appris de façon fiable, alors que latéral, altitude et rotation restent hors de portée. Enfin, les interfaces des modèles de fondation actuels, conçues pour la manipulation, la navigation au sol et les humanoïdes, se transfèrent mal aux plateformes aériennes. Pour un intégrateur qui envisage des drones d'inventaire ou d'assistance en entrepôt, le message est clair: le contrôle aérien guidé par le langage n'est pas résolu, et un VLA généraliste ne peut pas encore être déployé tel quel. Ce travail comble un vide. Les VLA ont brillé en manipulation et en navigation de robots mobiles au sol, mais aucun benchmark ne combinait actions de vol continues bas niveau, descriptions fines de cibles en langage naturel et environnements industriels réalistes. Il faut toutefois rester prudent: le jeu de données est modeste (507 épisodes), entièrement simulé, et les résultats viennent de baselines affinées sur une seule image, sans validation sur drone réel. Les annotations de pose et de difficulté, synchronisées avec la vidéo, le langage et les actions, visent aussi la recherche sur les modèles du monde. Aucun acteur français ou européen n'est cité dans l'étude. La suite logique passera par des modèles à mémoire temporelle ou multi-images, puis par des tests sim-to-real. Les équipes derrière SmolVLA, GR00T et pi_0 pourraient s'appuyer sur ce banc d'essai pour adapter leurs architectures à l'aérien.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Que doivent apprendre à prédire les politiques robotiques ? Repenser les cibles de supervision dans l'apprentissage vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.21915) une étude qui interroge une pratique quasi universelle dans l'entraînement des politiques vision-langage-action (VLA, des modèles qui convertissent images et instructions en commandes robot): faire de la prédiction d'actions le signal de supervision principal. Les objectifs auxiliaires, prédiction d'actions latentes (LA) ou de la vision future (FV), sont souvent ajoutés, mais ils consomment le même budget d'entraînement. L'équipe a donc construit un cadre unifié associant un transformeur de diffusion multimodal à deux flux (MMDiT) et un routeur au niveau de l'échantillon, qui affecte chaque exemple soit à l'action, soit à un objectif auxiliaire. Trois cibles LA reposent sur LAPA et ses variantes à caractéristiques DINO, trois cibles FV sur les représentations DINOv3, V-JEPA 2 et Wan2.2. Les tests couvrent les benchmarks LIBERO et CALVIN ainsi que quatre tâches sur robot réel. À budget identique, une supervision LA ou FV bien choisie dépasse l'entraînement centré sur l'action seule, même quand la prédiction d'actions ne reçoit pas plus de la moitié des échantillons. Pour les équipes qui entraînent ou affinent des VLA, le résultat déplace la question: le gain ne vient pas forcément de plus de données d'actions, mais de la manière de répartir les échantillons entre cibles. La FV l'emporte globalement sur la LA, bien que la meilleure cible LA reste compétitive sur CALVIN. Les analyses diagnostiques suggèrent que les cibles LA basées sur DINO captent surtout le mouvement relatif, tandis que les cibles FV encodent la position absolue et l'identité de la tâche. Cela donne une grille de lecture utile pour choisir un objectif selon l'usage. Les auteurs plaident pour traiter la cible de prédiction et son allocation comme des choix de conception explicites. Il faut toutefois rester prudent: il s'agit d'un preprint, sans relecture par les pairs, et seulement quatre tâches réelles valident les conclusions, ce qui laisse ouverte la question du passage à l'échelle sur des déploiements industriels variés. Ce travail s'inscrit dans une série de recherches qui enrichissent les VLA au-delà de l'imitation d'actions pure. LAPA a popularisé les actions latentes apprises sans étiquettes d'actions, tandis que V-JEPA 2 et les modèles vidéo génératifs comme Wan2.2 nourrissent l'idée de modèles du monde servant de supervision. Les politiques à diffusion et les approches de type Pi-0 ou GR00T restent le terrain de comparaison naturel, même si l'article ne les cite pas ici. Aucun produit ni calendrier de déploiement n'est annoncé: il s'agit de recherche amont. La suite logique serait de tester ces allocations sur de plus grands modèles, davantage de tâches réelles et des budgets de données plus larges.

RecherchePaper

1 source

3arXiv cs.RO

HARP-VLA : apprentissage de représentations alignées humain-robot pour modèle vision-langage-action

Des chercheurs ont publié le 31 mai 2026 HARP-VLA (Human-Robot Aligned Representation Learning for Vision-Language-Action), un framework de pré-entraînement conçu pour exploiter les vastes corpus de vidéos humaines dans l'apprentissage de politiques de manipulation robotique. Le coeur de l'approche repose sur deux composants entraînés conjointement : un encodeur visuel adapté aux robots et un modèle d'action latente. L'entraînement combine un petit nombre de démonstrations appariées humain-robot utilisées comme ponts inter-embodiment, et une quantité bien plus importante de vidéos non appariées des deux types comme supervision de dynamique. Sur le benchmark CALVIN ABC-D, HARP-VLA atteint un score moyen de 4,481 tâches consécutives réussies, et enregistre un gain de 7,1 points de pourcentage de taux de succès en conditions réelles par rapport à la meilleure baseline testée. Le problème que résout HARP est structurel pour tout le champ des VLA (Vision-Language-Action models) : les vidéos humaines sont abondantes et bon marché, mais les représentations visuelles qu'on en extrait sont mal alignées avec celles d'un robot, ce qui rend le co-entraînement inefficace voire contre-productif. Les modèles d'action latente existants, comme ceux utilisés dans les travaux sur UniPi ou Genie, réduisaient déjà le gap d'exécution en apprenant des abstractions d'action, mais restaient dépendants de features visuelles non alignées induisant des actions latentes domain-dépendantes. HARP introduit une perte d'alignement par discrimination relative de paires (source-relative pair-discriminative alignment loss) qui adapte les représentations robot vers la sémantique humaine sans effacer la discrimination inter-paires. Pour les intégrateurs et les équipes de recherche en manipulation, c'est un signal concret que le sim-to-real gap peut être partiellement adressé au niveau de la représentation, pas seulement du domaine de simulation. Ce travail s'inscrit dans une lignée de recherches sur l'apprentissage inter-embodiment qui a pris de l'ampleur depuis RT-2 (Google DeepMind, 2023) et OpenVLA (2024), lesquels montraient qu'un pré-entraînement sur données humaines ou web pouvait transférer vers des politiques robotiques. Les approches concurrentes directes incluent Octo, pi-0 de Physical Intelligence, et GR00T N2 de NVIDIA, tous confrontés à la même tension entre généralisation cross-embodiment et performance sur tâches précises. HARP se distingue en n'exigeant que peu de démonstrations appariées, ce qui réduit le coût de collecte de données. L'article reste pour l'instant une publication arXiv sans déploiement industriel annoncé, et les résultats en conditions réelles, bien que positifs, portent sur un nombre limité de configurations de manipulation.

RechercheOpinion

1 source

4arXiv cs.RO

VLESA : un agent de sécurité incarnée vision-langage pour la surveillance des activités humaines

Des chercheurs ont publié sur arXiv (preprint 2606.03954, juin 2026) VLESA, un cadre de supervision de la sécurité humaine fondé sur la vision et le langage. Le système analyse des flux vidéo égocentrés (caméra portée à la première personne) pour prédire en temps réel si une action humaine imminente présente un risque, et déclenche une intervention avant que le danger se matérialise. Le coeur technique repose sur deux composants : un agent de prédiction d'intention-action qui infère conjointement l'objectif de l'opérateur et ses prochains gestes à partir de la vidéo, et un Q-filter de sécurité conditionné par l'objectif, entraîné via GRPO (Group Relative Policy Optimization). Ce filtre évalue la dangerosité d'une action en fonction du but inféré, sans nécessiter de ré-entraînement. Sur le benchmark ASIMOV-2.0, VLESA surpasse les baselines en précision d'intervention à la frame exacte, et le Q-filter GRPO améliore la sécurité des actions de plus de 41 points de pourcentage via un décodage contraint conditionné à l'intention. Le code est disponible publiquement sur GitHub. L'apport conceptuel central est la notion de "sécurité dépendante de l'intention" : une action physiquement identique peut être sûre ou dangereuse selon le contexte opérationnel. Saisir un couteau pour couper des légumes n'est pas la même chose que le saisir après un conflit verbal. Les approches classiques de détection d'anomalies ignorent cette ambiguïté et génèrent trop de faux positifs pour être industrialisables. En décomposant le problème en inférence d'intention puis évaluation de risque conditionnel, VLESA propose une architecture plus proche des besoins réels de la cobotique, des environnements de soin à domicile assisté, ou de la surveillance d'opérateurs en milieu industriel. Le gain de 41 points sur ASIMOV-2.0 est significatif si les conditions du benchmark reflètent la diversité du terrain, ce que la nature sélective d'un preprint ne permet pas encore de confirmer. Ce travail s'inscrit dans un champ en forte expansion, celui de la sécurité des systèmes embarqués et des agents physiques autonomes, porté par la montée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. L'approche VLESA se distingue en ciblant non pas le robot mais l'humain en interaction avec son environnement, positionnement plus proche des travaux en human activity recognition que de la robotique pure. Les acteurs établis du monitoring de sécurité industrielle (Pilz, Sick, Keyence côté capteurs) n'ont pas encore intégré de couche sémantique de ce niveau. Aucun déploiement pilote n'est annoncé dans l'article : il s'agit d'une contribution académique, avec dataset et code partagés, dont la trajectoire vers l'industrialisation dépendra de la robustesse des résultats sur des scénarios hors benchmark et de validations en conditions réelles.

UELes acteurs européens de la sécurité industrielle (Pilz, Sick) n'ayant pas encore intégré de couche sémantique de ce niveau, VLESA ouvre une piste concrète pour la cobotique et le monitoring d'opérateurs, applicable dans le cadre de mise en conformité avec la directive machines révisée.

RecherchePaper

1 source