RecherchearXiv cs.RO 25 juin 2026

fARfetch : collaboration homme-robot en réalité augmentée colocalisée dans des environnements visuellement hétérogènes, avec adaptation de contenu par VLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (juin 2026) les résultats de fARfetch, un système de collaboration humain-robot en réalité augmentée conçu pour les environnements extérieurs vastes et visuellement hétérogènes. Le dispositif combine un casque Meta Quest 3 et un robot quadrupède Unitree Go2, et repose sur trois mécanismes : une cartographie sémantique partagée entre le casque et le robot qui visualise des repères de l'environnement pour émettre des commandes de navigation par désignation, une représentation miniaturisée de l'espace (world-in-miniature) pour composer des trajectoires précises, et un module d'adaptation visuelle piloté par un VLM (vision-language model) qui ajuste en temps réel la couleur, la taille et l'orientation des éléments AR afin de maintenir leur lisibilité quelle que soit l'arrière-plan. L'évaluation a été conduite en conditions réelles sur une tâche d'inspection extérieure d'environ 30,5 mètres avec 13 participants en protocole intra-sujets. Par rapport à une baseline sans AR, fARfetch réduit le temps d'exécution de 66 %, la charge mentale de 43 %, la pression temporelle de 34 % et le niveau de frustration de 66 %.

Ces résultats sont significatifs pour les intégrateurs de robotique mobile en milieux industriels ouverts (sites de construction, inspection d'infrastructure, logistique extérieure) où la téléopération classique bute sur la désorientation spatiale de l'opérateur et la perte de ligne de vue. L'usage d'un VLM pour l'adaptation du rendu AR constitue une avancée méthodologique : plutôt que de coder des règles statiques de contraste, le système raisonne sur le contexte visuel capturé. Cela suggère que la grille sim-to-real ne se limite plus aux actionneurs physiques mais s'étend à la couche d'interaction humain-machine. L'étude reste toutefois limitée : N=13 est un échantillon restreint, la tâche couvre 30,5 mètres en extérieur contrôlé, et aucune métrique de robustesse en conditions adverses (pluie, contre-jour fort, foule) n'est rapportée.

fARfetch s'inscrit dans un champ de recherche actif sur l'AR comme interface de supervision de robots mobiles, aux côtés de travaux portant sur les drones et les AMR en entrepôt. Côté hardware, le Unitree Go2 est un quadrupède grand public à moins de 10 000 dollars, ce qui ancre l'expérimentation dans des configurations accessibles, contrairement aux plateformes à six chiffres de Boston Dynamics. Aucun acteur français ou européen n'est impliqué dans cette étude. Les auteurs n'annoncent pas de pilote industriel ni de timeline de déploiement : il s'agit d'un prototype académique dont les prochaines étapes naturelles seraient des évaluations sur des périmètres plus étendus, avec des opérateurs non entraînés et des robots à mobilité différente (bras, AMR sur roues).

Dans nos dossiers

Boston Dynamics Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

D-VLC : collaboration vision-langage décentralisée pour systèmes multi-robots incarnés hétérogènes en environnements inconnus

Un article de recherche publié sur arXiv (arXiv:2607.29009v1) présente D-VLC (Decentralized Vision-Language Collaboration), un framework destiné aux essaims de robots hétérogènes évoluant dans des environnements inconnus, sans carte préétablie. Contrairement aux approches classiques qui s'appuient sur une prise de décision centralisée et synchronisée, D-VLC combine un raisonnement décentralisé et asynchrone, un partage d'informations léger entre robots, une collaboration tenant compte des capacités spécifiques de chaque plateforme, et une interface d'action unifiée. Le système permet à des modèles vision-langage (VLM) généralistes de générer des actions adaptées à chaque robot, exécutées ensuite par des modules experts sans apprentissage ni entraînement spécifique à la tâche ou au robot. Testé sur plusieurs scénarios et plusieurs VLM différents, le framework atteint des taux de réussite supérieurs à 70%, avec un temps d'exécution réduit jusqu'à 55,8% par rapport à une méthode de référence gloutonne géométrique. Ce travail s'attaque à une limite bien identifiée des systèmes multi-robots pilotés par LLM ou VLM: leur dépendance à des cartes connues et à une coordination centralisée, qui freine leur généralisation à des flottes hétérogènes et à des tâches inédites. En s'affranchissant de ces contraintes, D-VLC apporte un argument concret au débat sur la capacité des VLM à raisonner et coordonner sans entraînement dédié, un enjeu central pour la logistique, l'entreposage automatisé et les essaims industriels mêlant robots à roues, bras manipulateurs et drones. Le gain de temps de complétion suggère un passage à l'échelle plus réaliste que les démonstrations centralisées habituelles, même si les résultats restent issus d'expériences en environnement contrôlé et non d'un déploiement industriel. D-VLC s'inscrit dans la vague récente de recherches combinant grands modèles de langage et perception visuelle pour la robotique collaborative, après plusieurs générations d'approches à base de règles jugées trop rigides pour des instructions sémantiques complexes. Aucun acteur industriel n'est associé à cette publication à ce stade: il s'agit d'un travail académique, dont la prochaine étape logique serait une validation sur des flottes physiques réelles, hétérogènes, au delà des scénarios expérimentaux actuels.

RecherchePaper

1 source

2arXiv cs.RO

Collaboration hétérogène entre robots dans des environnements non structurés grâce à l'IA générative ancrée

Les chercheurs a l'origine de SPINE-HT ont publie une version mise a jour de leur article sur arXiv (référence 2510.26915v2) présentant un framework de collaboration pour des équipes de robots hétérogènes évoluant dans des environnements non structures. Le système s'appuie sur des grands modèles de langage (LLM) et des modèles vision-langage (VLM) pour déduire les sous-taches nécessaires a partir d'une spécification de mission formulée en langage naturel et du contexte de l'environnement. Le processus se déroule en trois étapes: un LLM infère d'abord les sous-taches requises a partir de la mission et des capacités déclarées de l'équipe, ces sous-taches sont ensuite validées pour vérifier leur faisabilité avant d'être assignées aux robots selon des critères comme la franchissabilite du terrain ou les capacités de perception, puis le framework les met a jour en continu grâce aux retours collectes sur le terrain (cartes sémantiques, résultats des taches). En simulation, avec perception et contrôle en boucle fermée, SPINE-HT obtient un taux de réussite près de deux fois supérieur aux approches antérieures de teaming hétérogène basées sur des LLM. En conditions réelles, l'équipe a teste le système sur une flotte composée d'un robot a roues Clearpath Jackal, d'un robot a roues Clearpath Husky, du quadrupède Spot de Boston Dynamics et d'un drone volant a haute altitude, atteignant un taux de réussite de 87,5% sur des missions exigeant un raisonnement sur les capacités de chaque robot et un ajustement des sous-taches via retour d'information en ligne. Ce résultat s'attaque directement a une limite récurrente des méthodes de teaming multi-robots pilotées par LLM: la plupart supposent des environnements bien structures et connus a l'avance, ce qui dégradé leurs performances des que le terrain devient incertain ou changeant. Pour les intégrateurs travaillant sur des flottes mixtes (drones, robots a roues, robots a pattes) destinées a l'inspection, la recherche et sauvetage ou la surveillance de sites industriels, la démonstration montre qu'une spécification de mission en langage naturel peut remplacer une bonne partie de l'ingénierie manuelle de taches, a condition que le système puisse vérifier la faisabilité et se corriger en temps réel plutôt que de suivre un plan fige. Il s'agit toutefois d'un prototype de recherche, teste sur un nombre limite de plateformes et de scenarios de mission, et non d'un produit commercialise ni d'un déploiement opérationnel a grande échelle. Aucune entreprise ni financement n'est mentionne dans l'article; les auteurs renvoient vers un site dédié au projet pour plus de détails. La progression par rapport aux méthodes antérieures de teaming hétérogène base sur LLM situe ce travail dans un courant de recherche actif visant a ancrer le raisonnement des modèles génératifs dans le contexte physique et évolutif de robots réels, plutôt que dans des simulations idéalisées.

RecherchePaper

1 source

3arXiv cs.RO

Planification assistée par éclaireur pour équipes de robots hétérogènes en environnements partiellement connus

Des chercheurs ont publié sur arXiv (arXiv:2605.22693) un cadre de planification appelé Scout-Assisted Planning (SAP), conçu pour des équipes robotiques hétérogènes évoluant dans des environnements partiellement cartographiés. Le problème ciblé est concret : lorsqu'un robot terrestre (UGV) progresse sur un réseau routier dont certaines voies sont bloquées, il ne le découvre qu'en s'y engageant physiquement, générant des détours coûteux. SAP intègre des drones éclaireurs (UAV) qui collectent de l'information en avance de phase pour guider les UGV. Pour cibler les reconnaissances les plus utiles, les auteurs introduisent l'Information Gain-based Action Pruning (IGAP), un mécanisme qui score chaque action de scouting selon son impact attendu sur le comportement du robot au sol. Comme le calcul exact de l'IGAP est prohibitif en temps réel, un modèle Graph Neural Network (GNN) est entraîné à prédire ces valeurs directement depuis la structure du graphe routier et l'état de croyance courant. Sur trois types d'environnements testés, SAP avec IGAP réduit le coût de déplacement des UGV de 31,9 à 37,7 % par rapport à la baseline Canadian Traveler Problem, et surpasse de 8 à 14 % les approches de guidage par proximité. Ces résultats pointent vers un verrou industriel réel : dans la logistique d'entrepôt, la réponse à sinistre, ou les opérations minières, un robot terrestre contraint de faire demi-tour mobilise du temps machine et perturbe les flux. L'apport de SAP est de rendre la décision de scouting dirigée par la valeur informationnelle plutôt que par la simple distance, un glissement non trivial. L'usage d'un GNN pour approximer l'IGAP est l'élément clé : il ramène le planning à des niveaux temps réel sans dégradation mesurable de la qualité de solution, ce qui ouvre la voie à un déploiement embarqué sur matériel contraint. La distinction entre guidage par information et guidage par proximité, avec 8 à 14 % d'écart, valide quantitativement que la sophistication algorithmique se traduit en gains opérationnels réels. Ce travail s'inscrit dans un courant de recherche actif sur la planification multi-robots hétérogènes, où drones et robots terrestres forment des binômes complémentaires. La formulation s'appuie sur le Canadian Traveler Problem, un cadre classique de navigation sous incertitude, et l'étend avec une couche d'apprentissage automatique. Les acteurs industriels proches de cette problématique incluent Boston Dynamics (Spot + drones), Exotec pour la logistique autonome en entrepôt, ou encore les consortiums de robotique minière australiens. La prochaine étape naturelle serait la validation sur plateforme physique réelle : les expériences rapportées restent simulées, et le sim-to-real gap sur des graphes routiers dynamiques reste un défi non résolu par cet article.

UERésultats encore simulés, mais la méthode pourrait bénéficier indirectement à des acteurs logistiques européens comme Exotec lors d'une éventuelle validation sur plateforme physique réelle.

RecherchePaper

1 source

4arXiv cs.RO

ARTOO-DARTU : étude de la collaboration humain-robot en réalité augmentée avec atténuation des occlusions pour les tâches d'entrepôt

Des chercheurs ont publié sur arXiv (arXiv:2606.25202) un système de réalité augmentée baptisé ARTOO-DARTU, conçu pour améliorer la collaboration humain-robot (HRC) en entrepôt logistique. Le principe : superposer en temps réel des informations sur l'état et les intentions du robot directement dans le champ de vision de l'opérateur via un casque AR, tout en évitant que ces couches graphiques n'occultent des éléments critiques du monde réel. L'équipe a développé pour cela un pipeline ODM (Obstruction Detection and Mitigation) qui repositionne dynamiquement les éléments AR lorsque le robot mobile se déplace. L'évaluation a mobilisé 34 participants sur un scénario gamifié appelé Pocket MonstARs, abstraction contrôlée d'une tâche de picking en entrepôt où des monstres virtuels servent de proxies pour les cibles de prélèvement, tandis que des boîtes étiquetées préservent les contraintes d'identification du monde réel. Résultats : avec l'ODM actif, les participants ont affiché une efficacité globale supérieure de 46 % sur la tâche HRC, et se sont révélés 61 % plus rapides sur les sous-tâches nécessitant une visibilité directe du terrain. Ces chiffres méritent d'être mis en perspective : le gain de 46 % n'est observé que lorsque le pipeline ODM est enclenché, ce qui indique que l'AR sans gestion des obstructions peut dégrader les performances plutôt que les améliorer. Pour les intégrateurs logistiques et les équipes de déploiement d'AMR (autonomous mobile robots), le message est structurant : la valeur des analytics AR situationnels est conditionnelle à la qualité de leur intégration perceptuelle, pas seulement à la richesse des données affichées. Cela valide l'hypothèse que le sim-to-real gap en HRC n'est pas uniquement mécanique, mais aussi cognitif : l'interface compte autant que le robot. Le domaine de l'AR appliquée à la robotique industrielle reste fragmenté. Des travaux antérieurs ont exploré les overlays statiques ou les interfaces sur tablette, mais peu traitent le cas dynamique des robots mobiles où la position de l'annotation change en continu. ARTOO-DARTU s'inscrit dans un effort plus large pour rendre les floors robotisés auditable et sûrs sans mobiliser des opérateurs hautement qualifiés. Côté concurrentiel, des acteurs comme RealWear (casques AR industriels), PTC Vuforia ou encore des startups françaises comme Immersion se positionnent sur des segments adjacents. L'étude reste cependant dans un cadre académique contrôlé et gamifié : aucun déploiement réel en entrepôt n'est annoncé à ce stade, et la robustesse de l'ODM face à des environnements industriels bruités (éclairage variable, occlusions dynamiques multiples) reste à démontrer.

UELa startup française Immersion opère sur un segment adjacent à l'AR industrielle, mais l'étude reste un préprint académique sans déploiement annoncé en France ou en Europe.

RecherchePaper

1 source