RecherchearXiv cs.RO 1 septembre 2026

GHOST dans les robots : téléopération VR duale exocentrique en temps réel via caméras embarquées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire H2R (Humans to Robots Lab) présentent GHOST, un système de téléopération en réalité virtuelle permettant a un seul opérateur de piloter simultanément deux robots manipulateurs mobiles en s'appuyant uniquement sur les cameras RGB-D embarquées, sans capteurs externes ni salle de motion capture. Publie sur arXiv en aout 2026 sous la référence arXiv:2608.29080, le système construit un espace de travail 3D exocentrique en fusionnant en temps réel les nuages de points issus des deux robots, complète par un modèle d'apprentissage qui comble les zones non couvertes par les cameras pour améliorer la conscience spatiale de l'opérateur. Une architecture de changement de mode permet de commander un seul robot ou les deux a la fois, via des commandes bas niveau directes. Les tests menés auprès de 15 participants novices montrent un taux de réussite 1,6 a 4 fois supérieur a celui obtenu avec une interface tablette du commerce. Chez des opérateurs experts, sur neuf taches complexes impliquant deux robots, GHOST a permis de mener a bien deux taches jugées infaisables avec la tablette, et s'est révèle en moyenne 1,47 fois plus rapide. Le code et une démonstration sont publies en open source sur h2r.github.io/GHOST.

Ce travail s'attaque a un goulot d'étranglement concret pour l'industrie: la téléopération multi-robots exige aujourd'hui plusieurs opérateurs, des couches d'autonomie partielle, ou des commandes de haut niveau qui sacrifient la précision. En démontrant qu'un seul humain peut piloter deux bras et deux bases mobiles en direct via de simples cameras embarquées, sans infrastructure de capture de mouvement couteuse, GHOST réduit le cout matériel et logistique de la téléopération coordonnée, un enjeu central pour les intégrateurs qui cherchent a collecter des données de démonstration destinées a entrainer des modèles vision-langage-action comme Pi-0 ou GR00T N2, ou pour des taches industrielles nécessitant une coordination bimanuelle entre deux plateformes. Les gains mesures, jusqu'a 4x sur le taux de réussite face a une tablette, restent toutefois obtenus en environnement de laboratoire contrôle avec un nombre limite de participants, et demandent confirmation a plus grande échelle avant toute généralisation.

GHOST s'inscrit dans une lignée de travaux sur la téléopération VR de bras manipulateurs, méthode devenue centrale pour la collecte de données d'apprentissage par imitation, a mesure que des laboratoires et startups comme Figure AI (Helix), 1X, Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) cherchent a entrainer des modèles généralistes pour robots humanoïdes. La plupart des systèmes existants se limitent a un seul robot ou reposent sur des vues égocentriques figées, ce qui complique la coordination entre plateformes. En publiant son code, l'équipe H2R contraste avec l'opacité habituelle des pipelines de téléopération propriétaires des acteurs commerciaux de l'humanoïde. Aucun calendrier de déploiement industriel n'est évoque: GHOST reste, a ce stade, un prototype de recherche académique valide expérimentalement, non un produit commercialise.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR

Une équipe de chercheurs a publié sur arXiv (preprint 2605.30989, mai 2026) un framework de téléopération en réalité virtuelle pour piloter un bras manipulateur 7-DOF en temps réel dans des environnements dynamiques. Le système intègre un solveur de cinématique inverse (IK) accéléré sur GPU et un module d'optimisation de trajectoires directement dans l'interface VR, générant des commandes articulaires réalisables à chaque cycle de contrôle. Les expériences couvrent trois scénarios : environnement sans obstacle, avec obstacles statiques, et avec obstacles en mouvement. Dans les trois cas, le système maintient une trajectoire conforme aux intentions de l'opérateur tout en produisant des déviations sécurisées lorsqu'un obstacle interfère avec le chemin commandé. L'intérêt de cette approche réside dans l'adresse d'une lacune connue : la majorité des systèmes de téléopération VR existants ont été conçus comme outils de collecte de données pour l'apprentissage par imitation, sans traiter explicitement les risques de collision ni les erreurs d'opérateurs novices. Ce framework cible un déploiement opérationnel réel dans des environnements à accès difficile ou dangereux (zones irradiées, maintenance industrielle à distance). La capacité à gérer des obstacles mobiles en temps réel, sans interrompre la boucle de contrôle, représente un passage de la démonstration en labo vers une robustesse compatible avec le terrain. Cela dit, les conditions exactes des tests (vitesse des obstacles, latence réseau, durée des séquences) ne sont pas détaillées dans l'abstract, ce qui invite à la prudence sur la généralisation des résultats. La téléopération VR pour la manipulation robotique connaît un regain d'intérêt depuis 2022-2023, portée par des projets comme AnyTeleop, UMI (Universal Manipulation Interface) de Stanford, et les systèmes de collecte de données de Physical Intelligence (pi0). Ces travaux ont majoritairement servi à entraîner des politiques de manipulation, reléguant la sécurité opérationnelle au second plan. En Europe, des acteurs comme Enchanted Tools et des laboratoires comme le LIRMM travaillent sur des problématiques voisines d'interaction humain-robot sécurisée. Ce preprint se positionne comme une brique vers une téléopération déployable plutôt que comme un produit fini, et les prochaines étapes restent à définir : intégration avec des politiques VLA, tests en conditions réelles ou validation en environnement industriel certifié.

UEImpact indirect : le LIRMM et Enchanted Tools travaillent sur des problématiques voisines de téléopération sécurisée, mais ce preprint ne les implique pas et n'est associé à aucun déploiement ou financement européen documenté.

RecherchePaper

1 source

2arXiv cs.RO

Let the Body Follow : contrôle égocentrique couplé pour la téléopération d'un robot en corps entier

Une équipe de recherche présente le "coupled egocentric control" (contrôle égocentrique couplé), une nouvelle approche de téléopération pour robots à corps complet, détaillée dans un article publié sur arXiv le 20 juillet 2026 (arXiv:2607.16095v1). Le problème visé : lors d'une téléopération classique d'un robot mobile manipulateur, l'opérateur doit gérer simultanément la tête, les bras, le torse et la base, généralement via des commandes explicites au pavé tactile pour chaque ajustement de posture, ce qui alourdit considérablement la charge cognitive. La solution proposée fait suivre automatiquement le torse et la base aux mouvements de tête et de bras de l'opérateur : le tangage (pitch) de la tête ajuste la hauteur du torse, le lacet (yaw) de la tête pilote la rotation de la base, la hauteur de l'effecteur terminal module le mouvement du torse, et le franchissement des limites de l'espace de travail de l'effecteur déclenche une translation de la base. Les chercheurs ont testé ce système lors d'une étude utilisateur sur un robot mobile manipulateur TIAGo, pour des tâches inspirées de l'assistance à domicile, en le comparant à une interface hybride classique. Cette approche s'attaque à un vrai goulot d'étranglement de la téléopération de robots humanoïdes et mobiles : la coordination motrice entre perception, manipulation et déplacement, souvent citée comme facteur limitant pour des applications comme la téléassistance à domicile ou les interventions à distance en environnement dangereux. Les résultats de l'étude sont positifs sur plusieurs axes mesurables : meilleure efficacité de manipulation d'objets, réduction du recours aux commandes au pavé tactile, moins de singularités cinématiques des bras, charge mentale et effort perçu plus faibles, et préférence utilisateur plus marquée pour le contrôle du torse et de la base. Ces gains, s'ils se confirment à plus grande échelle, pourraient simplifier l'entraînement des opérateurs et réduire la fatigue lors de sessions de téléopération prolongées, un enjeu concret pour les déploiements commerciaux de robots téléopérés en environnement réel plutôt qu'en démonstration contrôlée. Le travail s'inscrit dans la lignée des recherches en interfaces homme-robot visant à réduire la charge de contrôle explicite en exploitant les intentions naturelles de l'opérateur (regard, posture) plutôt que des commandes manuelles dédiées, une direction déjà explorée pour les bras robotiques mais moins pour la coordination corps entier incluant base mobile. Le choix du TIAGo, plateforme de recherche standard de PAL Robotics, en fait une étude de faisabilité plutôt qu'un système prêt à déployer ; les auteurs ne mentionnent pas de suite industrielle ou de partenariat commercial à ce stade. La validation reste limitée à une étude utilisateur en laboratoire sur des tâches inspirées du soin à domicile, sans indication de volumes testés, de durée des sessions ni de profil des participants, ce qui appelle à la prudence avant d'extrapoler ces gains à des contextes de téléopération professionnelle à grande échelle.

UELe robot utilisé pour l'étude, TIAGo, est développé par PAL Robotics, entreprise espagnole, ce qui ancre cette recherche en téléopération dans l'écosystème robotique européen, sans toutefois de suite industrielle ou déploiement commercial annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Robots évitant les collisions en temps réel dans des environnements dynamiques

Des chercheurs publient une méthode qui convertit n'importe quel chemin géométrique, c'est-à-dire une simple séquence d'états produite par un planificateur de mouvement quelconque (échantillonné comme RRT ou PRM, ou basé sur la recherche comme ARA*), en une trajectoire réellement exécutable par un robot : cinématiquement faisable et à jerk limité. L'algorithme génère une suite de splines quintiques ou quartiques, discrétisées à une fréquence de contrôle choisie par l'utilisateur, puis diffusées directement vers le contrôleur bas niveau. Il peut être réinvoqué à tout instant pour recalculer une nouvelle trajectoire depuis l'état courant du robot vers une cible ou une séquence de cibles, avec adaptation en temps réel aux changements de l'environnement. Sous l'hypothèse que la vitesse des obstacles reste bornée, la méthode offre des garanties conditionnelles d'arrêt sécurisé sur un intervalle de temps fini, tout en tolérant une déviation géométrique limitée par rapport au chemin d'origine. Les contraintes cinématiques, jerk compris, sont traitées explicitement. En simulation comparative face à une méthode concurrente, les auteurs rapportent un meilleur lissage, un temps de calcul plus faible et de meilleures performances temps réel, en particulier lors de changements fréquents de cible, jusqu'à 1 kHz. Des expériences sur robot réel valident l'approche, y compris dans des scénarios où un humain fait office d'obstacle. Pour les intégrateurs, ce travail cible un problème très concret : la plupart des planificateurs de mouvement produisent des chemins géométriques, pas des trajectoires exécutables respectant les limites physiques du robot en vitesse, accélération et jerk. Combler ce fossé en temps réel, avec des garanties de sécurité formelles même quand des obstacles se déplacent, fait défaut à de nombreuses piles de navigation actuelles destinées aux environnements partagés avec des humains, entrepôts, usines ou bras collaboratifs. La capacité à replanifier jusqu'à 1 kHz sans dégrader la fluidité du mouvement représente un vrai gain pour les systèmes confrontés à des changements rapides de l'environnement, sans imposer le compromis habituel entre réactivité et stabilité. Le domaine de la planification de mouvement reste tiraillé entre planificateurs globaux, qui trouvent un chemin, et méthodes locales, chargées de le rendre exécutable en douceur : les chemins issus d'échantillonnage sont typiquement irréguliers et nécessitent un post-traitement. Les approches existantes de lissage gèrent souvent mal les obstacles dynamiques ou la replanification à haute fréquence, ce qui constitue la référence à laquelle ce travail se compare. La méthode s'appuie sur la génération de trajectoires par splines, technique classique en robotique pour le mouvement à jerk limité, en y ajoutant une gestion explicite des obstacles dynamiques et des garanties formelles d'arrêt sécurisé. Publiée en version révisée sur arXiv, elle ouvre la voie à des validations plus larges sur d'autres plateformes robotiques.

RecherchePaper

1 source

4arXiv cs.RO

OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel

Des chercheurs publient OGPO (One-Step Generative Policy Optimization), un cadre d'apprentissage pour le contrôle robotique en temps réel, dont la version 2 vient d'être diffusée sur arXiv (2601.20701). Il vise un problème précis : les politiques de contrôle fondées sur la diffusion ou le flow matching génèrent les actions en plusieurs étapes d'échantillonnage, ce qui limite leur usage dès que la latence compte. Réduire ce nombre d'étapes à un seul dégrade d'ordinaire la qualité de représentation et la performance sur la tâche. Les auteurs décrivent un compromis à trois pôles entre vitesse, fidélité et performance. OGPO associe une architecture légère au principe d'« interval velocity » pour une inférence en une étape sans distillation, tandis qu'une technique de « représentation spreading » évite la dégradation des représentations. Une phase d'apprentissage par renforcement (RL) on-policy affine ensuite cette politique rapide et stable. Sur les benchmarks RoboMimic et OpenAI Gym, la méthode égale ou dépasse des références multi-étapes, avec une inférence 5 à 20 fois plus rapide et une fréquence de contrôle supérieure à 120 Hz. Un déploiement physique sur un bras Franka Emika Panda est présenté comme validation. L'intérêt tient à la place des politiques génératives dans la robotique actuelle. Diffusion et flow matching sont devenus des choix courants pour représenter des comportements multimodaux, y compris dans plusieurs architectures VLA (vision-langage-action). Leur coût d'inférence impose pourtant des compromis : fréquences de contrôle basses, découpage des actions en blocs (chunking), ou matériel de calcul embarqué plus lourd. Une politique à plus de 120 Hz sans distillation, si les résultats tiennent, rapprocherait ces méthodes des boucles de contrôle réactives, utiles pour la manipulation fine ou le contact. L'ajout du RL on-policy répond à une limite connue de l'apprentissage par imitation, dont la performance reste bornée par la qualité des démonstrations. Les réserves sont claires : RoboMimic et Gym sont des benchmarks académiques, la validation réelle se limite à un seul bras et le résumé ne détaille ni les tâches physiques, ni le taux de réussite, ni le matériel de calcul. Le gain de 5 à 20 fois dépend des références choisies. Ce travail s'inscrit dans une course à l'accélération des politiques génératives. Diffusion Policy a imposé le paradigme, les approches de flow matching comme Pi-0 l'ont repris à plus grande échelle, et plusieurs équipes explorent la distillation en peu d'étapes ou le fine-tuning par RL de ces politiques. OGPO prend une voie sans distillation, en combinant vitesse et amélioration par renforcement. Il s'agit ici d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra des preuves sur des tâches plus variées, sur des robots différents et, surtout, de son intégration dans de grands modèles VLA. Une page de projet accompagne l'article.

RecherchePaper

1 source