RecherchearXiv cs.RO 1 septembre 2026

GHOST dans les robots : téléopération VR duale exocentrique en temps réel via caméras embarquées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire H2R (Humans to Robots Lab) présentent GHOST, un système de téléopération en réalité virtuelle permettant a un seul opérateur de piloter simultanément deux robots manipulateurs mobiles en s'appuyant uniquement sur les cameras RGB-D embarquées, sans capteurs externes ni salle de motion capture. Publie sur arXiv en aout 2026 sous la référence arXiv:2608.29080, le système construit un espace de travail 3D exocentrique en fusionnant en temps réel les nuages de points issus des deux robots, complète par un modèle d'apprentissage qui comble les zones non couvertes par les cameras pour améliorer la conscience spatiale de l'opérateur. Une architecture de changement de mode permet de commander un seul robot ou les deux a la fois, via des commandes bas niveau directes. Les tests menés auprès de 15 participants novices montrent un taux de réussite 1,6 a 4 fois supérieur a celui obtenu avec une interface tablette du commerce. Chez des opérateurs experts, sur neuf taches complexes impliquant deux robots, GHOST a permis de mener a bien deux taches jugées infaisables avec la tablette, et s'est révèle en moyenne 1,47 fois plus rapide. Le code et une démonstration sont publies en open source sur h2r.github.io/GHOST.

Ce travail s'attaque a un goulot d'étranglement concret pour l'industrie: la téléopération multi-robots exige aujourd'hui plusieurs opérateurs, des couches d'autonomie partielle, ou des commandes de haut niveau qui sacrifient la précision. En démontrant qu'un seul humain peut piloter deux bras et deux bases mobiles en direct via de simples cameras embarquées, sans infrastructure de capture de mouvement couteuse, GHOST réduit le cout matériel et logistique de la téléopération coordonnée, un enjeu central pour les intégrateurs qui cherchent a collecter des données de démonstration destinées a entrainer des modèles vision-langage-action comme Pi-0 ou GR00T N2, ou pour des taches industrielles nécessitant une coordination bimanuelle entre deux plateformes. Les gains mesures, jusqu'a 4x sur le taux de réussite face a une tablette, restent toutefois obtenus en environnement de laboratoire contrôle avec un nombre limite de participants, et demandent confirmation a plus grande échelle avant toute généralisation.

GHOST s'inscrit dans une lignée de travaux sur la téléopération VR de bras manipulateurs, méthode devenue centrale pour la collecte de données d'apprentissage par imitation, a mesure que des laboratoires et startups comme Figure AI (Helix), 1X, Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) cherchent a entrainer des modèles généralistes pour robots humanoïdes. La plupart des systèmes existants se limitent a un seul robot ou reposent sur des vues égocentriques figées, ce qui complique la coordination entre plateformes. En publiant son code, l'équipe H2R contraste avec l'opacité habituelle des pipelines de téléopération propriétaires des acteurs commerciaux de l'humanoïde. Aucun calendrier de déploiement industriel n'est évoque: GHOST reste, a ce stade, un prototype de recherche académique valide expérimentalement, non un produit commercialise.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR

Une équipe de chercheurs a publié sur arXiv (preprint 2605.30989, mai 2026) un framework de téléopération en réalité virtuelle pour piloter un bras manipulateur 7-DOF en temps réel dans des environnements dynamiques. Le système intègre un solveur de cinématique inverse (IK) accéléré sur GPU et un module d'optimisation de trajectoires directement dans l'interface VR, générant des commandes articulaires réalisables à chaque cycle de contrôle. Les expériences couvrent trois scénarios : environnement sans obstacle, avec obstacles statiques, et avec obstacles en mouvement. Dans les trois cas, le système maintient une trajectoire conforme aux intentions de l'opérateur tout en produisant des déviations sécurisées lorsqu'un obstacle interfère avec le chemin commandé. L'intérêt de cette approche réside dans l'adresse d'une lacune connue : la majorité des systèmes de téléopération VR existants ont été conçus comme outils de collecte de données pour l'apprentissage par imitation, sans traiter explicitement les risques de collision ni les erreurs d'opérateurs novices. Ce framework cible un déploiement opérationnel réel dans des environnements à accès difficile ou dangereux (zones irradiées, maintenance industrielle à distance). La capacité à gérer des obstacles mobiles en temps réel, sans interrompre la boucle de contrôle, représente un passage de la démonstration en labo vers une robustesse compatible avec le terrain. Cela dit, les conditions exactes des tests (vitesse des obstacles, latence réseau, durée des séquences) ne sont pas détaillées dans l'abstract, ce qui invite à la prudence sur la généralisation des résultats. La téléopération VR pour la manipulation robotique connaît un regain d'intérêt depuis 2022-2023, portée par des projets comme AnyTeleop, UMI (Universal Manipulation Interface) de Stanford, et les systèmes de collecte de données de Physical Intelligence (pi0). Ces travaux ont majoritairement servi à entraîner des politiques de manipulation, reléguant la sécurité opérationnelle au second plan. En Europe, des acteurs comme Enchanted Tools et des laboratoires comme le LIRMM travaillent sur des problématiques voisines d'interaction humain-robot sécurisée. Ce preprint se positionne comme une brique vers une téléopération déployable plutôt que comme un produit fini, et les prochaines étapes restent à définir : intégration avec des politiques VLA, tests en conditions réelles ou validation en environnement industriel certifié.

UEImpact indirect : le LIRMM et Enchanted Tools travaillent sur des problématiques voisines de téléopération sécurisée, mais ce preprint ne les implique pas et n'est associé à aucun déploiement ou financement européen documenté.

RecherchePaper

1 source

2arXiv cs.RO

Let the Body Follow : contrôle égocentrique couplé pour la téléopération d'un robot en corps entier

Une équipe de recherche présente le "coupled egocentric control" (contrôle égocentrique couplé), une nouvelle approche de téléopération pour robots à corps complet, détaillée dans un article publié sur arXiv le 20 juillet 2026 (arXiv:2607.16095v1). Le problème visé : lors d'une téléopération classique d'un robot mobile manipulateur, l'opérateur doit gérer simultanément la tête, les bras, le torse et la base, généralement via des commandes explicites au pavé tactile pour chaque ajustement de posture, ce qui alourdit considérablement la charge cognitive. La solution proposée fait suivre automatiquement le torse et la base aux mouvements de tête et de bras de l'opérateur : le tangage (pitch) de la tête ajuste la hauteur du torse, le lacet (yaw) de la tête pilote la rotation de la base, la hauteur de l'effecteur terminal module le mouvement du torse, et le franchissement des limites de l'espace de travail de l'effecteur déclenche une translation de la base. Les chercheurs ont testé ce système lors d'une étude utilisateur sur un robot mobile manipulateur TIAGo, pour des tâches inspirées de l'assistance à domicile, en le comparant à une interface hybride classique. Cette approche s'attaque à un vrai goulot d'étranglement de la téléopération de robots humanoïdes et mobiles : la coordination motrice entre perception, manipulation et déplacement, souvent citée comme facteur limitant pour des applications comme la téléassistance à domicile ou les interventions à distance en environnement dangereux. Les résultats de l'étude sont positifs sur plusieurs axes mesurables : meilleure efficacité de manipulation d'objets, réduction du recours aux commandes au pavé tactile, moins de singularités cinématiques des bras, charge mentale et effort perçu plus faibles, et préférence utilisateur plus marquée pour le contrôle du torse et de la base. Ces gains, s'ils se confirment à plus grande échelle, pourraient simplifier l'entraînement des opérateurs et réduire la fatigue lors de sessions de téléopération prolongées, un enjeu concret pour les déploiements commerciaux de robots téléopérés en environnement réel plutôt qu'en démonstration contrôlée. Le travail s'inscrit dans la lignée des recherches en interfaces homme-robot visant à réduire la charge de contrôle explicite en exploitant les intentions naturelles de l'opérateur (regard, posture) plutôt que des commandes manuelles dédiées, une direction déjà explorée pour les bras robotiques mais moins pour la coordination corps entier incluant base mobile. Le choix du TIAGo, plateforme de recherche standard de PAL Robotics, en fait une étude de faisabilité plutôt qu'un système prêt à déployer ; les auteurs ne mentionnent pas de suite industrielle ou de partenariat commercial à ce stade. La validation reste limitée à une étude utilisateur en laboratoire sur des tâches inspirées du soin à domicile, sans indication de volumes testés, de durée des sessions ni de profil des participants, ce qui appelle à la prudence avant d'extrapoler ces gains à des contextes de téléopération professionnelle à grande échelle.

UELe robot utilisé pour l'étude, TIAGo, est développé par PAL Robotics, entreprise espagnole, ce qui ancre cette recherche en téléopération dans l'écosystème robotique européen, sans toutefois de suite industrielle ou déploiement commercial annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Robots évitant les collisions en temps réel dans des environnements dynamiques

Des chercheurs publient une méthode qui convertit n'importe quel chemin géométrique, c'est-à-dire une simple séquence d'états produite par un planificateur de mouvement quelconque (échantillonné comme RRT ou PRM, ou basé sur la recherche comme ARA*), en une trajectoire réellement exécutable par un robot : cinématiquement faisable et à jerk limité. L'algorithme génère une suite de splines quintiques ou quartiques, discrétisées à une fréquence de contrôle choisie par l'utilisateur, puis diffusées directement vers le contrôleur bas niveau. Il peut être réinvoqué à tout instant pour recalculer une nouvelle trajectoire depuis l'état courant du robot vers une cible ou une séquence de cibles, avec adaptation en temps réel aux changements de l'environnement. Sous l'hypothèse que la vitesse des obstacles reste bornée, la méthode offre des garanties conditionnelles d'arrêt sécurisé sur un intervalle de temps fini, tout en tolérant une déviation géométrique limitée par rapport au chemin d'origine. Les contraintes cinématiques, jerk compris, sont traitées explicitement. En simulation comparative face à une méthode concurrente, les auteurs rapportent un meilleur lissage, un temps de calcul plus faible et de meilleures performances temps réel, en particulier lors de changements fréquents de cible, jusqu'à 1 kHz. Des expériences sur robot réel valident l'approche, y compris dans des scénarios où un humain fait office d'obstacle. Pour les intégrateurs, ce travail cible un problème très concret : la plupart des planificateurs de mouvement produisent des chemins géométriques, pas des trajectoires exécutables respectant les limites physiques du robot en vitesse, accélération et jerk. Combler ce fossé en temps réel, avec des garanties de sécurité formelles même quand des obstacles se déplacent, fait défaut à de nombreuses piles de navigation actuelles destinées aux environnements partagés avec des humains, entrepôts, usines ou bras collaboratifs. La capacité à replanifier jusqu'à 1 kHz sans dégrader la fluidité du mouvement représente un vrai gain pour les systèmes confrontés à des changements rapides de l'environnement, sans imposer le compromis habituel entre réactivité et stabilité. Le domaine de la planification de mouvement reste tiraillé entre planificateurs globaux, qui trouvent un chemin, et méthodes locales, chargées de le rendre exécutable en douceur : les chemins issus d'échantillonnage sont typiquement irréguliers et nécessitent un post-traitement. Les approches existantes de lissage gèrent souvent mal les obstacles dynamiques ou la replanification à haute fréquence, ce qui constitue la référence à laquelle ce travail se compare. La méthode s'appuie sur la génération de trajectoires par splines, technique classique en robotique pour le mouvement à jerk limité, en y ajoutant une gestion explicite des obstacles dynamiques et des garanties formelles d'arrêt sécurisé. Publiée en version révisée sur arXiv, elle ouvre la voie à des validations plus larges sur d'autres plateformes robotiques.

RecherchePaper

1 source

4arXiv cs.RO

Ancrer la généralisation robotique dans les données d'entraînement via des VLM à récupération augmentée

Des chercheurs présentent RADAR, un framework qui compare directement les taches d'évaluation utilisées pour tester des politiques de manipulation robotique aux données d'entrainement de ces mêmes politiques, décrit dans un article arXiv (2603.11426, version 3, mise a jour d'une publication antérieure). Le système fonctionne en deux étapes : une phase de récupération (retrieval) s'appuie sur des embeddings de politiques généralistes pour identifier, parmi les données d'entrainement, les exemples les plus pertinents pour une tache d'évaluation donnée ; puis des modèles vision-langage (VLM) comparent cette tache aux exemples retrouves selon plusieurs axes, produisant une analyse interprétable et une classification du type de généralisation requis, de la simple variation proche de la distribution d'entrainement jusqu'au scenario réellement inédit. Des expériences contrôlées montrent que les VLM identifient correctement ce type de généralisation et que l'étape de récupération isole efficacement les exemples pertinents. Les auteurs appliquent ensuite RADAR a des jeux de données a grande échelle, ou les classifications produites concordent avec des catégories de benchmarks définies manuellement par des travaux antérieurs. Une démonstration est disponible sur radar-analysis.github.io. L'enjeu dépasse la pure méthodologie de recherche. Dans un secteur domine par des annonces de "généralisation" autour de modèles vision-langage-action (VLA) comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, il est aujourd'hui quasi impossible pour un intégrateur ou un décideur B2B de vérifier si une tache de démonstration constitue réellement un test hors distribution, ou si elle ressemble fortement a des exemples déjà vus a l'entrainement. RADAR propose un outil d'audit systématique de cet écart entre discours marketing et réalité technique, en remplaçant l'évaluation subjective par une comparaison quantifiable aux données réelles. Pour l'industrie, cela ouvre la voie a des benchmarks plus rigoureux, capables de distinguer une véritable avancée en généralisation d'un recyclage de scenarios familiers présentes comme des démonstrations impressionnantes. Ce travail s'inscrit dans un mouvement plus large visant a mieux caractériser les limites réelles des politiques généralistes, alors que la course aux robots humanoïdes et aux modèles fondation pour la manipulation s'appuie largement sur des vidéos de démonstration difficiles a vérifier indépendamment. La troisième version de l'article, publiée comme mise a jour sur arXiv, suggère une itération après retours de la communauté scientifique. Aucun acteur français ou européen n'est mentionne dans cette publication, qui reste pour l'instant un outil de recherche académique plutôt qu'un produit commercial : la suite logique serait son adoption par des laboratoires tiers ou des organismes de benchmark pour auditer les claims de généralisation des grands modèles VLA du marche.

UEAucun acteur francais ou europeen n'est mentionne, mais cet outil d'audit pourrait aider les integrateurs europeens a verifier les claims de generalisation avant d'adopter un modele VLA.

RecherchePaper

1 source