Aller au contenu principal
Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLMIllustration générée par IA
RecherchearXiv cs.RO 

Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLM

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent un système de téléopération immersive pour robots humanoïdes combinant casque Apple Vision Pro et modèle de langage, testé sur un robot Unitree H1 équipé de mains dextres. L'opérateur reçoit un flux vidéo à la première personne directement depuis les caméras du robot, pilote ses déplacements par commandes vocales en langage naturel converties en instructions de haut niveau par un module LLM, et contrôle les bras et les doigts du robot par suivi du poignet et des mains, retranscrit via cinématique inverse et régulation PD. Le système enregistre en parallèle des données multimodales : images RGB égocentriques, commandes vocales et texte, états articulaires, mouvements des mains et signaux de regard, en vue d'un futur entraînement par apprentissage par imitation. Les auteurs rapportent que des utilisateurs novices, après une brève familiarisation, atteignent 80% de réussite sur des tâches de manipulation d'objets et 70% sur une tâche d'interaction sociale consistant à se faire passer un cube avec le robot.

L'intérêt de ces travaux tient moins à la performance brute qu'à la démonstration d'une interface de téléopération accessible à des non-experts, sans entraînement lourd ni contrôle bas niveau exigeant. C'est un signal pertinent pour le secteur : la plupart des démonstrations de téléopération humanoïde restent réservées à des opérateurs entraînés maniant des contrôleurs spécialisés, ce qui freine leur adoption pour l'assistance à distance ou la collecte de données d'entraînement à grande échelle. En couplant retour visuel immersif, langage naturel et capture de mouvement fine, cette approche illustre une piste concrète pour réduire la charge cognitive et physique de l'opérateur, un frein connu au déploiement commercial des humanoïdes téléopérés. Il faut toutefois noter que les taux de réussite annoncés, 70 à 80%, restent modestes face aux standards industriels et proviennent d'un nombre d'essais limité en laboratoire, loin d'un déploiement réel.

Ce travail s'inscrit dans la lignée des systèmes de téléopération immersive qui se sont multipliés avec l'essor des VLA (modèles vision-langage-action) comme Pi-0 ou GR00T N2, où la collecte de démonstrations humaines de haute qualité est un goulot d'étranglement majeur pour l'apprentissage. Le choix du Vision Pro comme interface, plutôt que des combinaisons de capture de mouvement traditionnelles, reflète une tendance plus large du secteur à exploiter le matériel grand public pour réduire les coûts de téléopération, une direction également explorée par plusieurs laboratoires américains et chinois. Il s'agit ici d'une publication de recherche académique arXiv, sans partenaire industriel ni calendrier de commercialisation annoncé : les prochaines étapes attendues porteraient sur l'exploitation des données multimodales collectées pour entraîner des politiques autonomes, transformant à terme cette téléopération assistée en un système capable d'agir de façon plus indépendante.

À lire aussi

Cadre socialement conscient et multimodal pour l'interaction humain-robot en réalité virtuelle
Illustration générée par IA
1arXiv cs.RO 

Cadre socialement conscient et multimodal pour l'interaction humain-robot en réalité virtuelle

Une équipe de chercheurs publie sur arXiv (2610.34534) un cadre multimodal qui combine parole, vision et toucher pour qu'un robot social génère des réponses vocales et des mouvements adaptés au contexte. Le système a été testé en réalité virtuelle auprès de 18 participants, sur cinq scénarios d'interaction sociale. Il a été comparé à une référence pilotée par un opérateur humain en téléopération. Les participants ont noté le système autonome au-dessus du point médian neutre, aussi bien pour le naturel que pour la pertinence sociale. La version téléopérée a toutefois obtenu des notes significativement plus élevées sur les deux critères.

RecherchePaper
1 source
Apprendre à empiler : imitation learning par démonstrations en réalité virtuelle pour empiler des cubes
Illustration générée par IA
2arXiv cs.RO 

Apprendre à empiler : imitation learning par démonstrations en réalité virtuelle pour empiler des cubes

La collecte de démonstrations reste le principal frein à l'apprentissage par imitation pour les tâches manipulatoires en plusieurs étapes, qui exigent de réinitialiser la scène après chaque essai humain. Un article publié sur arXiv en septembre 2026 (arXiv:2609.19040v1) décrit un pipeline de collecte de données en réalité virtuelle conçu pour contourner ce goulot d'étranglement, appliqué à une tâche d'empilement de cubes avec un bras robotique personnalisé à 5 degrés de liberté (DoF) simulé dans NVIDIA Isaac Sim et Isaac Lab. Équipé d'un casque HTC Vive Pro 2, de gants Manus Quantum et du standard OpenXR, un opérateur envoie des commandes SE(3) à l'effecteur terminal pour générer les démonstrations.

RecherchePaper
1 source
Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots
Illustration générée par IA
3arXiv cs.RO 

Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots

Une équipe de recherche a testé si la réalité virtuelle (VR) permet d'étudier fidèlement les interactions humain-robot dans des scénarios de navigation sociale partagée. L'étude, menée avec 21 participants, a comparé leurs réactions face à un robot mobile manipulateur PR2 dans deux conditions identiques : une arène réelle équipée de capture de mouvement, et sa réplique virtuelle immersive en VR. Deux situations classiques de co-navigation ont été examinées, le croisement orthogonal et le dépassement latéral (pass-by). Les chercheurs ont recueilli à la fois des mesures subjectives, la perception de la conscience sociale du robot et le confort ressenti par les participants, et des données comportementales objectives, trajectoires de déplacement et orientation de la tête, pour comparer précisément les deux environnements.

RecherchePaper
1 source
Correction des échecs persistants des politiques de préhension par nuage de points grâce à des démonstrations humaines en réalité virtuelle
Illustration générée par IA
4arXiv cs.RO 

Correction des échecs persistants des politiques de préhension par nuage de points grâce à des démonstrations humaines en réalité virtuelle

Des chercheurs proposent une boucle de correction avec humain dans la boucle pour traiter les saisies que les politiques de préhension sur nuage de points continuent de rater, même après un entraînement par apprentissage par renforcement (RL). Le principe: les situations où la politique RL échoue de façon répétée sont repérées automatiquement, envoyées vers une application de réalité virtuelle où un opérateur saisit l'objet avec ses propres mains, puis réinjectées à l'entraînement sous la forme de deux points de saisie. L'humain n'indique que l'endroit où saisir; le robot choisit lui-même sa trajectoire d'approche.

RecherchePaper
1 source