RecherchearXiv cs.RO 3 août 2026

Traduction événementielle de la téléopération haut du corps d'un humanoïde en conditions d'éclairage difficiles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent un système de téléopération temps réel du haut du corps d'un robot humanoïde, piloté par une caméra événementielle neuromorphique plutôt qu'une caméra RGB classique. Le dispositif repose sur la Prophesee EVK4, qui fonctionne de façon asynchrone avec une résolution temporelle élevée et une plage dynamique supérieure à 120 dB, permettant un suivi stable en contre-jour sévère ou dans des environnements descendant sous 5 lux. L'architecture combine un module de perception à faible latence, utilisant une accumulation d'événements optimisée et une fusion inertielle alignée sur la gravité, avec un module de mouvement causal baptisé TWIST, chargé du retargeting cinématique en ligne. Le système a été validé sur une plateforme embarquée NVIDIA Booster T1 couplée à un buste humanoïde à 18 degrés de liberté, avec une latence photon-action de bout en bout mesurée entre 23 et 34 millisecondes, meilleure que les pipelines RGB classiques testés dans les mêmes conditions.

L'intérêt pratique dépasse la simple prouesse technique. La téléopération humanoïde bute aujourd'hui sur un problème concret d'imitation de mouvement en environnement industriel réel: éclairage variable, contre-jour dans les entrepôts, ateliers mal éclairés, mouvements rapides des opérateurs. Les caméras RGB classiques, à temps d'intégration fixe, décrochent précisément dans ces conditions, ce qui limite le déploiement de la téléopération hors laboratoire contrôlé. En montrant qu'une caméra événementielle conserve une latence de suivi de l'ordre de la trentaine de millisecondes là où le RGB se dégrade, l'étude apporte un argument concret en faveur des capteurs neuromorphiques pour les cas d'usage exigeants en dynamique ou en éclairage difficile, un segment jusqu'ici resté marginal face à la domination du RGB et du LiDAR dans les stacks de perception robotique. Les auteurs restent toutefois mesurés: en scène statique et bien éclairée, le RGB ou une approche hybride RGB-événements reste préférable, ce qui positionne la vision événementielle comme un complément ciblé plutôt qu'un remplacement généralisé.

Ce travail s'inscrit dans la course actuelle à l'amélioration des interfaces de téléopération humanoïde, un maillon clé pour la collecte de données d'apprentissage par imitation utilisées par des architectures VLA comme TWIST elle-même, Pi-0 ou GR00T N2. Il ne s'agit pas d'un produit commercial mais d'une publication de recherche (arXiv, juillet 2026), sans annonce de partenariat industriel ni de calendrier de déploiement. La piste ouverte, hybrider capteurs événementiels et RGB selon les conditions de luminosité, dessine une prochaine étape logique pour fiabiliser la téléopération humanoïde hors des conditions de laboratoire.

Impact France/UE

Le capteur événementiel utilisé, le Prophesee EVK4, est développé par une entreprise française, illustrant le rôle de l'écosystème européen de la vision neuromorphique dans la recherche en téléopération humanoïde.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Let the Body Follow : contrôle égocentrique couplé pour la téléopération d'un robot en corps entier

Une équipe de recherche présente le "coupled egocentric control" (contrôle égocentrique couplé), une nouvelle approche de téléopération pour robots à corps complet, détaillée dans un article publié sur arXiv le 20 juillet 2026 (arXiv:2607.16095v1). Le problème visé : lors d'une téléopération classique d'un robot mobile manipulateur, l'opérateur doit gérer simultanément la tête, les bras, le torse et la base, généralement via des commandes explicites au pavé tactile pour chaque ajustement de posture, ce qui alourdit considérablement la charge cognitive. La solution proposée fait suivre automatiquement le torse et la base aux mouvements de tête et de bras de l'opérateur : le tangage (pitch) de la tête ajuste la hauteur du torse, le lacet (yaw) de la tête pilote la rotation de la base, la hauteur de l'effecteur terminal module le mouvement du torse, et le franchissement des limites de l'espace de travail de l'effecteur déclenche une translation de la base. Les chercheurs ont testé ce système lors d'une étude utilisateur sur un robot mobile manipulateur TIAGo, pour des tâches inspirées de l'assistance à domicile, en le comparant à une interface hybride classique. Cette approche s'attaque à un vrai goulot d'étranglement de la téléopération de robots humanoïdes et mobiles : la coordination motrice entre perception, manipulation et déplacement, souvent citée comme facteur limitant pour des applications comme la téléassistance à domicile ou les interventions à distance en environnement dangereux. Les résultats de l'étude sont positifs sur plusieurs axes mesurables : meilleure efficacité de manipulation d'objets, réduction du recours aux commandes au pavé tactile, moins de singularités cinématiques des bras, charge mentale et effort perçu plus faibles, et préférence utilisateur plus marquée pour le contrôle du torse et de la base. Ces gains, s'ils se confirment à plus grande échelle, pourraient simplifier l'entraînement des opérateurs et réduire la fatigue lors de sessions de téléopération prolongées, un enjeu concret pour les déploiements commerciaux de robots téléopérés en environnement réel plutôt qu'en démonstration contrôlée. Le travail s'inscrit dans la lignée des recherches en interfaces homme-robot visant à réduire la charge de contrôle explicite en exploitant les intentions naturelles de l'opérateur (regard, posture) plutôt que des commandes manuelles dédiées, une direction déjà explorée pour les bras robotiques mais moins pour la coordination corps entier incluant base mobile. Le choix du TIAGo, plateforme de recherche standard de PAL Robotics, en fait une étude de faisabilité plutôt qu'un système prêt à déployer ; les auteurs ne mentionnent pas de suite industrielle ou de partenariat commercial à ce stade. La validation reste limitée à une étude utilisateur en laboratoire sur des tâches inspirées du soin à domicile, sans indication de volumes testés, de durée des sessions ni de profil des participants, ce qui appelle à la prudence avant d'extrapoler ces gains à des contextes de téléopération professionnelle à grande échelle.

UELe robot utilisé pour l'étude, TIAGo, est développé par PAL Robotics, entreprise espagnole, ce qui ancre cette recherche en téléopération dans l'écosystème robotique européen, sans toutefois de suite industrielle ou déploiement commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps. Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique. Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

UELes laboratoires européens constituant des jeux de données de téléopération pour l'apprentissage par imitation (INRIA, CEA-List, LAAS-CNRS) peuvent adopter cette approche IMU sur matériel grand public pour abaisser significativement leur coût d'entrée.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage d'une politique de suivi de trajectoire asynchrone dans l'espace des tâches du haut du corps pour robots humanoïdes

Des chercheurs ont publié le 25 juin 2026 sur arXiv (preprint 2606.25706) un cadre de contrôle baptisé "asynchronous upper body task-space tracking" pour robots humanoïdes. Le problème qu'ils adressent est architectural : les planificateurs de haut niveau génèrent des trajectoires dans l'espace des tâches à faible fréquence (quelques Hz), alors que les contrôleurs de corps entier tournent à haute fréquence (typiquement plusieurs centaines de Hz). Cette désynchronisation temporelle entre planification et exécution produit des dérives de référentiel et des incohérences dans le contrôle. Pour y remédier, l'équipe propose une politique étudiante initialisée par distillation enseignant-étudiant, conditionnée sur la trajectoire future complète mise en cache et un index d'exécution temporel, puis entraînée avec une récompense globale à fenêtre glissante. Un module MPC (Model Predictive Control) complète les références creuses en guidage corps flottant et membre supérieur, tandis que des contraintes au niveau des actions et de la cinématique directe (FK) limitent la dérive de la politique. Les expériences ont été conduites en simulation et sur le robot Unitree G1, un humanoïde commercial à 23 degrés de liberté. Ce travail touche un goulot d'étranglement concret qui freine la commercialisation des humanoïdes : la chaîne planification-exécution reste fragmentée dans la quasi-totalité des architectures actuelles, forçant des compromis entre réactivité et cohérence de mouvement. Le fait que la politique obtienne de meilleures performances que les baselines synchrones et découplées, et qu'elle s'adapte plus sûrement aux mouvements hors distribution, suggère une progression vers un déploiement robuste en environnement non contrôlé. L'approche sans estimation explicite de référentiel réduit aussi la charge computationnelle, ce qui est pertinent pour les intégrateurs industriels cherchant à embarquer le traitement. Toutefois, il s'agit d'un preprint non encore évalué par les pairs, et les métriques de suivi de trajectoire présentées restent contextualisées à des scénarios de laboratoire ; la généralisabilité à des tâches industrielles réelles reste à démontrer. Unitree Robotics, fabricant chinois fondé en 2016, s'est imposé comme fournisseur de plateformes de recherche abordables avec des robots quadrupèdes puis le G1 humanoïde. Ce contexte explique le choix du matériel : le G1 est accessible à de nombreux labos académiques, ce qui élargit la portée reproductible des résultats. Sur le fond, la course à la maîtrise du pipeline planification-exécution pour les humanoïdes mobilise simultanément Figure (02 et bientôt 03), Tesla Optimus, Agility Robotics, 1X Technologies et les laboratoires académiques liés à Physical Intelligence (Pi-0) et à NVIDIA (GR00T N2). La distillation enseignant-étudiant couplée au MPC comme module de complétion de trajectoire s'inscrit dans une tendance plus large : combler le sim-to-real gap par des architectures hybrides apprises/optimisées plutôt que par du RL pur. Les prochaines étapes naturelles seraient une validation sur des cycles de manipulation répétitifs en cadence industrielle et une intégration avec des VLA (Vision-Language-Action models) pour fermer la boucle perception-planification-exécution.

RecherchePaper

1 source

4arXiv cs.RO

KungfuBot : contrôle physique du corps entier d'un robot humanoïde pour l'apprentissage de compétences hautement dynamiques

Des chercheurs présentent KungfuBot, un cadre de contrôle corps-entier pour robots humanoïdes basé sur la physique, capable d'imiter des mouvements humains hautement dynamiques comme le kungfu ou la danse, là où les algorithmes existants ne parviennent à suivre que des mouvements lents et fluides malgré un travail soigné sur les récompenses et le curriculum d'apprentissage. Le système repose sur un pipeline de traitement du mouvement qui extrait, filtre, corrige et retargete les captures de mouvement humain tout en respectant au maximum les contraintes physiques du robot. Pour l'imitation, les auteurs formulent un problème d'optimisation à deux niveaux qui ajuste dynamiquement la tolérance de précision de suivi selon l'erreur courante, créant un mécanisme de curriculum adaptatif, complété par une architecture acteur-critique asymétrique pour l'entraînement des politiques. Déployé sur le robot Unitree G1, le système atteint des erreurs de suivi nettement inférieures aux approches existantes et produit des comportements stables et expressifs. Le projet est documenté sur kungfubot.github.io. L'enjeu dépasse la simple prouesse technique : la capacité à reproduire des mouvements rapides et dynamiques est un point de blocage connu du contrôle corps-entier par imitation, où le compromis entre stabilité physique et fidélité au mouvement source devient critique à haute vitesse. En démontrant qu'un curriculum adaptatif basé sur l'erreur de suivi permet de dépasser ce plafond, KungfuBot apporte une preuve de concept utile pour toute l'industrie humanoïde, où l'expressivité et la robustesse des mouvements dynamiques sont devenues un argument de démonstration autant qu'un vrai défi d'ingénierie. Reste que les vidéos de démonstration, comme souvent dans ce type de publication, présentent probablement une sélection de résultats plutôt qu'un comportement systématique et généralisable. Ce travail s'inscrit dans la lignée des recherches sur l'imitation de mouvement par apprentissage par renforcement physique, un domaine où le retargeting de capture de mouvement humain vers des morphologies robotiques reste une difficulté majeure. Le fait qu'il s'agisse d'une troisième version révisée sur arXiv suggère un travail affiné après retours de la communauté. Le choix du Unitree G1, plateforme largement utilisée dans la recherche académique en robotique humanoïde, positionne ces résultats comme reproductibles par d'autres laboratoires, dans un secteur où Unitree, Figure ou Boston Dynamics rivalisent sur la démonstration de comportements dynamiques et expressifs.

RecherchePaper

1 source