Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Teleopit : un système de téléopération humanoïde à corps entier

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente Teleopit, un système de téléopération complète pour robots humanoïdes, détaillé dans un article déposé sur arXiv (référence 2608.01834v1). Le système capture les signaux corporels, les mouvements des mains et les données de tête depuis un casque VR, puis les retranscrit simultanément sur le corps d'un humanoïde, sur des mains dextres configurables et sur un module de vision active à 2 degrés de liberté. Un encodeur d'historique combiné à un échantillonnage de rattrapage sensible aux échecs améliore le suivi des mouvements, à la fois sur des données de capture de mouvement et en VR en direct. Un module de retargeting des mains, basé sur l'optimisation, combine directions normalisées des doigts, fermeture du bout des doigts et alignement du cadre du pouce, ce qui permet de transposer les gestes humains vers différents types de mains robotiques sans réglage manuel des hyperparamètres. À partir de 96 démonstrations réussies collectées avec Teleopit, des politiques ACT et GR00T N1.7 ont atteint respectivement 90,0% et 95,0% de taux de réussite lors de déploiements réels sur l'humanoïde.

Cette approche s'attaque à un goulot d'étranglement bien identifié du secteur robotique: la collecte de démonstrations de haute qualité pour entraîner des politiques de type VLA (vision-language-action). Les systèmes existants simplifient souvent les commandes des mains ou nécessitent des capteurs portables dédiés pour capter la motricité fine, ce qui limite le volume et la richesse des données exploitables. En proposant un pipeline unifié couvrant locomotion, manipulation et contrôle du point de vue, Teleopit vise à réduire le coût et la complexité de la génération de données d'entraînement, un enjeu central pour les laboratoires qui cherchent à faire passer leurs politiques d'apprentissage du stade démonstratif au déploiement réel.

Le projet s'inscrit dans la vague de systèmes de téléopération VR pour humanoïdes qui s'est multipliée ces derniers mois, aux côtés d'initiatives comme Helix de Figure ou GR00T N2 de Nvidia, ce dernier étant d'ailleurs directement utilisé comme politique testée dans l'étude. Les auteurs, publiant sous un profil GitHub (botrunner64), mettent à disposition une page projet dédiée mais ne précisent pas de partenariat industriel ni de calendrier de commercialisation, ce qui situe pour l'instant Teleopit au stade de la recherche académique plutôt que du produit prêt à déployer.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes
1arXiv cs.RO 

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes

Des chercheurs ont publié fin juin 2026 sur arXiv (réf. 2606.27676) le framework CWI (Composite Whole-Body Imitation), une architecture de contrôle pour robots humanoïdes visant à coordonner locomotion et manipulation bimanuelle en simultané. Le système a été évalué en simulation puis déployé sur un LimX Oli, humanoïde pleine taille du fabricant chinois LimX Robotics. L'approche repose sur une dissociation du recours aux données de capture de mouvement (MoCap) : les données MoCap de manipulation diversifiées pilotent le contrôle du haut du corps, tandis que la locomotion est guidée par deux discriminateurs adversariaux (Adversarial Motion Prior, AMP) entraînés sur des clips curatés de marche et d'accroupissement. Une architecture multi-critique réduit les conflits entre objectifs de locomotion, de manipulation et de style de mouvement ; une étape de distillation enseignant-élève produit ensuite une politique conditionnée uniquement sur les poses des mains et des commandes de vitesse et hauteur. La loco-manipulation reste l'un des verrous majeurs de la robotique humanoïde. Les méthodes purement par renforcement, sans MoCap, souffrent de récompenses creuses et nécessitent des curricula finement réglés ; les méthodes imitant le corps entier butent sur le déséquilibre des datasets, les trajectoires de locomotion trop dynamiques dégradant la stabilité globale. CWI propose une dissociation architecturale qui contourne les deux écueils. Le résultat pratique est une téléopération sans équipement MoCap complet, ce qui abaisse le seuil d'intégration industrielle. Pour les intégrateurs et les décideurs B2B, cela signifie qu'un humanoïde capable d'agir dans des environnements mixtes (déplacements et saisie d'objets) devient envisageable sans infrastructure de capture de mouvement coûteuse. Cela dit, la publication ne fournit aucune métrique de temps de cycle ni de volumes de déploiement, ce qui invite à lire ces résultats comme une preuve de concept compétitive, pas comme un produit shipé. CWI s'inscrit dans une vague de travaux combinant apprentissage par renforcement et imitation de mouvement humain, dont l'Adversarial Motion Prior (AMP) de Peng et al. constitue la brique fondatrice. LimX Robotics reste un acteur discret face aux mastodontes du secteur : Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou encore Boston Dynamics (Atlas) travaillent sur des architectures comparables intégrant contrôle corps entier et politiques Vision-Language-Action (VLA). CWI ne mentionne ni calendrier de déploiement industriel, ni partenariat commercial : il s'agit d'un preprint arXiv sans revue par les pairs publiée. Les prochaines étapes probables passeront par une validation en conditions réelles plus variées et une publication dans une conférence robotique de référence (ICRA, IROS ou RAL).

RecherchePaper
1 source
Traduction événementielle de la téléopération haut du corps d'un humanoïde en conditions d'éclairage difficiles
2arXiv cs.RO 

Traduction événementielle de la téléopération haut du corps d'un humanoïde en conditions d'éclairage difficiles

Des chercheurs présentent un système de téléopération temps réel du haut du corps d'un robot humanoïde, piloté par une caméra événementielle neuromorphique plutôt qu'une caméra RGB classique. Le dispositif repose sur la Prophesee EVK4, qui fonctionne de façon asynchrone avec une résolution temporelle élevée et une plage dynamique supérieure à 120 dB, permettant un suivi stable en contre-jour sévère ou dans des environnements descendant sous 5 lux. L'architecture combine un module de perception à faible latence, utilisant une accumulation d'événements optimisée et une fusion inertielle alignée sur la gravité, avec un module de mouvement causal baptisé TWIST, chargé du retargeting cinématique en ligne. Le système a été validé sur une plateforme embarquée NVIDIA Booster T1 couplée à un buste humanoïde à 18 degrés de liberté, avec une latence photon-action de bout en bout mesurée entre 23 et 34 millisecondes, meilleure que les pipelines RGB classiques testés dans les mêmes conditions. L'intérêt pratique dépasse la simple prouesse technique. La téléopération humanoïde bute aujourd'hui sur un problème concret d'imitation de mouvement en environnement industriel réel: éclairage variable, contre-jour dans les entrepôts, ateliers mal éclairés, mouvements rapides des opérateurs. Les caméras RGB classiques, à temps d'intégration fixe, décrochent précisément dans ces conditions, ce qui limite le déploiement de la téléopération hors laboratoire contrôlé. En montrant qu'une caméra événementielle conserve une latence de suivi de l'ordre de la trentaine de millisecondes là où le RGB se dégrade, l'étude apporte un argument concret en faveur des capteurs neuromorphiques pour les cas d'usage exigeants en dynamique ou en éclairage difficile, un segment jusqu'ici resté marginal face à la domination du RGB et du LiDAR dans les stacks de perception robotique. Les auteurs restent toutefois mesurés: en scène statique et bien éclairée, le RGB ou une approche hybride RGB-événements reste préférable, ce qui positionne la vision événementielle comme un complément ciblé plutôt qu'un remplacement généralisé. Ce travail s'inscrit dans la course actuelle à l'amélioration des interfaces de téléopération humanoïde, un maillon clé pour la collecte de données d'apprentissage par imitation utilisées par des architectures VLA comme TWIST elle-même, Pi-0 ou GR00T N2. Il ne s'agit pas d'un produit commercial mais d'une publication de recherche (arXiv, juillet 2026), sans annonce de partenariat industriel ni de calendrier de déploiement. La piste ouverte, hybrider capteurs événementiels et RGB selon les conditions de luminosité, dessine une prochaine étape logique pour fiabiliser la téléopération humanoïde hors des conditions de laboratoire.

UELe capteur événementiel utilisé, le Prophesee EVK4, est développé par une entreprise française, illustrant le rôle de l'écosystème européen de la vision neuromorphique dans la recherche en téléopération humanoïde.

RecherchePaper
1 source
HUSKY : système de skateboard humanoïde via contrôle corps entier conscient de la physique
3arXiv cs.RO 

HUSKY : système de skateboard humanoïde via contrôle corps entier conscient de la physique

Des chercheurs ont présenté sur arXiv (2602.03205) HUSKY, un framework permettant à l'humanoïde Unitree G1 de faire du skateboard de manière stable en conditions réelles. Un skateboard est une plateforme sous-actionnée soumise à des contraintes non-holonomes (le véhicule ne se déplace pas librement dans toutes les directions) dont l'inclinaison est mécaniquement couplée à l'orientation des trucks. HUSKY modélise ce couplage et décompose la tâche en deux phases : poussée du pied au sol et direction par inclinaison du corps (lean-to-steer), reliées par un mécanisme de transition guidé par trajectoire. Les mouvements de poussée sont appris via les Adversarial Motion Priors (AMP), une technique d'imitation générant des gestes naturels à partir de données de référence. Les tests sur le G1 démontrent une navigation agile en environnement réel. Ce travail pointe une limite structurelle des frameworks de contrôle whole-body actuels : ils supposent quasi-unanimement un sol statique et des contacts prévisibles. En modélisant la dynamique du couplage humain-objet, HUSKY montre qu'un humanoïde peut opérer sur un équipement mobile non conventionnel sans recalibration manuelle, ce qui ouvre la voie à des robots capables de manouvrer chariots ou palettes en environnement industriel. L'association d'un modèle physique du sous-système mécanique avec l'apprentissage par imitation constitue une approche plus robuste que les politiques entraînées en simulation pure, et le transfert sim-to-real semble validé sur un scénario concret. Les conditions précises des tests (vitesse, distance, taux d'échec) ne sont pas détaillées dans l'article, ce qui limite l'évaluation objective des performances annoncées. Le Unitree G1, humanoïde à 43 degrés de liberté vendu autour de 16 000 dollars, s'impose comme plateforme de référence pour la recherche en locomotion avancée aux côtés du Boston Dynamics Atlas et de l'Agility Digit. En 2025-2026, la recherche en contrôle whole-body dynamique s'accélère avec Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et les politiques loco-manipulation développées à Carnegie Mellon. HUSKY se distingue en explorant le couplage avec des véhicules sous-actionnés plutôt que la manipulation d'objets statiques. Il s'agit pour l'instant d'une démonstration de recherche sans déploiement industriel annoncé, et les étapes suivantes naturelles incluent l'extension à d'autres véhicules (trottinette, vélo) ou des scénarios combinant locomotion et manipulation.

RecherchePaper
1 source
Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel
4arXiv cs.RO 

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps. Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique. Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

UELes laboratoires européens constituant des jeux de données de téléopération pour l'apprentissage par imitation (INRIA, CEA-List, LAAS-CNRS) peuvent adopter cette approche IMU sur matériel grand public pour abaisser significativement leur coût d'entrée.

RecherchePaper
1 source