Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DexTeleop-0 : téléopération dextérique bimanuelle avec retour de force et perception égocentrique, vers l'autonomie partagée
RecherchearXiv cs.RO 

DexTeleop-0 : téléopération dextérique bimanuelle avec retour de force et perception égocentrique, vers l'autonomie partagée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

DexTeleop-0, un framework de téléopération dextre bimanuelle présenté sur arXiv (2606.23431v2), cherche à résoudre deux limites de la manipulation fine à deux mains: les écarts d'embodiment, qui faussent la cartographie cinématique entre la main de l'opérateur et celle du robot, et le fait que le suivi visuel seul ne régule pas les forces de contact. La solution est une stratégie d'adaptation pilotée par le tactile, greffée sur une chaîne de téléopération existante. Une boucle d'optimisation temps réel ajoute des corrections côté robot aux commandes issues du suivi de la main humaine, à partir du retour des bouts de doigts. Le système estime positions et forces de contact, puis calcule des corrections localisées via une approximation de raideur de contact et le jacobien cinématique, avec suivi vectoriel de force par contact, régularisation douce du moment de contact prédit et résidus bornés sur les articulations de la main. Le système intègre aussi une perception égocentrique, avec en ligne de mire l'autonomie partagée.

Les résultats viennent d'abord de la simulation, par rejeu contrôlé. Le taux de succès à l'étape finale atteint 91 % sur la tâche d'assemblage de balle (Ball Assembly) et 62 % sur « Stir in Cup » (remuer dans une tasse), contre 88 % et 49 % avec le seul suivi de force. Le gain est donc modeste sur la première tâche (3 points) et plus net sur la seconde (13 points). Les auteurs ajoutent des rejeux à entrées fixes sur deux types de mains, des essais de téléopération avec sept opérateurs et des relevés de forces externes sur matériel réel, mais l'extrait disponible ne donne pas de chiffres pour ces volets. Le code et la page projet sont en accès libre.

L'intérêt tient à la méthode: plutôt que de réentraîner une politique, on corrige localement ce que l'humain commande, ce qui limite l'effet des différences morphologiques entre main humaine et main robotique. Cela compte pour la collecte de démonstrations destinées aux politiques VLA (vision-langage-action) et aux modèles de fondation de type Pi-0 ou GR00T, dont la qualité dépend de données de contact fiables. Il faut toutefois rester prudent: les chiffres chiffrés sont issus de la simulation, sur deux tâches, et un taux de 62 % sur Stir in Cup reste loin d'un niveau industriel. L'écart entre démonstration de laboratoire et déploiement n'est donc pas réduit à ce stade. Le travail s'inscrit dans le mouvement de la téléopération à retour tactile et de l'autonomie partagée, où l'opérateur fixe l'intention et le robot gère le contact. Les prochaines étapes logiques sont des évaluations matérielles chiffrées, sur davantage de tâches, et l'usage de ces données pour entraîner des politiques autonomes.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Autonomie partagée affective : dynamique temporelle des émotions et évaluation subjective en téléopération bimanuelle
1arXiv cs.RO 

Autonomie partagée affective : dynamique temporelle des émotions et évaluation subjective en téléopération bimanuelle

Un article publié le 19 septembre 2026 sur arXiv (arXiv:2609.19802v1) décrit un système de téléopération robotique bimanuelle qui ajuste l'assistance apportée à l'opérateur en fonction de son état émotionnel estimé en temps réel, à partir de vidéo faciale, de signaux cardiaques et de la cinématique des deux bras. Le système produit une distribution sur sept états affectifs, ramenée à trois catégories opérationnelles neutre, productif ou adverse, et ne déclenche une assistance renforcée que lorsque l'opérateur reste durablement en état adverse, afin de ne pas interrompre un opérateur déjà efficace. Une étude menée auprès de 30 participants montre une hausse allant jusqu'à 39,7% du temps passé en état productif, sans dégradation mesurée du sentiment d'autonomie de l'opérateur. Les auteurs publient également ce qu'ils décrivent comme le premier jeu de données combinant simultanément vidéo, signaux physiologiques et suivi cinématique bimanuel pendant des tâches de téléopération. Leur modèle de fusion multimodale devance deux modèles vision-langage généralistes testés en zero-shot, Qwen et MiniCPM-V, sur le suivi temporel des états affectifs. L'enjeu dépasse le confort de l'opérateur: les paradigmes classiques d'autonomie partagée reposent sur des règles géométriques, comme le franchissement de limites d'erreur spatiale, qui ignorent l'état cognitif réel de la personne aux commandes et peuvent déclencher des interventions robotiques mal calibrées qui aggravent la frustration plutôt qu'elles ne la résorbent. Pour les secteurs qui dépendent fortement d'une téléopération fine, chirurgie robotique, désamiantage ou nucléaire, manipulation spatiale, logistique bimanuelle en entrepôt, un système qui détecte la charge cognitive avant l'échec de la tâche ouvre une piste concrète pour réduire les taux d'échec et l'épuisement des opérateurs. Le résultat touche aussi un point sensible du secteur: l'autonomie partagée est censée aider sans faire perdre à l'opérateur le sentiment de contrôle, et l'étude affirme que l'assistance ciblée n'a pas dégradé cette perception. Il faut toutefois noter que le terme de déploiement en conditions réelles employé dans le résumé recouvre une étude contrôlée à 30 participants, et non un déploiement industriel à grande échelle, ce qui appelle à la prudence sur la portée de ces chiffres. Cette approche se distingue de la trajectoire actuelle des politiques génératives de robotique généraliste de type VLA, telles que Pi-0, GR00T N2 ou Helix, qui visent à retirer progressivement l'humain de la boucle de contrôle; ici, l'humain reste au centre, et le système cherche seulement à mieux doser son assistance, une piste complémentaire pour les tâches où l'autonomie complète reste hors de portée. Elle prolonge des travaux d'informatique affective appliqués à l'interaction homme-robot, en remplaçant des seuils fixes par une estimation continue de l'état de l'opérateur. Les auteurs n'annoncent aucun calendrier de déploiement industriel ni de partenaire commercial; la contribution la plus durable pourrait être la mise à disposition du jeu de données multimodal, qui offre aux équipes de recherche un nouveau matériau pour entraîner des modèles de reconnaissance d'état affectif en contexte de téléopération, un terrain encore peu couvert par les jeux de données existants.

RecherchePaper
1 source
De la perception à l'assistance : autonomie partagée à vocabulaire ouvert pour la manipulation robotique
2arXiv cs.RO 

De la perception à l'assistance : autonomie partagée à vocabulaire ouvert pour la manipulation robotique

Des chercheurs présentent un système d'autonomie partagée pour la téléopération de bras manipulateurs en environnement industriel, publié le 24 juillet 2026 sur arXiv (référence 2607.17323). Le dispositif repose sur une seule caméra RGB-D qui capture les mouvements du bras et les gestes de la main de l'opérateur, sans combinaison connectée, marqueur fiduciaire ni étape de calibration préalable. La cible à saisir est désignée par une simple consigne textuelle en langage libre, interprétée par un modèle vision-langage via la caméra embarquée sur le préhenseur, puis suivie en continu par un modèle de segmentation vidéo promptable sur les caméras du robot, ce qui isole en permanence un repère de saisie de la carte des obstacles. Un contrôleur prédictif (MPC) accéléré par GPU exécute chaque commande tout en évitant les collisions avec l'environnement et avec le robot lui même, grâce à une reconstruction volumétrique calculée en temps réel, pendant qu'un champ de potentiel corrige la trajectoire de l'opérateur lors de l'approche finale. Testé sur un manipulateur mobile quadrupède, le système atteint une précision de positionnement de 59 mm d'erreur quadratique moyenne par rapport à une référence de capture de mouvement, et maintient le bras à au moins 18 cm des obstacles même lorsque l'opérateur tente délibérément une collision de 6 cm. Sur une tâche de manipulation de vanne industrielle et une tâche de prise dépose, le framework complet réussit tous les essais, tandis que le mode entièrement autonome, déclenché par geste, réussit quatre essais sur cinq par tâche. L'intérêt pour l'industrie robotique tient au problème visé: en téléopération classique, aligner précisément un effecteur avec une cible en environnement encombré, avec une perception de profondeur limitée par caméra, reste une source d'erreurs et de collisions coûteuses. En retirant marqueurs et calibration tout en gardant l'opérateur dans la boucle de décision, le système promet un déploiement plus rapide sur des cellules industrielles existantes. Le fait que retirer soit le module de collision, soit le module d'assistance provoque des échecs par des mécanismes différents montre que les deux briques sont complémentaires et non redondantes, un signal utile pour les intégrateurs qui évaluent la robustesse réelle de ces architectures avant tout achat. Le travail s'inscrit dans la convergence actuelle entre modèles vision-langage et téléopération assistée, où l'ancrage d'instructions textuelles dans la perception robotique gagne du terrain face aux interfaces manuelles pures. Les auteurs positionnent leur contribution comme une alternative légère aux pipelines nécessitant équipement dédié ou calibration lourde, et annoncent la possibilité de basculer vers une exécution autonome sur la même cible sans pipeline de perception séparé, ouvrant la voie à des essais plus poussés sur d'autres plateformes et tâches industrielles.

RecherchePaper
1 source
SAPS : autonomie partagée pour orienter la politique en combinant téléopération et VLA pré-entraîné
3arXiv cs.RO 

SAPS : autonomie partagée pour orienter la politique en combinant téléopération et VLA pré-entraîné

SAPS (Shared Autonomy for Policy Steering, arXiv:2606.15568) est un framework qui combine en temps réel les commandes d'un opérateur humain avec les actions d'un modèle Vision-Language-Action (VLA) préentraîné, au niveau de l'action elle-même. Sans réentraînement, sans modèle auxiliaire, sans modification architecturale, SAPS introduit trois stratégies d'arbitrage dont une basée sur la similarité cosinus: cet indice mesure l'accord géométrique entre la commande humaine et celle du modèle pour distribuer le contrôle de façon dynamique. Testé sur les benchmarks de simulation LIBERO, LIBERO-PRO et CALVIN, et sur du matériel réel, le framework améliore le taux de succès des tâches jusqu'à 82 % par rapport à l'exécution autonome seule, réduit les interventions humaines par rapport à la télé-opération pure, et raccourcit les temps de complétion dans les deux cas. Ce résultat touche au défaut structurel des VLA généralistes: leur fragilité face aux perturbations hors-distribution, qu'il s'agisse d'un objet déplacé de quelques centimètres ou d'une scène atypique. SAPS n'exige pas de modifier le modèle existant, ce qui est l'argument commercial central pour un intégrateur industriel: le framework se greffe indifféremment sur Pi-0, GR00T N2, OpenVLA ou tout autre VLA disponible. La réduction de charge cognitive par rapport à la télé-opération pure est également significative pour des applications d'assistance aux personnes à mobilité réduite et pour la collecte de données d'imitation, où chaque heure d'opérateur est coûteuse. Les métriques présentées sont issues d'un preprint non relu par des pairs, et les vidéos de démonstration réelles restent à évaluer avec prudence. L'autonomie partagée est un champ établi, mais son application agnostique au modèle au niveau action sur des VLA modernes est une voie distincte des approches concurrentes. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et HuggingFace (LeRobot) misent sur la robustification des politiques par distillation et augmentation de données; SAPS propose une couche d'intervention humaine plug-and-play plutôt qu'un meilleur modèle. Le preprint n'annonce ni déploiement industriel ni partenariat commercial. Les extensions naturelles visent les plateformes humanoïdes (Figure 03, Unitree G1) et un usage dans des boucles de fine-tuning continu. Aucun acteur français ou européen n'est impliqué dans ce travail.

RechercheOpinion
1 source
Téléopération bilatérale par ondes entre manipulateurs non linéaires avec retour direct de la force de contact
4arXiv cs.RO 

Téléopération bilatérale par ondes entre manipulateurs non linéaires avec retour direct de la force de contact

Des chercheurs ont publié le 21 août 2026 sur arXiv (référence 2608.20043v1) une étude sur la téléopération bilatérale entre manipulateurs robotiques non linéaires à plusieurs degrés de liberté (DOF), en présence de délais de communication constants. Contrairement aux architectures classiques à transformation d'ondes, qui transmettent une force de coordination entre les sites maître et esclave, les auteurs renvoient directement la force de contact mesurée côté distant vers l'opérateur, pour améliorer la transparence haptique de la téléopération. Ce retour de force direct pouvant déstabiliser la boucle fermée, l'équipe caractérise d'abord le déficit de passivité du système distant, modélisé selon le formalisme Euler-Lagrange, via une approche par inégalité matricielle linéaire (LMI). Une loi de communication sur-strictement passive compense ensuite ce déficit calculé, ce qui garantit, sous conditions appropriées, la stabilité de la boucle sous délai ainsi que la synchronisation en position et en force. La méthode est validée par simulation sur des manipulateurs non linéaires à 2 DOF, dans plusieurs configurations. Ce travail s'attaque à un compromis central en téléopération à distance : la transparence, c'est-à-dire la fidélité du ressenti des forces de l'environnement pour l'opérateur, se dégrade généralement dès que les délais augmentent, sur des liaisons satellite, sous-marines ou intercontinentales. Renvoyer la force de contact brute plutôt qu'une force de coordination indirecte vise un ressenti plus réaliste, un enjeu pour la chirurgie robotique à distance, la maintenance nucléaire, l'exploration spatiale ou sous-marine, et plus largement les bras téléopérés en environnement dangereux. Le résultat va à l'encontre de l'idée répandue selon laquelle le retour de force direct serait trop instable hors de systèmes linéaires simplifiés : la preuve formelle par LMI garantit la stabilité même pour des manipulateurs non linéaires multi-DOF sous délai constant. Pour les chercheurs en contrôle, il s'agit toutefois d'une contribution théorique, validée en simulation sur seulement 2 DOF, loin des bras industriels à 6 ou 7 DOF utilisés en conditions réelles. Les architectures à variables d'onde, conçues historiquement pour garantir la passivité des systèmes téléopérés sous délai, transmettent traditionnellement des combinaisons de vitesse et de force plutôt que la force de contact brute, précisément parce que celle-ci est plus difficile à stabiliser. Cette étude prolonge la recherche en théorie de la passivité et en contrôle par LMI appliquée à la robotique, un champ actif face à la multiplication des usages de téléopération à latence variable. Les auteurs ne mentionnent aucun partenariat industriel ni déploiement pilote : la publication reste une contribution académique, fondée sur une preuve mathématique et des simulations numériques, sans validation sur matériel physique ni comparaison chiffrée avec les architectures à transformation d'ondes existantes. Les prochaines étapes attendues porteraient sur l'extension à des manipulateurs à plus haut nombre de DOF et sur des essais avec du matériel réel et des délais variables, avant toute adoption par des fabricants de bras téléopérés ou d'interfaces haptiques.

RecherchePaper
1 source