Aller au contenu principal
DexTele : un système de téléopération dextre à double bras basé sur le reciblage de mouvement et le contrôle de force adaptatifIllustration générée par IA
RecherchearXiv cs.RO 

DexTele : un système de téléopération dextre à double bras basé sur le reciblage de mouvement et le contrôle de force adaptatif

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs viennent de publier sur arXiv (arXiv:2607.05883v1) une nouvelle architecture de télé-opération bimanuelle baptisée DexTele, conçue pour reproduire des gestes humains dextres sur des bras robotiques hétérogènes. Le système repose sur deux briques. La première est un module de retargeting de mouvement basé sur la vision, qui transforme des images humaines en trajectoires robotiques préliminaires grâce à un encodeur de graphe de mouvement et une optimisation dans l'espace latent, pensé pour fonctionner sur plusieurs plateformes robotiques sans reconception spécifique. La seconde est un module de préhension adaptative qui combine un modèle vision-langage (VLM) avec du contrôle prédictif (MPC) : le VLM estime la force de serrage nécessaire pour un objet cible, puis une optimisation en ligne par gradient ajuste cette force en temps réel. Les auteurs rapportent des expériences étendues montrant un retargeting précis et une préhension compliante généralisables à plusieurs plateformes robotiques, sans toutefois publier de chiffres de taux de réussite ou de comparaisons avec des systèmes existants dans le résumé.

L'enjeu pour l'industrie est double. D'abord, l'hétérogénéité des bras et mains robotiques (nombre de degrés de liberté, cinématique, actionneurs) reste un frein majeur à la réutilisation de données de télé-opération d'une plateforme à l'autre, un problème critique pour les équipes qui collectent des démonstrations humaines afin d'entraîner des modèles vision-langage-action. Ensuite, la préhension compliante par force adaptative, plutôt que par simple asservissement en position, s'attaque directement au problème du sim-to-real et de la manipulation d'objets de forme ou de rigidité variable, un point où beaucoup de démonstrations actuelles échouent en conditions réelles.

DexTele s'inscrit dans une vague de systèmes de télé-opération (type ALOHA, Mobile ALOHA, GELLO, Open-TeleVision) développés ces deux dernières années pour alimenter en données des modèles comme GR00T, Pi-0 ou Helix. Ce papier, encore au stade de prépublication sans code ni plateforme matérielle précisée, devra être confirmé par une validation indépendante et des comparaisons chiffrées face à ces solutions existantes avant toute adoption industrielle.

À lire aussi

SCRUB : estimation du repère de surface par contact pour le contrôle force-mouvement d'un quadrupède sans bras
Illustration générée par IA
1arXiv cs.RO 

SCRUB : estimation du repère de surface par contact pour le contrôle force-mouvement d'un quadrupède sans bras

Des chercheurs présentent SCRUB, un estimateur de repère de surface par contact qui permet à un quadrupède sans bras, le Unitree Go1, de faire glisser un outil fixé sur son corps le long de surfaces quasi verticales tout en contrôlant la force d'appui. Le système fonctionne sans normale connue, alignée sur un axe ou prédite par vision. Un contrôleur prédictif presse et fait glisser l'outil à partir d'une estimation de la normale par filtre de Kalman, alimentée par deux indices. Le premier est un indice de force, qui mesure l'inclinaison de l'estimation transversalement au mouvement : si la friction s'oppose directement au déplacement, il s'annule exactement quand l'inclinaison est nulle, quel que soit le coefficient de friction. Si la direction de glissement supposée est fausse, la friction apparaît comme une fausse inclinaison. Le second est un indice de vitesse, qui mesure l'inclinaison le long du mouvement. Comme la marche et l'appui déplacent l'outil vers l'intérieur et l'extérieur, SCRUB soustrait la vitesse d'appui commandée de la vitesse de l'outil, moyenne le résultat sur chaque cycle de marche et considère cette moyenne comme tangente à la surface. Sur le matériel Go1, à vitesse et charge nominales, SCRUB a mené à bien toutes les traversées de mur et tous les parcours orbitaux autour d'une colonne. Cette approche s'attaque à un verrou concret des tâches de contact comme l'essuyage, le ponçage ou l'inspection : le contrôle de force exige la normale à la surface, rarement disponible sur des surfaces réelles et non cartographiées. Les estimateurs existants nécessitent soit un modèle de friction, soit l'hypothèse que la vitesse instantanée de l'outil reste dans le plan de la surface, ce que la marche invalide à chaque pas. Le résultat le plus parlant est l'ablation : aucun parcours orbital n'a abouti en retirant l'un des deux indices, en supprimant la moyenne sur le cycle de marche ou en fixant la normale. Chaque composant est donc nécessaire. Pour un intégrateur, cela suggère qu'une plateforme à pattes bon marché, sans manipulateur, peut réaliser des opérations de contact sans cartographie préalable ni perception coûteuse. Les limites sont toutefois nettes : il s'agit d'un résultat de laboratoire sur un seul robot, aucune donnée chiffrée sur la précision de force ou le nombre d'essais n'est fournie dans le résumé, et on reste loin d'un produit ou d'un déploiement industriel. Ce travail s'inscrit dans la montée de la loco-manipulation sur robots quadrupèdes, où les équipes équipent habituellement la machine d'un bras, comme le Spot de Boston Dynamics ou le Go1 avec un manipulateur, pour interagir avec l'environnement. Ici, l'outil est monté directement sur le corps et la marche elle-même fournit le mouvement d'appui, ce qui réduit le coût, la masse et la complexité mécanique. Il se distingue aussi des approches dominées par la vision, qui prédisent la normale à partir d'images et dépendent de l'éclairage et de la texture. Les suites probables concernent la validation sur des surfaces courbes ou irrégulières, des vitesses et charges plus élevées, des tâches réelles de nettoyage ou d'inspection et d'autres plateformes que le Go1. Le papier, publié sur arXiv en version 1, n'annonce ni partenaire industriel ni calendrier de pilote.

RecherchePaper
1 source
ViHaTeleop : un système de téléopération visuo-haptique léger et à faible coût pour l'apprentissage de la manipulation dextérique
Illustration générée par IA
2arXiv cs.RO 

ViHaTeleop : un système de téléopération visuo-haptique léger et à faible coût pour l'apprentissage de la manipulation dextérique

Des chercheurs présentent ViHaTeleop, un système de téléopération visuo-haptique pour l'apprentissage par démonstration en manipulation dexterous. Leger (0,7 kg) et peu couteux (550 dollars), il combine suivi du poignet par SLAM, suivi de la main par camera, et retour vibrotactile par doigt via des actionneurs a résonance linéaire, avec éclairage LED intègre, camera fisheye dédiée et contraintes de retargeting sensibles au contact. Deploye sur un bras Franka équipe d'une main LEAP et d'un capteur tactile 9DTact, en réel comme en simulation, il a été teste auprès de neuf participants sur six taches a fort contact, avec et sans retour haptique. Resultat: le taux de réussite progresse de 2,2 a 15,6 points de pourcentage dans toutes les taches, l'effet sur le temps d'exécution variant selon la tache, et les utilisateurs rapportent une clarté de contact et une confiance de préhension significativement meilleures (test de Wilcoxon, p<0,05). Un proxy tactile base sur camera de profondeur, intègre dans Isaac Sim, permet aussi d'entrainer des politiques visuo-tactiles a partir des démonstrations collectées, avec un gain de 17 points sur une tache d'insertion de cheville (peg-in-hole) par rapport a une politique uniquement visuelle. Ce travail cible un goulot d'étranglement connu de l'apprentissage par démonstration: le matériel de téléopération bon marche capture mal les interactions de contact fin, ce qui dégradé la qualité des données servant a entrainer des politiques de manipulation, y compris les modèles vision-langage-action déployés a plus grande échelle. En montrant qu'un retour haptique a faible cout améliore a la fois la téléopération humaine et la politique entraînée en aval, l'étude plaide pour intégrer systématiquement le tactile dans les pipelines de collecte de données plutôt que de reposer sur la seule vision. A 550 dollars, bien en dessous des systèmes haptiques industriels, l'approche pourrait devenir accessible a un plus grand nombre de laboratoires et d'intégrateurs travaillant sur la manipulation fine, la ou l'écart entre démonstrations en laboratoire et robustesse en conditions réelles demeure large. ViHaTeleop s'inscrit dans les travaux récents sur la téléopération a bas cout pour l'apprentissage par imitation, motives par la difficulté de collecter des démonstrations de qualité pour des taches fines sans matériel haptique onéreux. Publie en preprint sur arXiv (2608.16572v1), le système reste un prototype de recherche valide en laboratoire sur des taches contrôlées, et non un produit commercialise ou déployé en production. Aucun acteur français ou européen n'apparait dans l'étude, dont les auteurs ne précisent ni calendrier de diffusion open-source du matériel et du code, ni suite annoncee au-delà de cette validation préliminaire.

RecherchePaper
1 source
Interaction humain-robot par reconnaissance de mode basée sur le méta-apprentissage et contrôle adaptatif
Illustration générée par IA
3arXiv cs.RO 

Interaction humain-robot par reconnaissance de mode basée sur le méta-apprentissage et contrôle adaptatif

Des chercheurs publient sur arXiv (identifiant 2610.28761, première version) un cadre de contrôle pour l'interaction physique homme-robot. Il part d'un constat simple: l'humain peut guider activement le robot ou le suivre passivement, et chaque mode impose un objectif de commande différent. Les approches courantes distinguent ces modes par des seuils de commutation prédéfinis, sensibles au bruit de mesure. Les auteurs les remplacent par un réseau de neurones entraîné par méta-apprentissage, qui reconnaît l'intention humaine sans seuil fixé à la main. En lui fournissant des paramètres dépendants de la force issus du contrôleur, le taux de reconnaissance passe de 90,1 % à 99,1 % en mode passif et de 79,8 % à 97,1 % en mode actif. Le cadre ajoute un contrôleur adaptatif par méta-apprentissage, qui compense les perturbations humaines et s'ajuste en ligne aux forces d'interaction variables. Il ajoute aussi un algorithme multi-trajectoires qui apprend conjointement une représentation de base de l'environnement et les paramètres dépendants de la force, pour traiter les dynamiques non modélisées. L'intérêt est pratique pour la robotique collaborative, les exosquelettes et la manipulation conjointe homme-robot. Dans ces cas d'usage, une erreur de classification entre guidage et suivi peut produire un mouvement inattendu, donc un risque de sécurité. Le gain le plus net concerne le mode actif, où le taux passe de moins de 80 % à plus de 97 %. Il montre que le seuillage manuel était le maillon faible. Ces chiffres restent toutefois ceux d'un résumé: on ne sait ni sur quel robot ni sur quelle tâche, ni avec quels opérateurs ni quel jeu de test. Rien n'indique non plus la latence d'inférence ni la robustesse hors des conditions d'entraînement. Il s'agit d'une preuve de concept académique, sans produit ni déploiement industriel. Ce travail s'inscrit dans la poursuite des commandes par impédance et admittance, longtemps réglées avec des seuils empiriques, et dans l'essor du méta-apprentissage appliqué à la commande adaptative. Il se rapproche des approches qui cherchent à généraliser vite à de nouvelles dynamiques à partir de peu de données. Les acteurs du cobot, comme Universal Robots, Franka et Fanuc, ou de l'exosquelette médical, comme le français Wandercraft, ont un intérêt direct à fiabiliser la détection d'intention. Les prochaines étapes à surveiller sont la validation sur plusieurs plateformes, des essais avec de nombreux utilisateurs et une évaluation face aux contrôleurs adaptatifs classiques. L'article n'annonce ni calendrier ni partenaire industriel.

RecherchePaper
1 source
HATS : système de téléopération humain-agent pour la collecte de données multi-bras
Illustration générée par IA
4arXiv cs.RO 

HATS : système de téléopération humain-agent pour la collecte de données multi-bras

Des chercheurs ont publié sur arXiv (référence 2606.16491) un système de télé-opération baptisé HATS (Human-Agent Teleoperation System), conçu pour collecter des données d'entraînement dans des configurations à quatre bras robotiques. Le principe repose sur un découplage du contrôle : un seul opérateur humain télé-opère deux bras principaux directement, tandis qu'un agent basé sur un MLLM (modèle de langage multimodal à grande échelle, non spécifié dans le papier) gère deux bras assistants de façon autonome, sans phase d'entraînement préalable. L'opérateur peut en temps réel corriger le comportement des bras assistants et prévenir des collisions via commandes vocales. Selon les auteurs, l'efficacité de collecte et les taux de réussite obtenus avec HATS sont comparables à ceux d'équipes de deux opérateurs experts humains. Le problème que HATS tente de résoudre est structurant pour le secteur : les scénarios de manipulation industrielle complexes nécessitent souvent plus de deux bras, mais les systèmes de télé-opération existants imposent un arbitrage difficile entre charge cognitive (un seul opérateur gérant tout) et coût de coordination (plusieurs opérateurs synchronisés). En déléguant les sous-tâches à un agent MLLM, HATS réduit la charge sur l'humain sans multiplier les intervenants. Les évaluations en aval (downstream policy evaluations) suggèrent que les données collectées produisent des politiques de manipulation efficaces, mais ces résultats restent auto-rapportés et n'ont pas encore été validés de façon indépendante. La robustesse sur des tâches longues ou à haute précision, là où des corrections vocales pourraient s'avérer insuffisantes, n'est pas encore documentée. La collecte de démonstrations téléopérées est aujourd'hui le principal goulot d'étranglement pour entraîner des politiques de manipulation polyvalentes, notamment dans les approches VLA (Vision-Language-Action, architectures combinant perception visuelle, compréhension du langage et génération d'actions). Des systèmes comme ALOHA de Stanford ou les configurations bimanuelless d'Agility Robotics reposent sur des datasets construits par télé-opération humaine à deux bras. HATS étend cette approche à quatre bras en s'appuyant sur les capacités de raisonnement spatial des MLLM récents pour automatiser les bras secondaires. Cette direction est à suivre de près : si elle se généralisait, elle réduirait significativement le coût humain de construction des datasets d'imitation, un verrou majeur pour le passage à l'échelle des robots manipulateurs.

RecherchePaper
1 source