RecherchearXiv cs.RO 16 juin 2026

HATS : système de téléopération humain-agent pour la collecte de données multi-bras

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2606.16491) un système de télé-opération baptisé HATS (Human-Agent Teleoperation System), conçu pour collecter des données d'entraînement dans des configurations à quatre bras robotiques. Le principe repose sur un découplage du contrôle : un seul opérateur humain télé-opère deux bras principaux directement, tandis qu'un agent basé sur un MLLM (modèle de langage multimodal à grande échelle, non spécifié dans le papier) gère deux bras assistants de façon autonome, sans phase d'entraînement préalable. L'opérateur peut en temps réel corriger le comportement des bras assistants et prévenir des collisions via commandes vocales. Selon les auteurs, l'efficacité de collecte et les taux de réussite obtenus avec HATS sont comparables à ceux d'équipes de deux opérateurs experts humains.

Le problème que HATS tente de résoudre est structurant pour le secteur : les scénarios de manipulation industrielle complexes nécessitent souvent plus de deux bras, mais les systèmes de télé-opération existants imposent un arbitrage difficile entre charge cognitive (un seul opérateur gérant tout) et coût de coordination (plusieurs opérateurs synchronisés). En déléguant les sous-tâches à un agent MLLM, HATS réduit la charge sur l'humain sans multiplier les intervenants. Les évaluations en aval (downstream policy evaluations) suggèrent que les données collectées produisent des politiques de manipulation efficaces, mais ces résultats restent auto-rapportés et n'ont pas encore été validés de façon indépendante. La robustesse sur des tâches longues ou à haute précision, là où des corrections vocales pourraient s'avérer insuffisantes, n'est pas encore documentée.

La collecte de démonstrations téléopérées est aujourd'hui le principal goulot d'étranglement pour entraîner des politiques de manipulation polyvalentes, notamment dans les approches VLA (Vision-Language-Action, architectures combinant perception visuelle, compréhension du langage et génération d'actions). Des systèmes comme ALOHA de Stanford ou les configurations bimanuelless d'Agility Robotics reposent sur des datasets construits par télé-opération humaine à deux bras. HATS étend cette approche à quatre bras en s'appuyant sur les capacités de raisonnement spatial des MLLM récents pour automatiser les bras secondaires. Cette direction est à suivre de près : si elle se généralisait, elle réduirait significativement le coût humain de construction des datasets d'imitation, un verrou majeur pour le passage à l'échelle des robots manipulateurs.

Dans nos dossiers

Agility Robotics — Digit arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine

Une équipe de recherche publie sur arXiv (ref. 2605.16043) une étude comparative sur la manipulation bimanuelle de cordes par robot, en se concentrant sur la tâche de démêlage de nœuds. Les chercheurs ont entraîné deux politiques de contrôle basées sur le framework ACT (Action Chunking with Transformers) à partir des mêmes données de télé-opération humaine : la première reçoit en entrée deux flux vidéo RGB provenant de caméras montées sur les poignets du robot, la seconde utilise un état 3D particulaire de la corde, extrait par fusion multi-vues puis propagé dans un simulateur xPBD (eXtended Position-Based Dynamics). Évaluée en boucle ouverte sur une configuration de corde inédite, la politique à base d'état réduit l'erreur L1 de 30,8 % sur l'action initiale de saisie et de traction, par rapport à son homologue visuelle. Ce résultat isole une cause souvent sous-estimée des échecs de généralisation en apprentissage par imitation : non pas l'architecture du réseau ni le volume de données, mais l'espace d'observation lui-même. Les objets linéaires déformables (DLO) comme les câbles et les cordes posent un problème d'auto-occultation fréquente sous caméra ego-centrique, rendant la perception purement visuelle peu robuste sur des configurations non vues à l'entraînement. En ancrant la représentation dans un état physique cohérent simulé par xPBD, les chercheurs comblent partiellement ce "gap d'observabilité" entre pixels bruts et état mécanique réel, ouvrant la voie à un apprentissage plus efficace en données depuis un faible nombre de démonstrations humaines. La manipulation de DLOs est un problème ouvert de longue date en robotique, car leur espace de configuration est théoriquement infini-dimensionnel. L'approche par télé-opération bimanuelle est bien établie depuis les travaux sur ACT (Stanford/Berkeley, 2023), mais sa dépendance à de grands volumes de données limite la scalabilité industrielle. Cette étude s'inscrit dans un courant qui cherche à compenser le manque de données par une meilleure structure de représentation, comparable aux travaux sur les VLA (Vision-Language-Action models) mais ici centré sur la physique plutôt que le langage. Les prochaines étapes naturelles incluent la validation en boucle fermée et l'évaluation sur des câbles industriels, contexte où des acteurs comme Cobot Systems ou des labos européens spécialisés câblage automobile pourraient trouver un intérêt direct.

UEImpact indirect : les équipementiers et laboratoires européens spécialisés dans le câblage automobile pourraient exploiter cette approche pour réduire le volume de données de téléopération requis, un goulot d'étranglement réel dans ce secteur.

RecherchePaper

1 source

2arXiv cs.RO

Planification de mouvement coordonnée pour systèmes multi-bras via jeux LQ itératifs

Un preprint publie le 31 aout 2026 sur arXiv (2608.27726) présente un cadre de planification de mouvement pour plusieurs bras robotiques a haut nombre de degrés de liberté partageant un même espace de travail. Baptise "itérative LQ game", il modelise chaque manipulateur comme un agent indépendant optimisant son propre objectif tout en tenant compte de l'état global et des contraintes de collision imposées par les autres bras. L'algorithme résout une succession de jeux linéaires-quadratiques locaux, linéarisé la dynamique autour d'une trajectoire nominale et utilise des récursions de Riccati pour produire des stratégies de "feedback Nash equilibrium", en intégrant des pénalités différentiables contre l'auto-collision et les collisions inter-bras. Les auteurs rapportent des trajectoires plus lisses, plus sures et plus efficaces que les méthodes classiques en haute dimension, sans préciser de chiffres de temps de cycle, de charge utile ni de plateforme testée. Cette approche s'attaque a un compromis classique de la robotique industrielle multi-bras: les planificateurs centralises restent cohérents mais passent mal a l'échelle, tandis que les approches décentralisées peinent a garantir sécurité et robustesse en temps réel. En traitant chaque bras comme un joueur dans un jeu différentiel plutôt qu'un sous-système isole, le framework vise une coordination calculable en haute dimension, un enjeu pour les intégrateurs qui font travailler plusieurs manipulateurs sur une même cellule. Si ces résultats résistent au-delà des simulations des auteurs, ils confirmeraient que la théorie des jeux peut aussi s'appliquer aux bras articules, une piste jusqu'ici surtout explorée pour la conduite autonome multi-véhicules. Le travail prolonge une lignée de recherches sur les jeux LQ itératifs déjà utilises pour modéliser les interactions entre véhicules autonomes, en l'adaptant pour la première fois de façon explicite aux systèmes multi-bras, ou l'auto-collision et l'encombrement partage compliquent le problème. Aucun laboratoire ni industriel n'est identifie dans le preprint, qui reste un travail purement algorithmique sans affiliation commerciale revendiquée. Simple preprint de recherche sans validation matérielle annoncée, il s'agit d'une avancée méthodologique et non d'un produit: la suite logique serait un test sur des bras collaboratifs réels pour vérifier si les gains observes en simulation résistent au bruit du monde physique.

RecherchePaper

1 source

3arXiv cs.RO

MEVION : système de collecte de données open source à faible coût pour la manipulation à deux bras rapide et puissante

Une équipe de recherche a dévoile MEVION, un système de collecte de données pour bras robotique bimanual pense pour dépasser les limites du célèbre ALOHA, standard de facto pour la téléopération a bas cout dans la recherche en apprentissage par imitation. Presente dans un article publie sur arXiv (2607.17970), MEVION embarque quatre bras a 6 degrés de liberté (DoF) équipes de pinces parallèles. Chaque bras pèse 7,0 kg et développe un couple maximal de 60 Nm, largement au-dessus de ce que permet ALOHA, pour un cout total de construction d'environ 14 000 dollars. Toutes les pièces sont sourcées via des sites d'e-commerce standard, et la structure principale, de grande taille, est assemblée par soudure de tôle avec un nombre réduit de composants, ce qui simplifie le montage. Point technique clé: l'articulation du coude reprend un mécanisme a liaison fermée, une architecture habituellement réservée aux robots quadrupèdes, qui réduit la masse distale du bras et permet ainsi de générer plus de force et de vitesse au niveau de l'effecteur terminal. L'ensemble du matériel et du logiciel est publie en open source, disponible sur GitHub (haraduka/mevion). L'enjeu dépasse la seule question matérielle. ALOHA a permis de démocratiser la collecte de démonstrations pour l'apprentissage par imitation, mais sa faible puissance le cantonne a des taches légères et lentes, incompatibles avec la manipulation d'objets lourds ou les mouvements rapides. En repoussant ces limites tout en gardant un cout de construction comparable, MEVION ouvre la collecte de données a des taches jusqu'ici hors de portée des plateformes bas cout: manipulation d'objets pesants, gestes dynamiques, cycles rapides. Pour les laboratoires qui entrainent des modèles de type VLA ou des politiques d'imitation, cela signifie un accès a des jeux de données plus diversifies sans recourir a des bras industriels couteux. C'est un signal notable dans la course mondiale aux modèles fondamentaux pour la robotique, ou la qualité et la variété des démonstrations collectées conditionnent directement les capacités des modèles entraines derrière. ALOHA, popularise notamment via les travaux sur l'apprentissage par imitation fine (ACT), s'est impose depuis plusieurs années comme la référence open source pour la téléopération bimanuale a bas cout, repris par de nombreux laboratoires et startups robotiques a travers le monde. MEVION s'inscrit dans sa continuité directe en visant le même public, chercheurs et petites équipes a budget limite, mais en s'attaquant frontalement au principal reproche adresse a ALOHA: son incapacité a générer des données pour des taches nécessitant force et vitesse. En publiant intégralement le matériel et le code, les auteurs misent sur une adoption communautaire comparable a celle d'ALOHA. Reste a voir si MEVION s'imposera comme un standard alternatif ou complémentaire, alors que la demande en données de démonstration de qualité s'intensifie avec la multiplication des modèles fondamentaux pour la manipulation robotique.

RecherchePaper

1 source

4arXiv cs.RO

Teleopit : un système de téléopération humanoïde à corps entier

Une équipe de recherche présente Teleopit, un système de téléopération complète pour robots humanoïdes, détaillé dans un article déposé sur arXiv (référence 2608.01834v1). Le système capture les signaux corporels, les mouvements des mains et les données de tête depuis un casque VR, puis les retranscrit simultanément sur le corps d'un humanoïde, sur des mains dextres configurables et sur un module de vision active à 2 degrés de liberté. Un encodeur d'historique combiné à un échantillonnage de rattrapage sensible aux échecs améliore le suivi des mouvements, à la fois sur des données de capture de mouvement et en VR en direct. Un module de retargeting des mains, basé sur l'optimisation, combine directions normalisées des doigts, fermeture du bout des doigts et alignement du cadre du pouce, ce qui permet de transposer les gestes humains vers différents types de mains robotiques sans réglage manuel des hyperparamètres. À partir de 96 démonstrations réussies collectées avec Teleopit, des politiques ACT et GR00T N1.7 ont atteint respectivement 90,0% et 95,0% de taux de réussite lors de déploiements réels sur l'humanoïde. Cette approche s'attaque à un goulot d'étranglement bien identifié du secteur robotique: la collecte de démonstrations de haute qualité pour entraîner des politiques de type VLA (vision-language-action). Les systèmes existants simplifient souvent les commandes des mains ou nécessitent des capteurs portables dédiés pour capter la motricité fine, ce qui limite le volume et la richesse des données exploitables. En proposant un pipeline unifié couvrant locomotion, manipulation et contrôle du point de vue, Teleopit vise à réduire le coût et la complexité de la génération de données d'entraînement, un enjeu central pour les laboratoires qui cherchent à faire passer leurs politiques d'apprentissage du stade démonstratif au déploiement réel. Le projet s'inscrit dans la vague de systèmes de téléopération VR pour humanoïdes qui s'est multipliée ces derniers mois, aux côtés d'initiatives comme Helix de Figure ou GR00T N2 de Nvidia, ce dernier étant d'ailleurs directement utilisé comme politique testée dans l'étude. Les auteurs, publiant sous un profil GitHub (botrunner64), mettent à disposition une page projet dédiée mais ne précisent pas de partenariat industriel ni de calendrier de commercialisation, ce qui situe pour l'instant Teleopit au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper

1 source