RecherchearXiv cs.RO 21 octobre 2026

LocoPilot : téléopération bilatérale par un seul opérateur pour l'apprentissage de politiques de locomanipulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LocoPilot, publié sur arXiv par le laboratoire DLS de l'IIT (Istituto Italiano di Tecnologia), est un cadre de téléopération bilatérale à opérateur unique, conçu pour collecter des démonstrations de loco-manipulation directement sur le robot cible. La plateforme repose sur un quadrupède Unitree Go2 (12 DOF) équipé d'un bras AgileX Piper L à 6 DOF, d'une caméra de poignet Intel RealSense D435 et d'une caméra de tête RealSense D405. Un second bras Piper L sert de bras maître, et deux manettes portatives pilotent simultanément la base, la posture du corps, le manipulateur et la pince. Un pipeline ROS 2 enregistre des observations multimodales synchronisées, associées à une action unifiée de dimension 11, partagée entre téléopération et déploiement de politique. Les auteurs ont évalué l'interface sur plusieurs tâches de loco-manipulation, puis fait du fine-tuning de MolmoAct2 sur des démonstrations de pick-and-place. Le modèle a été déployé sur le robot réel sans retargeting d'actions ni cinématique inverse supplémentaire. Le code est publié sur GitHub.

L'intérêt tient à la manière dont le système traite un problème récurrent de l'apprentissage de politiques mobiles : les interfaces sans robot, comme les dispositifs portables, sont flexibles mais ne capturent ni les commandes propres à la plateforme, ni la proprioception, ni les observations embarquées. À l'inverse, la téléopération sur robot enregistre ces signaux, mais exige une interface capable de piloter tout le système en même temps. LocoPilot y répond avec un retour d'effort sans capteur force/couple dédié : les forces d'interaction du bras suiveur sont estimées, puis restituées à l'opérateur par un canal haptique contraint en passivité. Le système évite aussi l'instrumentation par capture de mouvement, qui limite le déploiement hors laboratoire. Le fait que la même interface d'action serve à la collecte et à l'inférence supprime une source classique d'erreurs de transfert. Il faut toutefois rester prudent : le résumé ne fournit ni taux de réussite, ni nombre de démonstrations, ni comparaison chiffrée avec d'autres interfaces. La validation de bout en bout reste donc à confirmer dans le texte complet.

Ce travail s'inscrit dans la course aux données pour les politiques vision-langage-action (VLA) appliquées à la manipulation mobile, où s'opposent les approches sans robot et celles qui collectent sur la plateforme réelle. Le choix de MolmoAct2, modèle ouvert, et de composants matériels grand public (Go2, Piper L, RealSense) vise la reproductibilité par d'autres laboratoires, par opposition aux pipelines propriétaires des acteurs industriels. Il s'agit d'une contribution de recherche, sans produit ni calendrier commercial annoncé. La suite probable passerait par des évaluations plus larges, une comparaison avec d'autres VLA, et une extension à des tâches plus longues ou plus riches en contacts.

Impact France/UE

Les auteurs relèvent de l'IIT, un institut italien, et le code est ouvert, ce qui permet aux laboratoires européens de reproduire la collecte de données de loco-manipulation.

Dans nos dossiers

Unitree IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de politiques ancrées en simulation pour la manipulation bimanuelle de corde à partir de données de téléopération humaine

Une équipe de recherche publie sur arXiv (ref. 2605.16043) une étude comparative sur la manipulation bimanuelle de cordes par robot, en se concentrant sur la tâche de démêlage de nœuds. Les chercheurs ont entraîné deux politiques de contrôle basées sur le framework ACT (Action Chunking with Transformers) à partir des mêmes données de télé-opération humaine : la première reçoit en entrée deux flux vidéo RGB provenant de caméras montées sur les poignets du robot, la seconde utilise un état 3D particulaire de la corde, extrait par fusion multi-vues puis propagé dans un simulateur xPBD (eXtended Position-Based Dynamics). Évaluée en boucle ouverte sur une configuration de corde inédite, la politique à base d'état réduit l'erreur L1 de 30,8 % sur l'action initiale de saisie et de traction, par rapport à son homologue visuelle. Ce résultat isole une cause souvent sous-estimée des échecs de généralisation en apprentissage par imitation : non pas l'architecture du réseau ni le volume de données, mais l'espace d'observation lui-même. Les objets linéaires déformables (DLO) comme les câbles et les cordes posent un problème d'auto-occultation fréquente sous caméra ego-centrique, rendant la perception purement visuelle peu robuste sur des configurations non vues à l'entraînement. En ancrant la représentation dans un état physique cohérent simulé par xPBD, les chercheurs comblent partiellement ce "gap d'observabilité" entre pixels bruts et état mécanique réel, ouvrant la voie à un apprentissage plus efficace en données depuis un faible nombre de démonstrations humaines. La manipulation de DLOs est un problème ouvert de longue date en robotique, car leur espace de configuration est théoriquement infini-dimensionnel. L'approche par télé-opération bimanuelle est bien établie depuis les travaux sur ACT (Stanford/Berkeley, 2023), mais sa dépendance à de grands volumes de données limite la scalabilité industrielle. Cette étude s'inscrit dans un courant qui cherche à compenser le manque de données par une meilleure structure de représentation, comparable aux travaux sur les VLA (Vision-Language-Action models) mais ici centré sur la physique plutôt que le langage. Les prochaines étapes naturelles incluent la validation en boucle fermée et l'évaluation sur des câbles industriels, contexte où des acteurs comme Cobot Systems ou des labos européens spécialisés câblage automobile pourraient trouver un intérêt direct.

UEImpact indirect : les équipementiers et laboratoires européens spécialisés dans le câblage automobile pourraient exploiter cette approche pour réduire le volume de données de téléopération requis, un goulot d'étranglement réel dans ce secteur.

RecherchePaper

1 source

4arXiv cs.RO

RoboSpan : apprentissage de politiques de coordination modulaires pour la manipulation mobile du corps entier à nombreux DOF par téléopération

RoboSpan, présenté dans l'article arXiv 2610.19594 (version 1), est à la fois une plateforme de téléopération et de collecte de démonstrations pour la manipulation mobile du corps entier, et un cadre d'apprentissage baptisé Hierarchical Modular Framework (HMF). Le robot physique utilisé compte 29 degrés de liberté (DOF). HMF découpe cet espace d'action en trois branches fonctionnelles : manipulation fine de la main, ajustement de la pose du bras et configuration spatiale de la base mobile. Une architecture de type transformeur, le Coordinated Modular Embodied Transformer (COMET), les relie par attention croisée intermodulaire afin que les modules échangent de l'information et coordonnent leurs actions. Un modèle vision-langage (VLM) décompose hiérarchiquement les tâches longues. Une représentation tactile 2D couvrant toute la paume encode les contacts distribués. Les auteurs annoncent, sur robot réel, un taux de réussite supérieur de plus de 20 % à celui de « références courantes » sur plusieurs tâches longues impliquant le corps entier. Ces travaux visent deux verrous que les intégrateurs connaissent bien. Le premier est l'hétérogénéité des mouvements : la locomotion, le bras et la main n'ont ni les mêmes dynamiques ni les mêmes fréquences, et une politique monolithique de type VLA (vision-langage-action) les gère mal à 29 DOF. Le second est l'accumulation d'erreurs sur les séquences multi-étapes, que la décomposition par VLM cherche à contenir. L'intérêt industriel tient à la combinaison de la modularité et du tactile intégré à la téléopération, rarement présent sur les plateformes de collecte de données, alors que les tâches riches en contacts restent le point faible des démonstrations actuelles. Il faut toutefois relativiser. Il s'agit d'un préprint sans relecture par les pairs. Le résumé ne précise ni les baselines, ni le nombre d'essais, ni les tâches, ni les temps de cycle, ni la charge utile. Le « plus de 20 % » ne dit pas si l'écart est relatif ou en points de pourcentage. Aucun déploiement industriel n'est mentionné. Le travail relève de la recherche en laboratoire, loin d'un produit livré. Cette publication s'inscrit dans la course à l'apprentissage par imitation pour humanoïdes et manipulateurs mobiles. Les modèles généralistes comme Pi-0, GR00T ou Helix poursuivent une approche plus monolithique ou en deux systèmes, tandis que RoboSpan défend une coordination explicitement modulaire. La suite logique serait la publication du code et des jeux de données, des comparaisons directes avec ces modèles sur des benchmarks communs, et des essais hors laboratoire. Rien de tel n'est annoncé à ce stade, et aucun acteur français ou européen n'est cité.

RecherchePaper

1 source