Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
MonoDuo : apprendre des politiques bimanuelles avec un seul bras robotique
RecherchearXiv cs.RO 

MonoDuo : apprendre des politiques bimanuelles avec un seul bras robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent avec MonoDuo (arXiv:2505.29298) une méthode pour entraîner des politiques de manipulation bimanuelles sans disposer de robots à deux bras. La collecte de données est hybride: un opérateur téléopère un bras unique pour exécuter un côté d'une tâche bimanuelles, un humain réalisant l'autre côté, puis les rôles sont inversés pour couvrir les deux membres. Les séquences RGB-D, capturées par une caméra de poignet et une caméra fixe, sont transformées en démonstrations synthétiques calibrées sur la cinématique du robot bimanuel cible, via estimation de pose des mains, segmentation de nuage de points et inpainting. Testé sur cinq tâches (soulèvement d'une boîte, remplissage d'un sac à dos, pliage d'un vêtement, fermeture d'une veste à glissière, passage d'une assiette), MonoDuo atteint jusqu'à 70% de taux de réussite en déploiement zero-shot sur des configurations bimanuelles non vues à l'entraînement. Avec seulement 25 démonstrations supplémentaires sur le robot cible, un fine-tuning few-shot améliore ces résultats de 65 à 70% par rapport à un entraînement depuis zéro.

Le verrou adressé est structurel: les robots à deux bras coordonnés restent rares et onéreux dans les laboratoires de recherche, alors que les bras uniques sont omniprésents. Cette asymétrie crée un goulot d'étranglement dans la constitution de datasets pour les tâches bimanuelles, freinant le développement de politiques viables aussi bien pour les humanoïdes commerciaux que pour les cellules industrielles bimanuelles. MonoDuo montre qu'il est possible de bootstrapper ces politiques sans matériel dédié, réduisant considérablement le coût d'entrée. La réussite du déploiement zero-shot sur des configurations non vues est notable dans un domaine où le sim-to-real gap reste un obstacle structurel, et le gain de 65 à 70% obtenu avec seulement 25 démonstrations de fine-tuning constitue un signal positif pour les intégrateurs ne pouvant se permettre des milliers de cycles de collecte.

Ce travail s'inscrit dans la lignée d'ALOHA, de UMI (Universal Manipulation Interface) et de Diffusion Policy, qui cherchent à décorréler la plateforme de collecte de la plateforme cible. L'essor des humanoïdes commerciaux (Figure 03, Tesla Optimus Gen 3, Unitree G1, 1X Eve) relance l'intérêt pour la manipulation bimanuelles à grande échelle. En Europe, Pollen Robotics avec son robot open-source Reachy et Enchanted Tools avec Miroki travaillent sur des problématiques similaires d'efficacité des démonstrations. MonoDuo reste à ce stade un preprint académique sans déploiement industriel annoncé; ses résultats devront être confirmés hors conditions de laboratoire pour valider leur transposabilité opérationnelle.

Impact France/UE

Pollen Robotics et Enchanted Tools, qui développent des robots bimanuels en Europe, pourraient exploiter cette méthode pour constituer des datasets bimanuels à moindre coût sans dupliquer leur parc matériel.

Dans nos dossiers

FigureTesla OptimusUnitreeEnchanted Tools — Mirokaï

À lire aussi

ULOHA : un système robotique bimanuel sous-marin pour l'apprentissage robotique
1arXiv cs.RO 

ULOHA : un système robotique bimanuel sous-marin pour l'apprentissage robotique

Une équipe de recherche présente ULOHA, une plateforme robotique bimanuelle sous-marine dédiée à l'apprentissage de politiques par imitation, décrite dans un article publié sur arXiv (référence 2609.19200, septembre 2026). Le système associe du matériel maison en configuration leader-suiveur pour la téléopération à des extensions logicielles du framework open source LeRobot, couvrant toute la chaîne : téléopération, capture vidéo multi-angles, collecte de démonstrations, entraînement de politiques et déploiement autonome. Les expériences sur robot réel montrent des comportements bimanuels coordonnés sous l'eau, dont le transfert d'objet entre les deux bras, la manipulation partagée d'un même objet et l'interception d'objets mis en mouvement par la flottabilité. Trois méthodes d'apprentissage ont été testées sur la plateforme : ACT, Diffusion Policy et le modèle vision-langage-action SmolVLA. Une étude complémentaire à un seul bras a par ailleurs examiné le transfert de politiques entre l'air et l'eau, montrant que des démonstrations mélangeant les deux milieux permettent l'exécution dans les deux, dans les conditions testées. Pour le secteur, ULOHA comble un angle mort : la quasi-totalité des travaux sur l'apprentissage visuomoteur par imitation et sur les modèles VLA a été développée et validée en air, pour la manipulation domestique comme industrielle, alors que la robotique bimanuelle sous-marine restait peu étudiée. Le papier documente les perturbations propres au milieu aquatique, comme les bulles, les mouvements d'objets induits par la flottabilité, les horizons d'exécution d'action et le chunking temps réel, qui dégradent les politiques conçues pour l'air. C'est un test de robustesse notable pour des architectures qui, jusqu'ici, avaient surtout prouvé leur généralisation en environnement sec et contrôlé. Pour les intégrateurs concernés par l'inspection sous-marine, la maintenance offshore, l'aquaculture ou la robotique marine scientifique, cela suggère qu'un apprentissage par démonstration déjà mature en air pourrait être transposé sous l'eau moyennant des adaptations ciblées, plutôt qu'un retour au contrôle classique. ULOHA s'appuie sur LeRobot, le framework open source de robotique publié par Hugging Face, que les auteurs étendent à un scénario bimanuel immergé non couvert nativement. Le projet se présente comme un outil expérimental partagé avec la communauté de recherche plutôt que comme un produit commercial : l'article ne mentionne ni volume de déploiement, ni prix, ni partenaire industriel. Le matériel, le code et les données de démonstration sont annoncés comme disponibles via une page dédiée, ce qui laisse présager une adoption par d'autres laboratoires travaillant sur la manipulation sous-marine ou le transfert de politiques entre domaines physiques distincts. Les suites logiques, non détaillées dans l'article, porteraient vraisemblablement sur l'élargissement du jeu de démonstrations et le passage à des tâches plus complexes.

RecherchePaper
1 source
CoRE : apprendre des experts par rôle de collaboration pour la manipulation collaborative décentralisée avec une seule politique
2arXiv cs.RO 

CoRE : apprendre des experts par rôle de collaboration pour la manipulation collaborative décentralisée avec une seule politique

Des chercheurs présentent CoRE (Collaboration-Role Experts), une méthode de manipulation collaborative décentralisée où une seule politique, partagée par tous les robots, pilote chaque machine. Chaque robot s'appuie uniquement sur ses observations visuelles et sa proprioception, sans instruction de tâche, sans étiquette d'identité et sans message échangé entre robots. Le système apprend à partir de démonstrations regroupées, multi-tâches et multi-robots. Il fusionne apparence et géométrie pour extraire des indices locaux d'interaction. Des experts à attention croisée conditionnée par requête offrent plusieurs chemins de prédiction. Un routeur local les combine à chaque position du segment d'actions (action chunk). À l'entraînement, une perte d'alignement action-expert supervise le choix des experts à partir des erreurs de prédiction relatives obtenues en forçant chaque route sur des entrées fixes, sans étiquette de rôle. Les auteurs annoncent les meilleures performances moyennes parmi les méthodes décentralisées évaluées sur plusieurs benchmarks en simulation. Des expériences physiques couvrent plusieurs tâches de manipulation et testent la robustesse face aux retards et aux ralentissements du partenaire. Le résumé ne chiffre ni les scores, ni le nombre de robots, ni les plateformes utilisées. L'enjeu est d'abord architectural. Dans la manipulation à plusieurs robots, on choisit souvent entre un contrôleur centralisé, qui ne passe pas à l'échelle et dépend d'une communication fiable, et des politiques distinctes par rôle, qui exigent d'affecter les rôles à l'avance. CoRE vise une troisième voie : un seul jeu de poids, où chaque robot déduit son rôle (tenir, pousser, soutenir) de ce qu'il perçoit localement. Pour un intégrateur, cela réduirait la maintenance, puisqu'il n'y aurait qu'une politique à déployer, et supprimerait la dépendance à un lien réseau entre robots. La robustesse aux partenaires lents est pertinente en atelier, où les temps de cycle varient. Il faut toutefois rester prudent : les gains sont relatifs à d'autres méthodes décentralisées, pas à un contrôle centralisé. Sans chiffres publiés dans le résumé, l'écart entre simulation et réel, ainsi que la généralité des tâches testées, restent à vérifier dans l'article complet. Ce travail s'inscrit dans l'essor des politiques vision-langage-action (VLA) et des politiques à chunks d'actions (type ACT ou diffusion), qui ont surtout été développées pour un robot unique. Les extensions multi-robots restent peu nombreuses et reposent souvent sur la communication explicite ou sur des identifiants de rôle. L'approche par mélange d'experts, déjà courante dans les grands modèles, est ici transposée à la coordination implicite. La page du projet est hébergée sur le domaine aus.bot. Aucune annonce de pilote industriel ni de calendrier de déploiement n'accompagne cette publication, qui relève de la recherche académique en préversion arXiv, sans produit associé. Les prochaines étapes à surveiller sont la montée en nombre de robots, le passage à des équipes hétérogènes (bras différents, humanoïdes) et la comparaison directe avec des baselines centralisées.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques
3arXiv cs.RO 

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

RecherchePaper
1 source
Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique
4arXiv cs.RO 

Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique

Une publication mise à jour sur arXiv (2603.06538, version 2) présente une méthode pour la manipulation bimanuelle robotique qui unifie deux niveaux de raisonnement temporel jusqu'ici traités séparément : la structure symbolique d'une tâche (quelles actions précèdent, suivent ou chevauchent les autres) et le calage concret de chaque main (instant de déclenchement, durée). Le système apprend ces contraintes à partir de démonstrations humaines et en dérive des plans d'exécution paramétrés dans le temps pour un robot à deux bras. Il combine trois briques : une représentation en trois dimensions des délais fondée sur des modèles de mélange gaussien multivariés pour le niveau subsymbolique, un algorithme dérivé de Davis-Putnam-Logemann-Loveland qui classe tous les assignements sans contradiction des relations d'Allen, correspondant aux différents modes d'exécution possibles d'une tâche, et un planificateur par optimisation qui fusionne ces contraintes symboliques et subsymboliques. Les auteurs montrent quantitativement que les contraintes symboliques inférées sont plus précises que celles d'approches heuristiques antérieures, et que les plans générés se rapprochent davantage des démonstrations humaines que la démonstration la plus caractéristique prise comme référence, avec des essais qualitatifs menés en simulation et sur robots réels dont le nombre et les spécifications ne sont pas détaillés. Coordonner deux bras exige de savoir non seulement quel geste doit en précéder un autre, mais exactement quand le déclencher et combien de temps lui accorder, faute de quoi les mouvements se désynchronisent ou entrent en collision, un problème central pour tout intégrateur déployant des cellules bimanuelles en assemblage ou en logistique. La plupart des pipelines existants séparaient la planification symbolique de haut niveau du calage bas niveau des trajectoires, créant une rupture entre la tâche planifiée et son exécution physique ; en réunissant les deux couches dans un cadre appris par démonstration, ce travail cible un angle mort fréquent de l'apprentissage par imitation, qui reproduit souvent des gestes isolés sans capturer la logique de coordination entre bras. Si les résultats se confirment hors laboratoire, cela réduirait le travail manuel de programmation des séquences et des temporisations, un poste coûteux dans le déploiement de robots à deux bras, et fournirait un argument concret face au scepticisme ambiant sur l'écart entre démonstrations soignées et robustesse en conditions réelles. La méthode s'inscrit dans la lignée des travaux de planification robotique s'appuyant sur l'algèbre des intervalles d'Allen, un formalisme classique pour raisonner sur des relations temporelles qualitatives, combiné ici à des modèles de mélange gaussien déjà employés en apprentissage par démonstration pour encoder la variabilité des trajectoires humaines. Les auteurs situent leur contribution par rapport à des approches heuristiques antérieures pour l'extraction de contraintes symboliques, sans nommer de système concurrent précis ni d'institution, le résumé publié restant volontairement générique sur les auteurs et le matériel robotique utilisé. À ce stade, il s'agit d'une contribution de recherche en prépublication, validée en simulation et sur banc réel, sans indication de transfert vers un produit commercial ou un pilote industriel identifié, ni de calendrier de suite annoncé.

RecherchePaper
1 source