RecherchearXiv cs.RO 18 septembre 2026

ULOHA : un système robotique bimanuel sous-marin pour l'apprentissage robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente ULOHA, une plateforme robotique bimanuelle sous-marine dédiée à l'apprentissage de politiques par imitation, décrite dans un article publié sur arXiv (référence 2609.19200, septembre 2026). Le système associe du matériel maison en configuration leader-suiveur pour la téléopération à des extensions logicielles du framework open source LeRobot, couvrant toute la chaîne : téléopération, capture vidéo multi-angles, collecte de démonstrations, entraînement de politiques et déploiement autonome. Les expériences sur robot réel montrent des comportements bimanuels coordonnés sous l'eau, dont le transfert d'objet entre les deux bras, la manipulation partagée d'un même objet et l'interception d'objets mis en mouvement par la flottabilité. Trois méthodes d'apprentissage ont été testées sur la plateforme : ACT, Diffusion Policy et le modèle vision-langage-action SmolVLA. Une étude complémentaire à un seul bras a par ailleurs examiné le transfert de politiques entre l'air et l'eau, montrant que des démonstrations mélangeant les deux milieux permettent l'exécution dans les deux, dans les conditions testées.

Pour le secteur, ULOHA comble un angle mort : la quasi-totalité des travaux sur l'apprentissage visuomoteur par imitation et sur les modèles VLA a été développée et validée en air, pour la manipulation domestique comme industrielle, alors que la robotique bimanuelle sous-marine restait peu étudiée. Le papier documente les perturbations propres au milieu aquatique, comme les bulles, les mouvements d'objets induits par la flottabilité, les horizons d'exécution d'action et le chunking temps réel, qui dégradent les politiques conçues pour l'air. C'est un test de robustesse notable pour des architectures qui, jusqu'ici, avaient surtout prouvé leur généralisation en environnement sec et contrôlé. Pour les intégrateurs concernés par l'inspection sous-marine, la maintenance offshore, l'aquaculture ou la robotique marine scientifique, cela suggère qu'un apprentissage par démonstration déjà mature en air pourrait être transposé sous l'eau moyennant des adaptations ciblées, plutôt qu'un retour au contrôle classique.

ULOHA s'appuie sur LeRobot, le framework open source de robotique publié par Hugging Face, que les auteurs étendent à un scénario bimanuel immergé non couvert nativement. Le projet se présente comme un outil expérimental partagé avec la communauté de recherche plutôt que comme un produit commercial : l'article ne mentionne ni volume de déploiement, ni prix, ni partenaire industriel. Le matériel, le code et les données de démonstration sont annoncés comme disponibles via une page dédiée, ce qui laisse présager une adoption par d'autres laboratoires travaillant sur la manipulation sous-marine ou le transfert de politiques entre domaines physiques distincts. Les suites logiques, non détaillées dans l'article, porteraient vraisemblablement sur l'élargissement du jeu de démonstrations et le passage à des tâches plus complexes.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de la spécialisation fonctionnelle pour le contrôle robotique bimanuel

Une équipe de chercheurs publie sur arXiv (2610.33947) une étude sur la façon d'organiser l'apprentissage d'un contrôle bimanuel, c'est-à-dire coordonner deux bras, dans un système musculo-squelettique simulé piloté par deux contrôleurs récurrents qui communiquent entre eux. Le protocole suit un plan 2 x 2: objectifs différenciés ou partagés entre les deux contrôleurs, et affectation des tâches aux mains fixe ou équilibrée. La combinaison d'objectifs différenciés et d'une affectation fixe, alignée sur un routage de contrôle controlatéral (chaque hémisphère pilote la main opposée), donne la spécialisation fonctionnelle la plus marquée. Elle atteint 81,33 % de réussite bimanuelle, avec les meilleures performances sur la tâche canonique et la meilleure efficacité de contrôle. Son avantage sur les objectifs partagés augmente avec le bruit moteur, mais se réduit quand la pénalité énergétique se renforce. Le résultat le plus parlant pour l'ingénierie est le coût de cette spécialisation. Quand on inverse les rôles des mains après l'entraînement, le taux de réussite bimanuel chute de 80,46 points de pourcentage pour les contrôleurs entraînés en mode différencié et fixe, contre seulement 1,51 point pour ceux entraînés en mode partagé et équilibré. Autrement dit, un système spécialisé est très performant tant que la répartition des rôles reste stable, mais il devient quasi inutilisable si elle change. Pour les concepteurs de robots à deux bras, notamment les humanoïdes, la question est concrète: faut-il figer une main dominante pour gagner en précision et en efficacité énergétique, ou privilégier des politiques interchangeables, plus robustes si une tâche, un outil ou un bras défaillant impose de redistribuer les rôles? L'étude montre aussi que le bruit moteur et le coût énergétique modifient cet arbitrage, deux paramètres bien réels sur du matériel physique. Il faut toutefois rester prudent: tout se passe en simulation, sur un modèle musculo-squelettique et non sur un robot réel, et les résultats portent sur une tâche canonique dont le texte ne détaille pas la nature. Aucun transfert sim-to-real, aucun partenaire industriel ni calendrier de déploiement n'est annoncé. Le travail s'inscrit dans le courant de recherche qui s'inspire de la latéralisation cérébrale et de la modularité du contrôle moteur, en parallèle des approches dominantes sur les humanoïdes, où des modèles vision-langage-action généralistes (Helix, Pi-0, GR00T) pilotent le corps entier avec un réseau unifié. Cette étude suggère qu'une organisation modulaire et spécialisée peut compléter ces architectures, à condition d'en assumer la rigidité. Les prochaines étapes naturelles seraient une validation sur matériel et des tâches plus variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Factorisation tâche-monde pour l'apprentissage robotique

Une équipe de chercheurs a publié le 2 juin 2026 sur arXiv (arXiv:2606.02027) un framework d'apprentissage robotique baptisé "World-Task Factorization", dont le principe central est de séparer structurellement ce qui relève du monde physique de ce qui relève de la tâche à accomplir. Les facteurs "monde" regroupent les propriétés du corps du robot et de son environnement, indépendamment de toute intention ; les facteurs "tâche" encodent la logique de ce que le monde autorise à faire. Pour instancier cette séparation, les auteurs couplent un module analytique nommé AICON, un graphe différentiable d'estimateurs récursifs compositionnels opérant sans données spécifiques à la tâche, à une politique apprise compacte qui module les chemins de gradient. Ce mécanisme est testé sur trois familles de problèmes impliquant des robots hétérogènes, des modalités sensorimotrices variées et des logiques de tâche distinctes ; le framework surpasse les baselines bout-en-bout et les heuristiques analytiques dans tous les scénarios, et les auteurs rapportent un transfert vers du matériel réel sans réentraînement. L'intérêt industriel de cette approche tient à ce qu'elle adresse directement le problème de généralisation, obstacle majeur à la commercialisation des robots polyvalents. En factorisant explicitement monde et tâche, le framework promet de réduire le volume de données nécessaire au réentraînement lors d'un changement de contexte, de coéquipier ou de contrainte, là où les architectures bout-en-bout actuelles exigent de recollecterdes données à chaque variation. La capacité annoncée de généralisation zero-shot à des configurations hors distribution reste toutefois à valider à plus grande échelle : les expériences rapportées, bien que convaincantes sur trois domaines, demeurent de portée laboratoire, sans chiffres de volume de déploiement ni métriques de cycle time dans des contextes industriels réels. Sur le plan académique, ce travail s'inscrit dans un débat structurant du domaine : faut-il laisser la structure émerger du passage à l'échelle des données (approche des VLA de type Pi-0, GR00T N2 ou OpenVLA), ou l'encoder explicitement via des hiérarchies ou des bibliothèques de compétences ? Le framework proposé prend une troisième voie, fondée sur la théorie bayésienne (evidence du modèle, rasoir d'Occam) pour justifier la factorisation. Il se positionne ainsi face aux travaux de Physical Intelligence (Pi-0), de Boston Dynamics, et des laboratoires académiques comme Berkeley (RT-2, RoboAgent) ou Stanford (Mobile ALOHA). Les auteurs n'annoncent pas de partenariat industriel ni de calendrier de commercialisation ; l'étape suivante naturelle serait une validation sur des manipulateurs ou des humanoïdes dans des environnements semi-structurés, avec des métriques de robustesse publiées.

RecherchePaper

1 source

3arXiv cs.RO

RoboSTD : transfert zéro-shot d'un bras unique vers deux bras par miroir sagittal pour l'apprentissage bimanuel

RoboSTD, un travail déposé sur arXiv (2610.36685), propose une méthode de construction de données « zéro-shot » pour transférer des démonstrations mono-bras vers des systèmes bimanuels, sans collecter la moindre démonstration à deux bras supplémentaire. Le procédé se déroule en deux temps. Il applique d'abord un miroir par rapport au plan sagittal aux observations, à la proprioception et aux actions, afin de fabriquer des pseudo-démonstrations exécutables pour le bras controlatéral. Un LLM génère ensuite des contraintes de coordination spatio-temporelles structurées, qui guident la reconstruction d'une supervision pseudo-bimanuelle selon les zones de l'espace de travail et les phases de la tâche. L'évaluation porte sur la plateforme AgileX ALOHA, en simulation (RoboTwin) et en conditions réelles. Sur une tâche de collecte de gobelets, le nombre moyen de gobelets ramassés atteint 2,11 fois celui de la référence mono-bras. L'enjeu est celui du coût des données. La collecte de démonstrations bimanuelles par téléopération est lente, mobilise des opérateurs qualifiés et plafonne le passage à l'échelle des politiques d'apprentissage à deux bras, alors que ces dernières conditionnent de nombreuses applications industrielles et logistiques. Les grands corpus mono-bras existent déjà, mais ils se transfèrent mal vers un système à deux bras, à cause de différences d'espace d'action, d'exigences de coordination et de préférence spatiale selon le côté du bras. Si l'approche tient ses promesses, elle permettrait de recycler ces jeux de données existants. Il faut cependant relativiser. Le résultat chiffré repose sur une seule tâche, relativement simple, et un facteur 2,11 face à une base mono-bras est un comparateur peu exigeant : un robot à deux bras qui travaille deux fois plus de surface ramasse mécaniquement davantage. L'article ne fournit pas ici de comparaison avec une politique entraînée sur de vraies démonstrations bimanuelles, ce qui est la mesure décisive. Le recours à un LLM pour produire les contraintes de coordination soulève aussi la question de la robustesse hors de ces scénarios. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans l'effort général pour réduire la dépendance à la téléopération, aux côtés des modèles vision-langage-action (VLA), de l'augmentation de données et des approches sim-to-real. Le choix d'ALOHA et de RoboTwin, des références devenues courantes pour l'évaluation bimanuelle, facilite la comparaison avec d'autres méthodes, même si le matériel reste un banc académique à bas coût. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et fortement couplées, comme l'assemblage ou la manipulation d'objets déformables, et la confrontation avec des baselines entraînées sur des données bimanuelles réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage unifié de la structure temporelle des tâches et du timing des actions pour la manipulation bimanuelle en robotique

Une publication mise à jour sur arXiv (2603.06538, version 2) présente une méthode pour la manipulation bimanuelle robotique qui unifie deux niveaux de raisonnement temporel jusqu'ici traités séparément : la structure symbolique d'une tâche (quelles actions précèdent, suivent ou chevauchent les autres) et le calage concret de chaque main (instant de déclenchement, durée). Le système apprend ces contraintes à partir de démonstrations humaines et en dérive des plans d'exécution paramétrés dans le temps pour un robot à deux bras. Il combine trois briques : une représentation en trois dimensions des délais fondée sur des modèles de mélange gaussien multivariés pour le niveau subsymbolique, un algorithme dérivé de Davis-Putnam-Logemann-Loveland qui classe tous les assignements sans contradiction des relations d'Allen, correspondant aux différents modes d'exécution possibles d'une tâche, et un planificateur par optimisation qui fusionne ces contraintes symboliques et subsymboliques. Les auteurs montrent quantitativement que les contraintes symboliques inférées sont plus précises que celles d'approches heuristiques antérieures, et que les plans générés se rapprochent davantage des démonstrations humaines que la démonstration la plus caractéristique prise comme référence, avec des essais qualitatifs menés en simulation et sur robots réels dont le nombre et les spécifications ne sont pas détaillés. Coordonner deux bras exige de savoir non seulement quel geste doit en précéder un autre, mais exactement quand le déclencher et combien de temps lui accorder, faute de quoi les mouvements se désynchronisent ou entrent en collision, un problème central pour tout intégrateur déployant des cellules bimanuelles en assemblage ou en logistique. La plupart des pipelines existants séparaient la planification symbolique de haut niveau du calage bas niveau des trajectoires, créant une rupture entre la tâche planifiée et son exécution physique ; en réunissant les deux couches dans un cadre appris par démonstration, ce travail cible un angle mort fréquent de l'apprentissage par imitation, qui reproduit souvent des gestes isolés sans capturer la logique de coordination entre bras. Si les résultats se confirment hors laboratoire, cela réduirait le travail manuel de programmation des séquences et des temporisations, un poste coûteux dans le déploiement de robots à deux bras, et fournirait un argument concret face au scepticisme ambiant sur l'écart entre démonstrations soignées et robustesse en conditions réelles. La méthode s'inscrit dans la lignée des travaux de planification robotique s'appuyant sur l'algèbre des intervalles d'Allen, un formalisme classique pour raisonner sur des relations temporelles qualitatives, combiné ici à des modèles de mélange gaussien déjà employés en apprentissage par démonstration pour encoder la variabilité des trajectoires humaines. Les auteurs situent leur contribution par rapport à des approches heuristiques antérieures pour l'extraction de contraintes symboliques, sans nommer de système concurrent précis ni d'institution, le résumé publié restant volontairement générique sur les auteurs et le matériel robotique utilisé. À ce stade, il s'agit d'une contribution de recherche en prépublication, validée en simulation et sur banc réel, sans indication de transfert vers un produit commercial ou un pilote industriel identifié, ni de calendrier de suite annoncé.

RecherchePaper

1 source