RecherchearXiv cs.RO 28 octobre 2026

RoboSTD : transfert zéro-shot d'un bras unique vers deux bras par miroir sagittal pour l'apprentissage bimanuel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RoboSTD, un travail déposé sur arXiv (2610.36685), propose une méthode de construction de données « zéro-shot » pour transférer des démonstrations mono-bras vers des systèmes bimanuels, sans collecter la moindre démonstration à deux bras supplémentaire. Le procédé se déroule en deux temps. Il applique d'abord un miroir par rapport au plan sagittal aux observations, à la proprioception et aux actions, afin de fabriquer des pseudo-démonstrations exécutables pour le bras controlatéral. Un LLM génère ensuite des contraintes de coordination spatio-temporelles structurées, qui guident la reconstruction d'une supervision pseudo-bimanuelle selon les zones de l'espace de travail et les phases de la tâche. L'évaluation porte sur la plateforme AgileX ALOHA, en simulation (RoboTwin) et en conditions réelles. Sur une tâche de collecte de gobelets, le nombre moyen de gobelets ramassés atteint 2,11 fois celui de la référence mono-bras.

L'enjeu est celui du coût des données. La collecte de démonstrations bimanuelles par téléopération est lente, mobilise des opérateurs qualifiés et plafonne le passage à l'échelle des politiques d'apprentissage à deux bras, alors que ces dernières conditionnent de nombreuses applications industrielles et logistiques. Les grands corpus mono-bras existent déjà, mais ils se transfèrent mal vers un système à deux bras, à cause de différences d'espace d'action, d'exigences de coordination et de préférence spatiale selon le côté du bras. Si l'approche tient ses promesses, elle permettrait de recycler ces jeux de données existants. Il faut cependant relativiser. Le résultat chiffré repose sur une seule tâche, relativement simple, et un facteur 2,11 face à une base mono-bras est un comparateur peu exigeant : un robot à deux bras qui travaille deux fois plus de surface ramasse mécaniquement davantage. L'article ne fournit pas ici de comparaison avec une politique entraînée sur de vraies démonstrations bimanuelles, ce qui est la mesure décisive. Le recours à un LLM pour produire les contraintes de coordination soulève aussi la question de la robustesse hors de ces scénarios. Il s'agit d'un résultat de recherche, sans produit ni déploiement.

Ce travail s'inscrit dans l'effort général pour réduire la dépendance à la téléopération, aux côtés des modèles vision-langage-action (VLA), de l'augmentation de données et des approches sim-to-real. Le choix d'ALOHA et de RoboTwin, des références devenues courantes pour l'évaluation bimanuelle, facilite la comparaison avec d'autres méthodes, même si le matériel reste un banc académique à bas coût. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et fortement couplées, comme l'assemblage ou la manipulation d'objets déformables, et la confrontation avec des baselines entraînées sur des données bimanuelles réelles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

ULOHA : un système robotique bimanuel sous-marin pour l'apprentissage robotique

Une équipe de recherche présente ULOHA, une plateforme robotique bimanuelle sous-marine dédiée à l'apprentissage de politiques par imitation, décrite dans un article publié sur arXiv (référence 2609.19200, septembre 2026). Le système associe du matériel maison en configuration leader-suiveur pour la téléopération à des extensions logicielles du framework open source LeRobot, couvrant toute la chaîne : téléopération, capture vidéo multi-angles, collecte de démonstrations, entraînement de politiques et déploiement autonome. Les expériences sur robot réel montrent des comportements bimanuels coordonnés sous l'eau, dont le transfert d'objet entre les deux bras, la manipulation partagée d'un même objet et l'interception d'objets mis en mouvement par la flottabilité. Trois méthodes d'apprentissage ont été testées sur la plateforme : ACT, Diffusion Policy et le modèle vision-langage-action SmolVLA. Une étude complémentaire à un seul bras a par ailleurs examiné le transfert de politiques entre l'air et l'eau, montrant que des démonstrations mélangeant les deux milieux permettent l'exécution dans les deux, dans les conditions testées. Pour le secteur, ULOHA comble un angle mort : la quasi-totalité des travaux sur l'apprentissage visuomoteur par imitation et sur les modèles VLA a été développée et validée en air, pour la manipulation domestique comme industrielle, alors que la robotique bimanuelle sous-marine restait peu étudiée. Le papier documente les perturbations propres au milieu aquatique, comme les bulles, les mouvements d'objets induits par la flottabilité, les horizons d'exécution d'action et le chunking temps réel, qui dégradent les politiques conçues pour l'air. C'est un test de robustesse notable pour des architectures qui, jusqu'ici, avaient surtout prouvé leur généralisation en environnement sec et contrôlé. Pour les intégrateurs concernés par l'inspection sous-marine, la maintenance offshore, l'aquaculture ou la robotique marine scientifique, cela suggère qu'un apprentissage par démonstration déjà mature en air pourrait être transposé sous l'eau moyennant des adaptations ciblées, plutôt qu'un retour au contrôle classique. ULOHA s'appuie sur LeRobot, le framework open source de robotique publié par Hugging Face, que les auteurs étendent à un scénario bimanuel immergé non couvert nativement. Le projet se présente comme un outil expérimental partagé avec la communauté de recherche plutôt que comme un produit commercial : l'article ne mentionne ni volume de déploiement, ni prix, ni partenaire industriel. Le matériel, le code et les données de démonstration sont annoncés comme disponibles via une page dédiée, ce qui laisse présager une adoption par d'autres laboratoires travaillant sur la manipulation sous-marine ou le transfert de politiques entre domaines physiques distincts. Les suites logiques, non détaillées dans l'article, porteraient vraisemblablement sur l'élargissement du jeu de démonstrations et le passage à des tâches plus complexes.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage sim-vers-réel zéro-shot pour robots : étude de préhension réactive par main dextérique

Une équipe de chercheurs a déposé en mai 2026 (arXiv:2605.09789) une méthode permettant le transfert zéro-shot de politiques de manipulation dextère depuis la simulation vers le robot physique, sans aucun fine-tuning sur données réelles. L'approche, baptisée Domain-Randomized Instance Set (DRIS), modifie la randomisation de domaine (DR) classique en propageant simultanément un ensemble d'instances physiques randomisées plutôt qu'une instance unique par épisode d'entraînement. Validée sur une tâche de rattrapage réactif d'objets en chute, la méthode obtient un transfert fiable avec seulement une dizaine d'instances simultanées. L'effecteur utilisé est délibérément contraignant : une plaque plate sans bords ni surface courbe, qui n'assure aucune stabilisation passive de l'objet capturé, à l'inverse des pinces ou surfaces enveloppantes couramment utilisées dans les benchmarks de rattrapage. Le sim-to-real gap reste l'un des principaux freins à l'industrialisation des robots manipulateurs apprenants. La DR classique, omniprésente dans les pipelines d'entraînement sur simulateurs comme IsaacGym ou MuJoCo, n'expose la politique qu'à une seule configuration physique par épisode, sous-échantillonnant ainsi la variabilité dynamique réelle. DRIS comble ce déficit en forçant la politique à optimiser simultanément sur plusieurs scénarios physiques plausibles, produisant selon l'analyse théorique des auteurs des politiques intrinsèquement plus robustes. Pour les intégrateurs, le bénéfice est direct : l'élimination du fine-tuning sur robot physique supprime un goulot d'étranglement coûteux, souvent plusieurs semaines de collecte de données en cellule réelle, qui freine aujourd'hui le déploiement de solutions de manipulation apprise en production. La manipulation dextère zéro-shot est un objectif de longue date dans la communauté robotique. DRIS s'inscrit dans la continuité de la randomisation adaptative, dont l'ADR d'OpenAI, popularisée avec le projet Dactyl en 2019, reste la référence historique. Elle se positionne comme orthogonale aux approches Visual-Language-Action (VLA) récentes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui réduisent le gap via la généralisation sémantique plutôt que physique, et pourrait s'intégrer dans ces pipelines. Les auteurs ne précisent pas de timeline pour des validations sur des tâches plus complexes comme l'assemblage ou la manipulation in-hand, deux domaines où le zéro-shot sim-to-real demeure un problème ouvert.

RechercheOpinion

1 source

3arXiv cs.RO

Jetons de mouvement : apprentissage de mouvements primitifs pour le transfert de compétences de l'humain vers le robot humanoïde

Des chercheurs publient sur arXiv un cadre d'entraînement nommé Adaptive Failure-Informed Learning (AFIL). Il vise un défaut connu des modèles vision-langage-action (VLA), qui sont entraînés par clonage comportemental sur des démonstrations réussies uniquement. Faute de signal correctif, une petite erreur d'exécution s'accumule vite et place le robot hors de la distribution d'entraînement, d'où des échecs irrécupérables. AFIL part d'un VLA préentraîné et le fait générer lui-même des échecs en ligne, sans catalogue de pannes écrit à la main ni opérateur humain pour corriger. Deux générateurs d'actions (Dual Action Generators) sont ensuite entraînés conjointement, l'un sur les succès et l'autre sur les échecs, en partageant le même backbone vision-langage, ce qui limite le surcoût en paramètres. À l'inférence, le générateur d'échecs sert de guidage négatif pour les politiques à diffusion ou à flow matching. Son intensité varie à chaque pas de diffusion selon la distance entre les distributions de succès et d'échec. Les auteurs annoncent de meilleurs taux de réussite et une meilleure robustesse que les VLA de référence, sur des tâches de manipulation en domaine et hors domaine, à horizon court comme long. Le résumé ne donne aucun chiffre, aucun nom de robot et aucun nom de baseline. L'enjeu est la fiabilité, point faible des VLA entre la démo et le terrain. Un taux de succès moyen cache mal la fragilité face aux dérives d'exécution, et c'est ce qui freine les intégrateurs et les responsables d'exploitation. Si le gain se confirme, exploiter les échecs sans supervision humaine réduirait le coût des données de récupération, aujourd'hui collectées par téléopération. La méthode s'applique aussi à des politiques existantes, sans repartir de zéro. Il reste à vérifier que les résultats tiennent sur robot réel, et pas seulement en simulation ou sur des benchmarks choisis, ce que le résumé ne précise pas. Le travail s'inscrit dans le courant des VLA à diffusion ou flow matching, dont relèvent des modèles comme Pi-0, et de la recherche de parades à la limite du clonage comportemental, que le renforcement et les démonstrations de récupération tentent aussi de lever. Le guidage négatif rappelle le classifier-free guidance de la génération d'images, transposé ici à l'action. Il s'agit d'un préprint sans pilote industriel ni calendrier annoncé. La suite logique serait des tests sur plateformes physiques et une comparaison avec les approches de renforcement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Planification de mouvements précis pour la manipulation robotique par apprentissage par transfert sans données d'entraînement

Des chercheurs ont publié sur arXiv (arXiv:2606.06041) un framework baptisé iCEM+TL, qui combine la méthode évolutionnaire iCEM (improved Cross-Entropy Method) avec du Transfer Learning pour améliorer la planification de mouvement bas-niveau en robotique de manipulation. L'approche transfère directement les paramètres-clés d'iCEM appris sur des tâches simples vers des tâches plus complexes -- empilage d'objets, glissement, placement en étagère -- sans réentraîner depuis zéro. Complétée par une refonte des fonctions de récompense (Reward Redesign) via décomposition de tâche pour les scénarios d'empilage et de placement en étagère, la méthode atteint des gains de taux de succès allant jusqu'à 23 % en simulation. Elle a ensuite été validée sur un robot réel Franka Emika Panda dans un scénario d'empilage, confirmant la transférabilité sim-to-real de l'approche. L'intérêt principal réside dans l'efficacité d'échantillonnage : iCEM+TL contourne le besoin de longues phases d'entraînement en réutilisant explicitement la connaissance déjà acquise sur des tâches amont. Pour les intégrateurs industriels ou les équipes R&D robotique, cela signifie qu'ajouter une nouvelle tâche de manipulation à un bras existant ne nécessite pas un réentraînement complet -- un gain direct en temps et en coût de déploiement. Le fait que le transfert soit qualifié de "zero-shot" dans le titre mérite toutefois une nuance : il s'agit ici d'un transfert de paramètres entre tâches proches dans un même domaine, et non d'une généralisation à des environnements radicalement différents. Les résultats restent majoritairement issus de simulation, avec une validation robotique limitée à un seul scénario d'empilage -- la robustesse à l'échelle industrielle reste à établir. iCEM est un algorithme de planification en temps réel apparu comme alternative légère aux méthodes d'apprentissage par renforcement profond, notamment pour la manipulation sur bras sériels. Le Franka Emika Panda (7 DOF) est devenu un banc de test standard de la communauté académique, utilisé par des dizaines d'équipes dans le monde. Dans ce paysage, iCEM+TL se positionne en dehors des approches VLA (Vision-Language-Action) comme pi0 de Physical Intelligence ou des policies à diffusion qui dominent actuellement les benchmarks de référence tels que RLBench. La suite naturelle serait de tester le framework sur des tâches à horizon plus long, sur d'autres morphologies de robots, et de comparer formellement les gains de temps d'entraînement face aux baselines RL modernes.

RecherchePaper

1 source