Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Apprentissage de la loco-manipulation à partir de démonstrations SMPC via un RL clairsemé hors ligne vers en ligne
RecherchearXiv cs.RO 

Apprentissage de la loco-manipulation à partir de démonstrations SMPC via un RL clairsemé hors ligne vers en ligne

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente dans un preprint arXiv publié le 13 août 2026 (arXiv:2608.12063v1) une méthode d'apprentissage combinant locomotion et manipulation pour robots à pattes. Le système utilise du Sample-based Model Predictive Control (SMPC), une forme de commande prédictive par échantillonnage, exécutée entièrement en simulation pour générer automatiquement de vastes jeux de données hors ligne, jouant le rôle d'expert artificiel. Ces données servent ensuite à entraîner un agent de reinforcement learning (RL) off-policy à l'aide de récompenses de tâche uniquement éparses (sparse rewards), sans le façonnage manuel et chronophage de fonctions de récompense denses habituellement nécessaire. Cet agent de haut niveau est couplé à un contrôleur bas niveau assurant la stabilité dynamique du robot. Les auteurs valident la robustesse du transfert simulation-vers-réel (sim-to-real) en déployant des compétences complexes de loco-manipulation sur deux morphologies différentes: un quadrupède Spot équipé d'un bras et un humanoïde G1.

L'intérêt principal de ces travaux tient à la résolution du goulot d'étranglement le plus coûteux du RL appliqué à la robotique: la conception manuelle de récompenses denses, qui ralentit considérablement l'apprentissage de nouvelles compétences à chaque nouvelle tâche. En s'appuyant sur des démonstrations SMPC pour préremplir l'exploration, les auteurs affirment que les politiques apprises finissent par surpasser leur propre professeur de commande optimale, un résultat notable si confirmé à plus grande échelle. Pour les intégrateurs et décideurs du secteur, cela illustre une voie alternative aux approches VLA entraînées sur des démonstrations réelles massives: générer les données d'entraînement en simulation via un contrôleur classique plutôt que par téléopération humaine, ce qui pourrait réduire les coûts de collecte de données pour les robots à pattes et humanoïdes.

Ce travail s'inscrit dans la tendance du RL offline-to-online et de l'usage de contrôleurs optimaux comme professeurs pour le RL. Il reste à ce stade une publication de recherche, sans nom d'entreprise, de laboratoire ni de calendrier de déploiement commercial associés dans l'abstract, et sans comparaison chiffrée directe avec les approches VLA concurrentes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines
1arXiv cs.RO 

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper
1 source
HALOMI : apprentissage de la loco-manipulation humanoïde avec perception active à partir de démonstrations humaines
2arXiv cs.RO 

HALOMI : apprentissage de la loco-manipulation humanoïde avec perception active à partir de démonstrations humaines

Une équipe de chercheurs vient de publier sur arXiv (réf. 2606.18772) HALOMI, un framework permettant à un humanoïde d'apprendre la "loco-manipulation" -- navigation et manipulation d'objets combinées -- à partir de démonstrations humaines captées en conditions réelles. Le système étend l'Universal Manipulation Interface (UMI) avec une perception égocentrique double : caméras en vue subjective (ego-view) et au niveau du poignet (wrist-view), enregistrant simultanément les trajectoires tête-mains de l'opérateur. La validation s'effectue sur le Unitree G1, humanoïde équipé d'un cou motorisé, sur cinq catégories de tâches réelles : navigation, préhension, manipulation bimane, coordination corps entier, et comportements dynamiques incluant lancer d'objets et accroupissement profond. HALOMI atteint un taux de réussite moyen de 85 % sur les trois tâches évaluées quantitativement. Ce résultat cible l'un des obstacles fondamentaux du retargeting humain-humanoïde : au-delà du sim-to-real gap, il existe un "human-to-humanoid gap" dans la perception égocentrique et l'exécution motrice. HALOMI l'attaque sur deux fronts : un alignement de la vue subjective, et une adaptation de trajectoire dite "controller-aware" qui intègre les contraintes dynamiques propres au robot. Le contrôleur de suivi tête-main opère dans un espace latent appris (manifold contraint), ce qui le rend plus robuste face aux cibles hors distribution -- écueil classique du retargeting direct. Le 85 % est à nuancer : les tâches qualitatives comme le lancer dynamique n'ont pas de métriques publiées, et les conditions expérimentales exactes (nombre d'essais, variabilité de scène) restent non précisées dans le papier. HALOMI s'inscrit dans la tendance qui exploite les démonstrations humaines pour réduire le coût de collecte de données sur robot, dans la lignée directe d'UMI (Stanford, 2023), et en parallèle des approches Vision-Language-Action comme Pi-Zero (Physical Intelligence) ou GR00T N2 (NVIDIA). La particularité ici est l'accent mis sur la perception active : le cou motorisé du G1 est un élément fonctionnel du pipeline, pas un détail cosmétique. Le Unitree G1, commercialisé autour de 16 000 dollars, s'est imposé comme banc de test académique commun depuis 2024. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans le papier : HALOMI reste pour l'heure une contribution de recherche, sans annonce de commercialisation.

RechercheOpinion
1 source
Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle
3arXiv cs.RO 

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle

Un preprint publie sur arXiv le 11 aout 2026 (2608.07553) décrit une méthode d'apprentissage auto-supervise pour la manipulation robotique visuelle, dans laquelle le robot génère lui-même ses démonstrations autour d'une pose cible au lieu de dépendre d'une téléopération humaine ou d'un enseignement kinesthésique. Le pipeline, base sur ROS 2 et le simulateur Isaac Sim, produit des paires image-pose étiquetées sans calibration extrinsèque explicite entre camera et robot, avec deux jeux de données distincts, l'un pour l'affinage planaire, l'autre pour l'approche grossière en trois dimensions. Un réseau convolutif régressé la translation et la rotation relatives a partir d'une seule image RGB montee au poignet, et pilote un contrôleur grossier-vers-fin qui approche d'abord l'objet puis affine l'alignement final. Teste en simulation et sur un bras collaboratif réel UR5e équipe d'une pince et d'une camera monoculaire, le système réduit la dispersion planaire finale de 9,69 mm a 5,38 mm en simulation, et atteint en conditions réelles des taux de réussite de préhension de 66,6% et 63,6% sur deux des trois objets testes sans rotation, avec une robustesse partielle en cas de rotation. Cette approche cible un goulot d'étranglement connu de l'industrie: la plupart des pipelines de manipulation exigent une programmation spécifique a l'objet, une annotation manuelle ou une calibration camera-robot précise, ce qui freine le déploiement chez les intégrateurs. En générant ses propres démonstrations en simulation avant transfert vers le réel, la méthode réduit l'effort de mise en place, un argument qui parle directement aux intégrateurs voulant éviter des phases de téléopération couteuses. Les résultats restent toutefois modestes, avec des taux de réussite de 63 a 67% sur seulement trois objets, et les auteurs reconnaissent eux-mêmes des difficultés persistantes en prédiction de profondeur et en généralisation. Le travail se positionne ainsi en contrepoint des modèles de fondation VLA massifs de type GR00T N2 ou Pi-0: une alternative plus légère, ciblée sur une tache étroite, sans la promesse de généralisation zero-shot de ces derniers. Le papier s'inscrit dans une lignée académique de recherches sur le transfert sim-to-real et la génération automatique de données d'entrainement, sans affiliation industrielle mise en avant ni partenariat commercial annonce. Aucun pilote ni calendrier de déploiement n'est mentionne: les auteurs présentent ces travaux comme une preuve de concept, les prochaines étapes évoquées portant sur l'amélioration de l'estimation de profondeur et l'extension a un plus grand nombre d'objets avant d'envisager une application industrielle plus large.

RecherchePaper
1 source
AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial
4arXiv cs.RO 

AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial

Une équipe de recherche présente AdvDex, un framework Vision-Language-Action (VLA) pour la manipulation dextre, dans un article publie sur arXiv (2608.14028v1). Le système combine trois éléments : OmniShare, un jeu de données multimodal de démonstrations de manipulation humaine offrant une supervision cinématique fine et des mesures tactiles sans recourir a une téléopération robotique couteuse ; le Joint-Aligned Action Space (JAAS), une représentation canonique de l'action associant une pose de poignet en SE(3) et 15 articulations des doigts, qui aligne fonctionnellement mains humaines, mains robotiques dextres et pinces parallèles ; et un apprentissage adversarial de domaine qui retire des représentations visuelles les indices spécifiques a chaque morphologie robotique. Les tests, portant sur la prédiction d'actions manuelles et sur des taches réelles de manipulation dextre, montrent des gains constants face aux méthodes de référence. Ce résultat répond a deux obstacles concrets du secteur : le cout de collecte des démonstrations robotiques et la faible portabilité d'une politique entre embodiments différents. AdvDex démontre un transfert zero-shot de l'humain vers le robot, une généralisation a des objets et environnements inédits, ainsi qu'une adaptation few-shot économe en données. Ce résultat appuie empiriquement une hypothèse centrale pour les modèles VLA comme Pi-0, GR00T N2 ou Helix : qu'une action canonique partagée peut réduire la dépendance a des flottes de téléopération dédiées par plateforme, un enjeu direct pour la vitesse de commercialisation des mains robotiques dextres. Le papier s'inscrit dans un courant de recherche visant a unifier les espaces d'action entre humains et robots pour exploiter les volumes de vidéo de manipulation humaine déjà disponibles, une direction également suivie par les équipes derrière Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Classe comme nouvelle publication sur arXiv, AdvDex reste a ce stade une contribution académique évaluée sur des bancs d'essai internes, sans date de commercialisation, partenaire industriel ni déploiement annonce. La taille exacte du jeu OmniShare et les conditions précises des tests de généralisation ne sont pas détaillées, ce qui limite l'évaluation de la portée réelle de ces résultats hors du cadre expérimental du papier.

RechercheActu
1 source