RecherchearXiv cs.RO 9 novembre 2026

SUGARv2 : apprentissage de compétences variées de loco-manipulation humanoïde par la vision, à partir de références d'interaction synthétisées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SUGARv2 est un cadre d'apprentissage présenté le 9 novembre 2026 sur arXiv (2611.09266) pour acquérir des compétences visuelles de loco-manipulation sur robot humanoïde, c'est-à-dire des tâches qui combinent déplacement et manipulation avec tout le corps. Les auteurs partent d'un problème de passage à l'échelle: chaque nouvelle tâche ou configuration spatiale exige de collecter des démonstrations et de concevoir un entraînement spécifique. Pour limiter ce coût, ils synthétisent des références d'interaction en adaptant des modèles de tâches réutilisables à différentes configurations spatiales, ce qui produit des mouvements coordonnés du robot et de l'objet. Un même objectif d'imitation de référence sert ensuite à toutes les tâches. Des enseignants dits privilégiés, qui accèdent à l'état complet de la simulation, apprennent d'abord à exécuter ces références. Des politiques visuelles sont ensuite entraînées par distillation de ces enseignants, puis par apprentissage par renforcement avec les mêmes récompenses d'imitation. Le travail s'appuie sur des instances d'objets variées et sur une randomisation visuelle du domaine. Sur cinq tâches, le taux de réussite moyen atteint 91,0 % en simulation, et un déploiement sur un humanoïde réel est annoncé.

L'intérêt pour l'industrie tient à la réduction de l'effort humain, aujourd'hui le principal frein à la généralisation de la manipulation humanoïde. La téléopération coûte cher en heures d'opérateur. La conception de récompenses sur mesure ralentit chaque nouvelle compétence. Remplacer les démonstrations par des références synthétisées, et les récompenses spécifiques par un objectif d'imitation unique, rendrait le coût marginal d'une tâche supplémentaire plus faible. Pour un intégrateur, cela pourrait raccourcir le délai entre une application et une politique déployable. Il faut toutefois rester prudent. Le chiffre de 91,0 % vient de la simulation, sur seulement cinq tâches, et le résumé ne donne ni le nombre d'essais réels, ni le taux de réussite sur robot, ni le modèle d'humanoïde utilisé. La phrase sur le transfert simulation-réel reste qualitative. Il s'agit donc d'une preuve de concept académique, pas d'un produit ni d'un déploiement industriel, et l'écart entre démonstration et fiabilité en production reste entier.

Ce travail prolonge une lignée de méthodes de suivi de mouvement et d'imitation pour humanoïdes, où des politiques entraînées en simulation reproduisent des références avant d'être transférées sur machine. Il s'inscrit aussi dans la tendance de la distillation de politiques privilégiées vers des politiques visuelles. Il s'oppose en partie à l'approche dominante de l'industrie, fondée sur les grands modèles vision-langage-action (VLA) entraînés sur de gros volumes de données téléopérées, comme ceux développés par Figure, Physical Intelligence ou NVIDIA. SUGARv2 mise au contraire sur la génération de données synthétiques et l'apprentissage par renforcement. Le nom indique une deuxième version, ce qui suggère une évolution d'un premier système. Les prochaines étapes à surveiller sont la publication de résultats chiffrés sur robot réel, l'extension à davantage de tâches et d'objets, et une comparaison directe avec les approches VLA sur des critères de robustesse et de coût de données.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

ViLoMan : apprentissage de compétences de loco-manipulation du corps entier par vision et proprioception pour robots humanoïdes

Le laboratoire à l'origine du projet ViLoMan, publié en preprint sur arXiv (arXiv:2609.19340, soumission anonyme en relecture en double aveugle, page projet viloman-anonymous.pages.dev), présente un système d'apprentissage pour la loco-manipulation autonome des robots humanoïdes. La méthode transforme des démonstrations humaines partielles, capturées de façon cinématique lors d'interactions homme-objet, en trajectoires robotiques complètes et physiquement exécutables. Ces trajectoires alimentent ensuite un entraînement par distillation enseignant-élève, qui produit une politique unique convertissant des observations de profondeur en vision égocentrique et des mesures proprioceptives directement en commandes articulaires pour l'ensemble du corps. Une fois déployée, cette politique ne nécessite ni mouvement de référence ni commande intermédiaire. Les auteurs l'ont testée sur des tâches de fermeture de porte, avec des configurations de porte et des positions de départ variées, en simulation puis sur un robot réel Unitree G1, montrant qu'une seule politique suffit à accomplir la tâche uniquement à partir des capteurs embarqués. Ce travail s'attaque à deux obstacles centraux du secteur : la rareté de données d'interaction robot-objet physiquement réalisables, et la difficulté d'apprendre un contrôle unifié du corps entier à partir des seules observations embarquées, sans capture de mouvement externe ni téléopération lourde. En démontrant un transfert simulation-réel fonctionnel avec un capteur de profondeur et la proprioception seuls, l'étude apporte un contre-exemple concret à l'hypothèse selon laquelle les politiques de loco-manipulation humanoïde exigent nécessairement de vastes jeux de données téléopérées coûteux à constituer. Pour les intégrateurs et décideurs robotique, l'intérêt réside surtout dans la méthode de conversion des démonstrations humaines en données d'entraînement robot exploitables, une piste alternative aux pipelines de collecte par téléopération utilisés par des acteurs comme Figure ou Physical Intelligence. ViLoMan s'inscrit dans la compétition croissante autour des politiques vision-langage-action et des architectures de contrôle whole-body pour humanoïdes, aux côtés d'approches commerciales comme Helix de Figure, GR00T N2 de Nvidia ou Pi-0 de Physical Intelligence, qui reposent largement sur des données de téléopération à grande échelle. Ici, l'origine académique et le statut anonyme de la soumission signalent une contribution de recherche encore au stade du laboratoire, validée sur une seule tâche restreinte de fermeture de porte plutôt que déployée en conditions industrielles. Les prochaines étapes attendues concernent l'extension à d'autres tâches de manipulation et à des environnements plus variés avant toute perspective de déploiement réel.

RecherchePaper

1 source

2arXiv cs.RO

MOTIO : ingénierie de compétences à base d'agents pour la loco-manipulation humanoïde ancrée dans le réel

MOTIO est un système d'ingénierie de compétences par agent, présenté dans un preprint arXiv (2610.33446) qui transforme de simples vidéos d'actions humaines, des actifs 3D calibrés sur le réel, des références de mouvement et des compétences robotiques réutilisables en programmes exécutables de locomanipulation pour humanoïdes. Un agent raisonne en contexte sur la tâche et les contacts, construit des interactions par étapes adaptées au robot, puis les améliore grâce à l'exécution physique en simulation, à des retours multi-images et à une validation humaine, sans téléopération ni collecte de démonstrations spécifiques. Les actifs 3D métriques (produits, environnement) sont générés par l'agent, tandis que les interfaces existantes de contrôle du corps entier, de cinématique inverse et de main dextre exécutent les programmes. Sur 33 premières approbations horodatées, le temps médian d'un tour d'agent est de 97,0 minutes et la durée entre demande et approbation de 2,80 heures. Une compétence de mise à la poubelle de bouteille, longue et préparée en simulation par variation de l'agencement et des objets, a été exécutée en continu pendant 101,75 secondes sur un robot G1 dans un bureau scanné. Le raffinement physique réduit de 76,0 % le résidu de filetage lors d'un vissage. Les compétences générées supervisent aussi une distillation BC/DAgger vers une politique de référence unique, qui accomplit 18 tâches simulées avec le même checkpoint, sans intervention d'expert à l'inférence. L'intérêt tient au déplacement du goulot d'étranglement. La plupart des approches actuelles de locomanipulation humanoïde reposent sur la téléopération ou la collecte de démonstrations robot, coûteuses et difficiles à étendre. MOTIO suggère qu'on peut remplacer une partie de ce travail par du raisonnement d'agent sur des vidéos humaines ordinaires, avec un humain qui valide plutôt qu'il ne démontre. Un délai moyen de quelques heures par compétence approuvée est un ordre de grandeur pertinent pour un intégrateur qui doit programmer de nombreuses tâches. Il faut cependant relativiser : la validation humaine reste dans la boucle, les 33 approbations ne disent rien du taux d'échec ni du nombre d'itérations, et une seule exécution longue de 101,75 secondes sur G1 ne démontre ni fiabilité ni généralisation. Les 18 tâches de la politique distillée sont uniquement simulées, ce qui laisse entière la question du transfert au réel. Ce travail s'inscrit dans le courant qui tente de lever la dépendance aux données robot, entre politiques vision-langage-action (VLA) entraînées sur de grands volumes de téléopération, apprentissage à partir de vidéos humaines et pipelines de simulation vers réel. La plateforme G1 d'Unitree, bon marché et très répandue en recherche, sert de support de validation, ce qui facilite la reproduction mais ne dit rien de la tenue sur des humanoïdes industriels. Il s'agit d'un résultat académique, sans produit ni pilote annoncé. La suite logique serait de publier des taux de réussite sur répétitions, de mesurer l'effort de validation humaine et de confronter la méthode à des tâches réelles variées. Une page projet accompagne le preprint.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de compétences réactives de football par vision pour robots humanoïdes

Une équipe de recherche présente, dans une version mise à jour d'un preprint arXiv (2511.03996v2), un contrôleur basé sur l'apprentissage par renforcement qui permet à des robots humanoïdes d'acquérir des réflexes de football pilotés par la vision, en couplant directement perception visuelle et contrôle locomoteur plutôt que de séparer les deux étapes dans un pipeline modulaire. Entraîné en simulation avec des "adversarial motion priors" pour produire des mouvements naturels, le système repose sur une architecture encodeur-décodeur et un module de perception virtuelle reproduisant le bruit et les échecs de détection d'une caméra embarquée. Le robot exécute ainsi, avec la seule vision embarquée, la recherche du ballon, sa poursuite et des frappes multidirectionnelles. Face à une méthode de référence basée sur des règles fixes, l'erreur d'estimation de la position du ballon chute de 46%, le temps avant frappe diminue jusqu'à 64%, et le taux de réussite atteint environ 90% en zone offensive, testé lors de compétitions RoboCup réelles. Ce résultat contredit une pratique répandue en robotique humanoïde, qui consiste à séparer perception et contrôle ou à supposer une détection quasi parfaite. En intégrant l'incertitude visuelle directement dans l'apprentissage de la politique, les auteurs montrent qu'un contrôleur de bout en bout peut rester réactif malgré un bruit de détection réaliste, fréquent dès la sortie du laboratoire. Pour les équipes travaillant sur des humanoïdes destinés à des environnements dynamiques, au-delà du seul football, cette boucle fermée perception-contrôle suggère une piste généralisable à des tâches de manipulation ou de navigation exigeant une adaptation continue sous perception dégradée, un enjeu clé pour combler l'écart entre simulation et conditions réelles. Il s'agit d'une contribution académique publiée sur arXiv en version révisée, non d'une annonce de produit commercial: aucune entreprise ni modèle de robot n'est nommé, la validation s'appuyant sur une plateforme générique testée dans le cadre de la RoboCup Humanoid League, compétition où plusieurs équipes universitaires confrontent depuis des années leurs algorithmes de locomotion et de perception. Aucun acteur français ou européen n'apparaît dans cette publication. Les auteurs n'annoncent ni calendrier de déploiement industriel ni partenariat, se limitant à évoquer la poursuite des tests en conditions de compétition réelle.

RecherchePaper

1 source

4arXiv cs.RO

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain

Des chercheurs publient EgoHumanoid-V2 (arXiv 2609.37181), un cadre de transfert de compétences d'un humain vers un robot humanoïde à partir de vidéos égocentriques, c'est-à-dire filmées depuis le point de vue de l'opérateur. Il vise la loco-manipulation coordonnée du corps entier, où la marche et l'usage des bras sont planifiés ensemble. Son cœur est un alignement d'actions « du grossier au fin ». Une première étape corrige la référence cinématique. Une seconde affine le résultat en tenant compte de la dynamique, ce qui améliore la précision de pose de l'effecteur final tout en préservant la coordination corps entier. Pour réduire l'écart visuel entre l'humain et le robot, l'équipe ajoute un rendu du bras robotique dans les images humaines, ainsi qu'une augmentation d'images à l'entraînement pour gagner en robustesse au changement de point de vue. Sur quatre tâches réelles, des politiques VLA (vision-langage-action) entraînées sur ces données humaines alignées réalisent un transfert « zéro-shot », sans aucune démonstration robot sur la tâche cible. Les scores sont annoncés comme comparables à ceux de politiques entraînées par téléopération, pour un coût de collecte plus faible. Le résumé ne donne ni le robot utilisé, ni le nombre de démonstrations, ni le coût chiffré. L'enjeu est d'abord économique. La téléopération reste le principal goulot d'étranglement des politiques humanoïdes : elle exige des robots, des opérateurs formés et du temps machine, et ses volumes plafonnent bien en dessous de ce que réclame un modèle généraliste. Filmer des humains est bien moins cher et couvre une diversité de scènes que aucun parc de robots ne peut reproduire. Si le résultat se confirme, il indique que la donnée humaine peut servir de supervision directe de compétences, et non plus seulement de préentraînement de la perception. Pour un intégrateur, cela ouvrirait la voie à des compétences apprises sur site sans mobiliser de robot. Il faut toutefois rester prudent : quatre tâches, une comparaison « comparable » sans écart chiffré dans le résumé, et un article en version préliminaire (v1) qui n'a pas passé de relecture par les pairs. Rien ne dit non plus que ces scores tiennent hors du laboratoire, sur des cadences industrielles. Ce travail prolonge une première génération de méthodes égocentriques qui misait surtout sur la généralisation de scènes, avec un contrôle découplé entre locomotion et manipulation, ce qui laissait de côté les compétences corps entier coordonnées. Il s'inscrit dans une course plus large à la donnée humaine : les grands acteurs des modèles fondation humanoïdes, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0, cherchent tous à réduire leur dépendance à la téléopération, par la simulation, la vidéo humaine ou les deux. Aucun déploiement ni calendrier commercial n'est annoncé ici, il s'agit d'une contribution de recherche. La suite logique serait un test sur davantage de tâches et de morphologies, avec des comparaisons chiffrées de coût et de performance face à la téléopération.

RecherchePaper

1 source