RecherchearXiv cs.RO 5 novembre 2026

Mouvement humanoïde perceptif appris en simulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Apple a publié sur arXiv (2611.06908) HALO, un système d'autonomie pour humanoïdes entraîné exclusivement en simulation. Le pipeline synthétise des données vision-langage-mouvement dans mille maisons générées de façon procédurale. Le corpus croît donc avec la puissance de calcul et non avec le travail humain. HALO apprend un répertoire de compétences : s'asseoir sur une chaise, naviguer vers un objet nommé, passer latéralement une porte entrouverte, s'accroupir et ramper sous une table, pousser des cartons. Un niveau d'orchestration les enchaîne pour des tâches composites de longue durée. Sans avoir vu un seul foyer réel pendant l'entraînement, le système affiche 91 % de réussite sur 360 essais, répartis dans six environnements réels non cartographiés, en transfert zéro-shot. Du code et des vidéos sont annoncés sur le site du projet. Il s'agit d'un travail de recherche, pas d'un produit, et le résumé ne précise ni la plateforme humanoïde utilisée, ni le nombre de degrés de liberté, ni les critères exacts de succès.

L'enjeu porte sur le goulot d'étranglement des données, principal frein à l'autonomie généraliste des humanoïdes. Associer pixels et langage libre à des commandes articulaires bas niveau exige une supervision appariée qui n'existe pas à grande échelle. La téléopération et les dispositifs de capture portés coûtent au minimum une heure humaine par heure de données. Si le résultat se confirme, HALO soutient l'idée qu'une chaîne simulation vers réel peut produire des comportements perceptifs, c'est-à-dire pilotés par la vision, sur des tâches impliquant le corps entier et des contacts avec l'environnement, et pas seulement de la locomotion aveugle. Pour un intégrateur ou un décideur industriel, cela déplace le coût de la donnée vers le calcul, une ressource qui se mutualise mieux. Les réserves habituelles s'appliquent : 360 essais dans six lieux restent un échantillon restreint, les environnements sont des domiciles et non des sites industriels, et rien n'indique la robustesse sur des objets ou des configurations hors distribution.

Ce travail s'inscrit dans une compétition où plusieurs approches de données coexistent. Des acteurs comme Figure (Helix), Physical Intelligence (Pi-0) ou NVIDIA (GR00T) misent largement sur la téléopération, les démonstrations humaines et les modèles vision-langage-action, avec des mélanges variables de simulation. Apple, discrète sur la robotique incarnée jusqu'ici, signale par cette publication une position de recherche sur la génération synthétique de données à grande échelle. Les suites à surveiller sont la publication effective du code, la reproductibilité par des tiers, et un éventuel test sur d'autres morphologies ou sur des tâches de manipulation plus fines. Aucun calendrier de déploiement ni pilote commercial n'est annoncé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

PGMT : suivi de mouvement général perceptif pour robots humanoïdes

Un article arXiv mis à jour (2609.08511v2) présente PGMT, Perceptive General Motion Tracking, une méthode qui permet à un robot humanoïde d'adapter ses mouvements au terrain plutôt que de suivre une trajectoire de référence pensée pour un sol plat. Le système apprend d'abord un socle générique de suivi de mouvement et de récupération, puis ajoute une perception du sol via des aperçus de terrain conditionnés par le mouvement en cours, complétés par un relâchement du suivi qui autorise des écarts de trajectoire sans perdre l'intention du geste. Testé en zero-shot sur un robot Unitree G1, sans réentraînement spécifique, PGMT assure une locomotion stable sur des obstacles réels atteignant 37 cm de hauteur, tout en gérant dans une seule politique téléopération, suivi de mouvements dynamiques et récupération après chute. L'enjeu dépasse la prouesse technique : la plupart des démonstrations de motion tracking humanoïde reposent sur un sol plat et prévisible, un terrain "agnostique" qui devient physiquement infaisable dès que le sol se complique, marches, gravats ou dénivelés. En montrant qu'une politique unique gère locomotion adaptative, mouvements complexes et récupération de chute sans contrôleurs séparés par terrain, PGMT s'attaque à l'écart entre démonstrations scénarisées et usage réel, un point sensible pour les intégrateurs visant un déploiement en entrepôt, en usine ou sur chantier. Obtenu par apprentissage par renforcement plutôt que par un modèle vision-langage-action massif, ce résultat rappelle que plusieurs voies techniques coexistent encore pour franchir l'écart simulation-réel. PGMT prolonge des travaux de suivi de mouvement humanoïde qui supposaient jusqu'ici un sol plat pour transférer capture de mouvement, vidéos ou téléopération vers un robot physique. Le choix du Unitree G1, plateforme très utilisée en recherche académique pour son coût maîtrisé, situe ces travaux dans un cadre scientifique plutôt que commercial : c'est une démonstration de laboratoire, sans pilote industriel ni calendrier de déploiement annoncé. Les auteurs présentent PGMT comme une politique unifiée généralisable au-delà du sol plat, documentée sur une page de projet dédiée, ouvrant la voie à une intégration future dans des piles de contrôle humanoïdes plus larges.

RecherchePaper

1 source

2arXiv cs.RO

La randomisation des délais élargit la marge de délai des suiveurs de mouvement humanoïdes appris

Des chercheurs montrent qu'un simple contrôle en simulation ne suffit pas à valider la tolérance au retard de commande d'un contrôleur de robot humanoïde. Ils ont entraîné des politiques de suivi de mouvement pour un humanoïde à 24 articulations, sur cinq mouvements extraits de vidéos monoculaires, puis les ont testées dans un banc MuJoCo CPU indépendant, préalablement validé contre le modèle d'entraînement. Sous la randomisation d'entraînement habituelle, chaque politique réussit son mouvement dans au moins 26 épisodes sur 30. Avec 40 ms de retard de commande constant, le taux de survie tombe pourtant à 15 % en moyenne (de 0 % à 45 % selon les mouvements), et la marge de retard n'est que de 20 à 30 ms. En randomisant le retard à l'entraînement (0 à 50 ms), la survie à 40 ms remonte à 95 % en moyenne (75 % à 100 %) et la marge passe à 50 à 70 ms. Le résultat tient pour les cinq mouvements, avec trois graines d'entraînement chacun, et une politique entraînée sous PhysX se comporte de la même façon. Le coût est un suivi un peu moins précis (0,02 à 0,06 rad sur quatre mouvements) et, pour le mouvement le plus dynamique, une moindre robustesse à d'autres perturbations. Pour les équipes qui déploient des humanoïdes, le message est concret : une politique qui passe haut la main une validation croisée entre simulateurs peut s'effondrer dès que la latence réelle de la chaîne commande-actionneur dépasse 20 à 30 ms, ce qui est courant sur du matériel réel. Le groupe a aussi mis en évidence un contrôle de contrôle : le premier écart sim-to-sim observé venait du banc de test (un sol manquant et un pas de temps erroné), pas des moteurs physiques. Un test croisé mal construit peut donc produire de faux diagnostics dans les deux sens. Un groupe de contrôle entraîné pour le même nombre d'itérations supplémentaires sans retard ne progresse pas, ce qui isole l'effet de la randomisation elle-même. Les auteurs plaident pour que la marge de retard soit rapportée comme métrique sim-to-sim standard. Les limites sont celles d'une étude de simulation : aucun essai sur robot physique n'est annoncé, et seuls cinq mouvements sont couverts. Ce travail s'inscrit dans l'essor des contrôleurs appris de suivi de mouvement humanoïde, entraînés sur des données issues de vidéo, qui alimentent la course industrielle autour de la locomotion et de la manipulation. Les plages de retard de 0 à 20 ms, courantes dans l'entraînement de locomotion, se situent à l'intérieur de la marge qu'un suiveur non randomisé possède déjà, ce qui explique pourquoi elles apportent peu. Le bénéfice apparaît en randomisant au-delà de cette marge. Les auteurs recommandent donc de fixer la plage à partir de la latence mesurée du robot. La suite logique est une validation sur matériel et sur davantage de plateformes et de mouvements.

RecherchePaper

1 source

3arXiv cs.RO

Pilotage du mouvement au moment du test pour la récupération perceptive de chute des robots humanoïdes

Des chercheurs présentent RISE, une méthode de récupération après chute pour humanoïdes qui permet d'orienter, au moment de l'inférence, la façon dont le robot se relève. L'idée de départ est qu'une même posture au sol admet plusieurs façons de se redresser, qui diffèrent par la trajectoire, les transitions d'appui et le cap final. Une récupération fiable ne dit pas laquelle de ces options le robot exécute. RISE apprend d'abord un « vocabulaire de récupération », c'est-à-dire un ensemble de mouvements partagés reliant l'intention de mouvement aux actions moteurs via le retour sensoriel. Un planificateur visuel à diffusion s'entraîne ensuite sur des exécutions de ce vocabulaire. Il prédit l'intention de mouvement sous forme d'états futurs du corps, puis génère des latents de mouvement conditionnés par cette intention. Les résultats sont des simulations de récupérations variées et d'adaptation au terrain, complétées par des démonstrations réelles sur un Unitree G1. L'article, déposé sur arXiv (2610.30061), ne chiffre pas dans son résumé les taux de réussite ni les temps de relevé. L'intérêt tient à la distinction entre récupérer et choisir comment récupérer. Dans un entrepôt, un atelier encombré ou près d'un équipement, se relever n'importe comment peut bloquer un passage, heurter un obstacle ou laisser le robot orienté dans la mauvaise direction. Ici, des coûts de tâche (cap voulu, vitesse de relevé, chemin) guident la prédiction sans réentraînement, ce qui limite le coût d'adaptation pour un intégrateur qui voudrait ajuster le comportement à un site. Il faut toutefois rester prudent. Il s'agit d'un préprint, la validation quantitative la plus large est faite en simulation, et la partie réelle se limite à des démonstrations sur un seul robot, sans indication de robustesse sur des chutes variées, des sols dégradés ou des cycles répétés. Le fossé entre simulation et réel, et entre démonstration et déploiement, reste donc ouvert. Ce travail s'inscrit dans la montée des politiques de récupération apprises pour humanoïdes, qui ont d'abord visé la fiabilité du relevé depuis des postures arbitraires, souvent en aveugle ou avec des primitives fixes. RISE ajoute la perception visuelle et un contrôle explicite de l'intention, en s'appuyant sur les modèles de diffusion déjà répandus en planification robotique. Le Unitree G1 est devenu une plateforme de recherche courante grâce à son coût relativement bas, ce qui facilite la comparaison avec d'autres travaux. Les prochaines étapes naturelles seraient des évaluations chiffrées face aux méthodes existantes, des essais sur d'autres morphologies et une intégration avec des politiques de manipulation ou de navigation de plus haut niveau. Aucun calendrier de pilote ou de commercialisation n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

FetchMan : politiques de loco-manipulation humanoïde visuelle apprises par simulation

Une équipe de chercheurs publie sur arXiv (2608.17027v1, août 2026) FetchMan, un système d'apprentissage de politiques de loco-manipulation humanoïde entraîné entièrement en simulation avant transfert vers le réel. Le pipeline combine plus de 150 000 scènes simulées, un clonage comportemental initial suivi d'un affinage par apprentissage par renforcement via une méthode appelée Flow-GRPO, appliquée sur une récompense unique et éparse. Les chercheurs déploient la politique en zero-shot, sans aucune donnée réelle, sur un robot humanoïde Unitree G1 : la tâche consiste à marcher vers un objet cible puis à le saisir dans des scènes jamais vues à l'entraînement, avec un taux de réussite de 73,3% sur des scénarios à objet unique. L'équipe publie également FetchMan-Bench, un benchmark de simulation destiné à évaluer ce type de politiques, et présente une première extension vers l'entraînement multi-objets. Le résultat le plus significatif pour le secteur n'est pas le taux de succès en lui-même, mais le constat méthodologique : le clonage de démonstrations synthétiques, quelle que soit la quantité de données injectée, plafonne à des performances limitées et ne peut être compensé par plus de volume. Seul l'ajout d'apprentissage par renforcement permet de dépasser ce plafond. Cette observation nuance l'hypothèse largement répandue chez les fournisseurs de politiques génératives type VLA (vision-langage-action) selon laquelle la mise à l'échelle des données de démonstration suffit à elle seule à améliorer la généralisation. Pour les intégrateurs et décideurs qui évaluent des piles logicielles pour humanoïdes, cela suggère qu'une phase de fine-tuning par renforcement en simulation, et non uniquement plus de données d'imitation, reste nécessaire pour atteindre une manipulation robuste face à des scènes inédites. Le sim-to-real est déjà la norme pour la locomotion humanoïde, mais son extension à la manipulation mobile combinant marche, équilibre et préhension restait un point de friction, faute de données réelles suffisantes pour ces séquences complexes. FetchMan s'inscrit dans un paysage concurrentiel où plusieurs laboratoires développent des politiques génératives concurrentes, dont Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, généralement entraînées avec des volumes massifs de démonstrations réelles ou synthétiques. En choisissant le Unitree G1 comme plateforme de test et en publiant son benchmark, l'équipe pose une première étape vers des politiques généralistes de loco-manipulation capables de gérer plusieurs objets, avec pour prochaine étape annoncée l'élargissement de l'entraînement multi-objets à plus grande échelle.

RecherchePaper

1 source