Aller au contenu principal
TaskNPoint : apprendre à un humanoïde à frapper un revers en quelques minutes
IA physiquearXiv cs.RO 

TaskNPoint : apprendre à un humanoïde à frapper un revers en quelques minutes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (juin 2026) TaskNPoint, un protocole d'entraînement qui enseigne des compétences dynamiques à un humanoïde à partir d'une seule démonstration humaine par compétence, avec moins d'une heure de calcul sur un seul GPU standard. Le système repose sur quatre entrées fournies par un coach humain : un ensemble discret de compétences à acquérir, une démonstration vidéo par compétence, l'identification d'une "fenêtre d'interaction" critique (les ~20 cm de déplacement de raquette autour du contact balle-raquette, par exemple) et l'objectif cible. L'apprentissage par renforcement en simulation physique prend le relais pour générer les trajectoires complètes et, via un échantillonnage aléatoire des positions cibles pendant l'entraînement, assure une généralisation zero-shot à des objectifs inédits. L'approche est validée sur un humanoïde Unitree G1 : coups droits et revers face à des balles lancées par un humain, tirs de football et pick-and-place de cartons depuis des positions arbitraires, sans ajustement manuel de fonction de récompense.

L'enjeu est la scalabilité de l'apprentissage sur des compétences dynamiques, où les méthodes actuelles butent soit sur le volume de démonstrations requis, soit sur le coût du reward engineering. TaskNPoint réduit les deux à presque rien : une seule démo par compétence suffit, sans réglage de récompense par tâche. L'argument structurel est que le résultat d'un mouvement dynamique est déterminé par un court segment de la trajectoire, la fenêtre d'interaction critique, et non par sa totalité ; calibrer ce segment en coordination avec la physique du robot et son architecture mécanique permet de généraliser le reste automatiquement. C'est un argument direct contre la thèse selon laquelle les humanoïdes nécessitent des milliers d'heures de données pour performer sur des gestes non triviaux. Il s'agit toutefois d'un preprint arXiv, testé en conditions contrôlées ; la robustesse en milieu industriel non scénarisé reste à établir.

Le Unitree G1, humanoïde chinois vendu autour de 16 000 dollars, s'est imposé depuis 2024 comme la plateforme de recherche ouverte de référence, alternative accessible aux Boston Dynamics Atlas et Agility Digit. TaskNPoint s'inscrit dans un courant cherchant à réconcilier imitation et renforcement simulé, face aux diffusion policies de Physical Intelligence (Pi-0) ou aux politiques visuomotrices universelles de type VLA. Son positionnement distinctif est la parcimonie en données d'entrée, une démo par compétence là où d'autres méthodes en exigent des centaines, avec un coût de calcul suffisamment bas pour être accessible à des équipes sans infrastructure GPU lourde. Aucun pilote industriel ni partenariat de déploiement n'est annoncé avec cette publication.

À lire aussi

HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées
1arXiv cs.RO 

HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées

Des chercheurs ont publié le 27 mai 2026 sur arXiv (2605.24934) HumanEgo, un framework permettant d'entraîner un robot à manipuler des objets en lui montrant uniquement des vidéos egocentrées filmées par un humain, sans aucune donnée robot, sans télé-opération, et sans recollecte hardware. Avec seulement 30 minutes de vidéos humaines par tâche, le système atteint 92,5 % de taux de succès moyen sur quatre tâches de manipulation en conditions réelles. Avec 15 minutes de vidéos, ce score descend à 75 %, ce qui reste compétitif. Comparé à une collecte de données robot par télé-opération sur le même budget temps, HumanEgo surpasse cette baseline de 41 points de pourcentage. Le transfert est dit zero-shot : une politique entraînée sur des vidéos humaines s'exécute directement sur des robots, caméras et environnements non vus pendant l'entraînement. L'enjeu central que HumanEgo adresse est le "embodiment gap" : la différence d'apparence visuelle et de cinématique entre une main humaine et un effecteur robot rend l'imitation directe peu fiable. Le framework contourne ce problème en extrayant une représentation intermédiaire dite "entity-level" des interactions main-objet, puis en entraînant une politique par flow matching enrichie d'objectifs auxiliaires denses qui exploitent chaque frame de chaque trajectoire. Cela signifie que la collecte de données peut être confiée à n'importe quel humain avec une caméra egocentric (type GoPro ou lunettes), réduisant drastiquement le coût et le temps de déploiement dans un contexte industriel ou logistique. Pour les intégrateurs robotiques, c'est un levier potentiel majeur : les goulots d'étranglement liés à la télé-opération spécialisée ou aux bras de démo pourraient être contournés. HumanEgo s'inscrit dans un corpus de travaux récents cherchant à exploiter des données "in the wild" pour généraliser les politiques robot, aux côtés d'approches comme ACT, Diffusion Policy, ou pi-0 de Physical Intelligence. Contrairement à ces dernières, qui restent dépendantes de données robot, HumanEgo pousse plus loin la séparation entre collecte humaine et exécution robot. Le paper ne mentionne pas de partenaires industriels ni de timeline de déploiement commercial ; il s'agit d'une publication académique. Les prochaines questions ouvertes sont la robustesse sur des tâches à plus haute complexité gestuelle et la scalabilité au-delà de quatre tâches contrôlées.

UEImpact indirect : les intégrateurs robotiques européens pourraient bénéficier d'une réduction drastique des coûts de collecte de données si le framework est libéré en open-source, sans acteur EU impliqué à ce stade.

IA physiqueOpinion
1 source
Vidéo : un robot humanoïde apprend à combattre et à s'entraîner de façon autonome, sans contrôle humain
2Interesting Engineering 

Vidéo : un robot humanoïde apprend à combattre et à s'entraîner de façon autonome, sans contrôle humain

Unitree Robotics a publié une vidéo montrant son robot humanoïde G1 combattre en sparring, sans télécommande, face à un partenaire humain. Le système repose sur un nouveau modèle d'IA baptisé UnifoLM-X2-1.0, qui remplace le pilotage classique via casque VR ou manette par une architecture de perception-action prédictive : elle traite en continu l'environnement, anticipe l'évolution probable de la scène et du geste de l'adversaire, puis planifie les mouvements du robot avant leur exécution. Dans la vidéo, le G1 ajuste sa garde et son jeu de jambes, esquive des coups entrants et enchaîne poings et pieds en temps réel. Des visualisations superposées montrent les prédictions de trajectoires futures intégrées au planning moteur. Unitree présente UnifoLM-X2-1.0 comme un modèle "monde-action" conçu pour réduire le délai entre perception, décision et action physique lors d'interactions très dynamiques. Un détail technique tempère toutefois l'annonce : les journaux de la console affichent des commandes comme OBS/replan et env.step, ce qui suggère que les données des capteurs sont envoyées à un ordinateur externe exécutant le modèle, qui renvoie ensuite les instructions de mouvement au robot. Le calcul embarqué complet n'est donc pas encore acquis. Cette démonstration marque une étape dans le passage des humanoïdes du télépilotage vers une autonomie de décision réelle, un enjeu suivi de près par les intégrateurs et décideurs industriels qui veulent des robots capables de réagir à des environnements physiques changeants sans opérateur. Le combat sert ici de banc d'essai extrême pour l'IA physique : si un robot peut prédire les mouvements d'un adversaire, garder son équilibre et répondre à des contacts imprévus en une fraction de seconde, la même architecture pourrait, selon Unitree, sécuriser des tâches en environnement industriel complexe où collisions et imprévus sont fréquents. Mais la dépendance apparente à un calcul déporté relativise la promesse d'autonomie totale et rappelle l'écart persistant entre démonstration filmée et déploiement en conditions réelles, un travers récurrent du secteur humanoïde. UnifoLM-X2-1.0 s'inscrit dans la famille de modèles fondation qu'Unitree développe depuis ses premiers systèmes dédiés à la manipulation en usine, désormais élargis vers des architectures multimodales combinant perception, prédiction du monde et action. La démonstration positionne Unitree face aux autres approches VLA du secteur, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, toutes engagées dans la course à des modèles généralistes capables de contrôler un corps humanoïde sans scripts figés. Aucune date de déploiement commercial ni de pilote industriel n'a été communiquée à ce stade ; la vidéo reste une démonstration de capacité technologique, destinée à illustrer la trajectoire de recherche d'Unitree plutôt qu'un produit prêt à l'emploi.

IA physiqueActu
1 source
Apprendre au-delà de ce que l'humain peut démontrer
3arXiv cs.RO 

Apprendre au-delà de ce que l'humain peut démontrer

Des chercheurs ont publié en septembre 2026 sur arXiv (2609.24996) un article présentant GLIDE (Guardrails for Learning from Infeasible Demonstrations Efficiently), un framework destiné aux tâches de manipulation robotique où le clonage comportemental classique échoue faute de démonstrations humaines exploitables. Le constat de départ est que certaines tâches exigeant une stabilité dynamique, un timing de contact précis ou une coordination dextre sont difficiles, voire impossibles, à téléopérer correctement par un opérateur humain. GLIDE prend en entrée une description de la tâche et le code de téléopération associé, puis génère automatiquement des garde-fous qui filtrent les commandes de téléopération et de politique en fonction de l'état du système, contraignent les actions à risque d'échec, et s'améliorent de façon itérative à partir du retour des trajectoires collectées. Testé sur trois tâches (transfert d'une assiette de tomates, prise et pose d'un marqueur, service de vin), le framework fait passer le taux de succès de la collecte de données de 0 à 10% jusqu'à 70 à 90% après raffinement. Les politiques entraînées sur des données mixtes atteignent ensuite 70%, 60% et 60% de réussite sur ces trois tâches respectivement. Ce résultat s'attaque à un goulot d'étranglement connu de l'apprentissage par imitation en robotique : la qualité et la faisabilité des démonstrations humaines plafonnent la performance des politiques, quel que soit le volume de données collecté. Pour les équipes qui entraînent des modèles VLA sur des données de téléopération, GLIDE suggère qu'il est possible d'étendre le périmètre des tâches automatisables au-delà de ce qu'un humain peut physiquement démontrer, en injectant une connaissance structurée des modes d'échec dans le pipeline de collecte plutôt que dans la seule politique finale. Fait notable, les garde-fous générés automatiquement dépassent en efficacité ceux écrits à la main par des experts du domaine, ce qui suggère qu'une partie de l'ingénierie de contrainte comportementale, jusqu'ici artisanale, peut être partiellement automatisée et affinée par itération. GLIDE s'inscrit dans la lignée des travaux sur l'apprentissage par imitation pour la manipulation dextre, où la téléopération en réalité virtuelle sert de méthode de référence malgré ses limites pour les tâches dynamiques. Les auteurs comparent explicitement leur approche à deux références, la téléopération VR sans contrainte et les garde-fous codés en dur par des experts, GLIDE surpassant les deux. Le projet est documenté sur un site dédié (guardrail-policy.github.io), mais l'article ne précise ni les auteurs, ni leur affiliation, ni de calendrier de déploiement au-delà de la validation sur ces trois tâches. Il s'agit à ce stade d'une contribution de recherche publiée en preprint, sans annonce de produit ni de partenariat industriel.

IA physiquePaper
1 source
Locomotion humanoïde de bout en bout apprise à partir de pixels bruts
4arXiv cs.RO 

Locomotion humanoïde de bout en bout apprise à partir de pixels bruts

Une équipe de recherche a publié sur arXiv (réf. 2602.06382v2) un framework end-to-end permettant à un robot humanoïde de naviguer sur terrain varié en s'appuyant uniquement sur des images brutes de caméras stéréo de profondeur, sans carte de terrain préchargée à l'inférence. Le système s'articule autour de deux contributions distinctes. La première est une simulation haute-fidélité du capteur stéréo qui reproduit les artefacts de matching et les incertitudes de calibration réels, comblant le fossé entre l'entraînement simulé et le déploiement physique. La seconde est une approche de distillation comportementale tenant compte de la vision : une politique enseignante, entraînée sur des cartes de hauteur parfaites ("privileged height maps"), transfère ses connaissances à une politique étudiante ne recevant que des observations de profondeur bruitées, via un alignement dans l'espace latent et des tâches auxiliaires invariantes au bruit. Pour la gestion multi-terrain, une architecture multi-critic et multi-discriminator attribue des réseaux dédiés à chaque type de surface. La méthode a été validée sur deux plateformes humanoïdes équipées de caméras stéréo différentes, couvrant des défis tels que plateformes surélevées, larges brèches et traversée bidirectionnelle de longs escaliers. Ce travail s'attaque à un verrou majeur : la quasi-totalité des politiques de locomotion par reinforcement learning contournait jusqu'ici la perception visuelle en utilisant des cartes de terrain parfaites en simulation, inexistantes sur robot réel. En intégrant explicitement les imperfections du capteur dans la boucle d'entraînement, les auteurs montrent qu'un humanoïde peut naviguer en milieu non structuré avec seulement des caméras RGB-D grand public. Pour un intégrateur ou un décideur industriel, cela réduit potentiellement la suite sensorielle nécessaire et évite le recours au LiDAR ou à la cartographie préalable. L'architecture multi-discriminator règle également la friction habituellement observée entre les objectifs conflictuels d'apprentissage sur terrains homogènes et hétérogènes, une limite connue des politiques locomotion généralistes. La locomotion humanoïde basée vision est un champ de bataille actif : Unitree (H1, G1) et Agility Robotics (Digit) privilégient encore largement la proprioception, tandis que Boston Dynamics (Atlas), Figure (Figure 03) et Physical Intelligence (Pi-0) y intègrent progressivement la vision dans leurs pipelines de contrôle. NVIDIA pousse GR00T N2 comme couche commune de synthèse de mouvement simulé. Ce papier de février 2026 s'inscrit dans une vague cherchant à rendre la locomotion bas niveau aussi robuste que les policies VLA (Vision-Language-Action) le sont pour la manipulation. La validation sur deux plateformes différentes constitue un signal positif de généralisation, mais les métriques quantitatives détaillées (taux de succès, vitesse de marche, distance franchissable) ne figurent pas dans le résumé et méritent vérification avant toute décision d'intégration opérationnelle.

IA physiquePaper
1 source