Aller au contenu principal
IA physiquearXiv cs.RO2h

TaskNPoint : apprendre à un humanoïde à frapper un revers en quelques minutes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (juin 2026) TaskNPoint, un protocole d'entraînement qui enseigne des compétences dynamiques à un humanoïde à partir d'une seule démonstration humaine par compétence, avec moins d'une heure de calcul sur un seul GPU standard. Le système repose sur quatre entrées fournies par un coach humain : un ensemble discret de compétences à acquérir, une démonstration vidéo par compétence, l'identification d'une "fenêtre d'interaction" critique (les ~20 cm de déplacement de raquette autour du contact balle-raquette, par exemple) et l'objectif cible. L'apprentissage par renforcement en simulation physique prend le relais pour générer les trajectoires complètes et, via un échantillonnage aléatoire des positions cibles pendant l'entraînement, assure une généralisation zero-shot à des objectifs inédits. L'approche est validée sur un humanoïde Unitree G1 : coups droits et revers face à des balles lancées par un humain, tirs de football et pick-and-place de cartons depuis des positions arbitraires, sans ajustement manuel de fonction de récompense.

L'enjeu est la scalabilité de l'apprentissage sur des compétences dynamiques, où les méthodes actuelles butent soit sur le volume de démonstrations requis, soit sur le coût du reward engineering. TaskNPoint réduit les deux à presque rien : une seule démo par compétence suffit, sans réglage de récompense par tâche. L'argument structurel est que le résultat d'un mouvement dynamique est déterminé par un court segment de la trajectoire, la fenêtre d'interaction critique, et non par sa totalité ; calibrer ce segment en coordination avec la physique du robot et son architecture mécanique permet de généraliser le reste automatiquement. C'est un argument direct contre la thèse selon laquelle les humanoïdes nécessitent des milliers d'heures de données pour performer sur des gestes non triviaux. Il s'agit toutefois d'un preprint arXiv, testé en conditions contrôlées ; la robustesse en milieu industriel non scénarisé reste à établir.

Le Unitree G1, humanoïde chinois vendu autour de 16 000 dollars, s'est imposé depuis 2024 comme la plateforme de recherche ouverte de référence, alternative accessible aux Boston Dynamics Atlas et Agility Digit. TaskNPoint s'inscrit dans un courant cherchant à réconcilier imitation et renforcement simulé, face aux diffusion policies de Physical Intelligence (Pi-0) ou aux politiques visuomotrices universelles de type VLA. Son positionnement distinctif est la parcimonie en données d'entrée, une démo par compétence là où d'autres méthodes en exigent des centaines, avec un coût de calcul suffisamment bas pour être accessible à des équipes sans infrastructure GPU lourde. Aucun pilote industriel ni partenariat de déploiement n'est annoncé avec cette publication.

À lire aussi

HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées
1arXiv cs.RO 

HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées

Des chercheurs ont publié le 27 mai 2026 sur arXiv (2605.24934) HumanEgo, un framework permettant d'entraîner un robot à manipuler des objets en lui montrant uniquement des vidéos egocentrées filmées par un humain, sans aucune donnée robot, sans télé-opération, et sans recollecte hardware. Avec seulement 30 minutes de vidéos humaines par tâche, le système atteint 92,5 % de taux de succès moyen sur quatre tâches de manipulation en conditions réelles. Avec 15 minutes de vidéos, ce score descend à 75 %, ce qui reste compétitif. Comparé à une collecte de données robot par télé-opération sur le même budget temps, HumanEgo surpasse cette baseline de 41 points de pourcentage. Le transfert est dit zero-shot : une politique entraînée sur des vidéos humaines s'exécute directement sur des robots, caméras et environnements non vus pendant l'entraînement. L'enjeu central que HumanEgo adresse est le "embodiment gap" : la différence d'apparence visuelle et de cinématique entre une main humaine et un effecteur robot rend l'imitation directe peu fiable. Le framework contourne ce problème en extrayant une représentation intermédiaire dite "entity-level" des interactions main-objet, puis en entraînant une politique par flow matching enrichie d'objectifs auxiliaires denses qui exploitent chaque frame de chaque trajectoire. Cela signifie que la collecte de données peut être confiée à n'importe quel humain avec une caméra egocentric (type GoPro ou lunettes), réduisant drastiquement le coût et le temps de déploiement dans un contexte industriel ou logistique. Pour les intégrateurs robotiques, c'est un levier potentiel majeur : les goulots d'étranglement liés à la télé-opération spécialisée ou aux bras de démo pourraient être contournés. HumanEgo s'inscrit dans un corpus de travaux récents cherchant à exploiter des données "in the wild" pour généraliser les politiques robot, aux côtés d'approches comme ACT, Diffusion Policy, ou pi-0 de Physical Intelligence. Contrairement à ces dernières, qui restent dépendantes de données robot, HumanEgo pousse plus loin la séparation entre collecte humaine et exécution robot. Le paper ne mentionne pas de partenaires industriels ni de timeline de déploiement commercial ; il s'agit d'une publication académique. Les prochaines questions ouvertes sont la robustesse sur des tâches à plus haute complexité gestuelle et la scalabilité au-delà de quatre tâches contrôlées.

UEImpact indirect : les intégrateurs robotiques européens pourraient bénéficier d'une réduction drastique des coûts de collecte de données si le framework est libéré en open-source, sans acteur EU impliqué à ce stade.

IA physiqueOpinion
1 source
Apprendre l'apesanteur : imiter des mouvements non auto-stabilisants sur un robot humanoïde
2arXiv cs.RO 

Apprendre l'apesanteur : imiter des mouvements non auto-stabilisants sur un robot humanoïde

Une équipe de chercheurs propose dans un preprint arXiv (référence 2604.21351, avril 2026) une méthode baptisée Weightlessness Mechanism (WM), conçue pour permettre aux robots humanoïdes d'exécuter des mouvements dits non-autostabilisants (NSS, Non-Self-Stabilizing). Ces mouvements englobent des actions aussi banales que s'asseoir sur une chaise, s'allonger sur un lit ou s'appuyer contre un mur : contrairement à la locomotion bipède classique, le robot ne peut maintenir sa stabilité sans interagir physiquement avec l'environnement. Les expériences ont été menées en simulation et sur le robot humanoïde Unitree G1, sur trois tâches représentatives : s'asseoir sur des chaises de hauteurs variables, s'allonger sur des lits à différentes inclinaisons, et s'appuyer contre des murs via l'épaule ou le coude. La méthode est entraînée sur des démonstrations en action unique, sans fine-tuning spécifique à chaque tâche. L'apport technique central s'appuie sur une observation biomécanique : lors de mouvements NSS, les humains relâchent sélectivement certaines articulations pour laisser le contact passif avec l'environnement assurer la stabilité, un état que les auteurs qualifient de "weightless". Le WM formalise ce mécanisme en déterminant dynamiquement quelles articulations relâcher et dans quelle mesure, complété par une stratégie d'auto-étiquetage automatique de ces états dans les données d'entraînement. Pour les intégrateurs industriels qui déploient des humanoïdes dans des environnements réels, ce verrou est significatif : les pipelines actuels d'imitation learning combiné au reinforcement learning imposent généralement un suivi rigide de trajectoire sans modéliser les interactions physiques avec les surfaces, ce qui les rend inopérants dès que le robot doit s'appuyer sur quelque chose. Le contexte est celui d'un secteur en pleine accélération : Figure AI avec le Figure 03, Agility Robotics avec Digit, Boston Dynamics avec Atlas et 1X Technologies poussent tous leurs humanoïdes vers des déploiements en entrepôt ou en usine, mais les scénarios de contact-riche restent largement non résolus. Le Unitree G1, plateforme commerciale accessible, s'impose progressivement comme banc de test académique standard, ce qui accélère la reproductibilité des résultats. Il faut néanmoins souligner que ce travail est au stade de preprint non évalué par les pairs, et que les séquences vidéo accompagnant ce type de publication sont souvent sélectionnées favorablement : la robustesse réelle en conditions non supervisées reste à démontrer. Les suites naturelles seraient une intégration dans des politiques généralisées comme GR00T N2 de NVIDIA ou pi0 de Physical Intelligence, et une évaluation sur des scènes hors distribution.

IA physiquePaper
1 source
UniT : vers un langage physique unifié pour l'apprentissage de politiques humain-humanoïde et la modélisation du monde
3arXiv cs.RO 

UniT : vers un langage physique unifié pour l'apprentissage de politiques humain-humanoïde et la modélisation du monde

UniT (Unified Latent Action Tokenizer via Visual Anchoring) est un framework de recherche présenté début avril 2026 sur arXiv (2604.19734), conçu pour transférer les politiques de mouvement humain directement vers des robots humanoïdes. Le problème adressé est bien documenté : l'entraînement de modèles fondation pour humanoïdes bute sur la rareté des données robotiques. UniT propose d'exploiter les vastes corpus de données égocentrées humaines existants en construisant un espace latent discret partagé entre les deux types de corps. Le mécanisme central, dit tri-branch cross-reconstruction, fonctionne en trois voies : les actions prédisent la vision pour ancrer les cinématiques aux conséquences physiques, la vision reconstruit les actions pour éliminer les biais visuels non pertinents, et une branche de fusion unifie ces modalités purifiées en tokens d'intention physique indépendants de l'embodiment. Le framework est validé sur deux usages : VLA-UniT pour l'apprentissage de politique (Vision-Language-Action), et WM-UniT pour la modélisation du monde, qui permet la génération de vidéos humanoïdes contrôlées par des données de mouvement humain brutes. Les auteurs revendiquent un transfert zero-shot de tâches et une efficacité données state-of-the-art sur benchmark de simulation et sur des déploiements réels, sans toutefois publier de métriques de déploiement chiffrées. L'enjeu central est le "cross-embodiment gap" : un humain et un robot humanoïde partagent une structure morphologique proche mais des cinématiques incompatibles (nombre de degrés de liberté, ratios de membres, actionneurs). Jusqu'ici, combler cet écart nécessitait du retargeting cinématique manuel, de la téléopération coûteuse ou de la simulation synthétique. Si UniT tient ses promesses, il ouvrirait un pipeline d'entraînement hautement scalable à coût marginal faible, puisque les données égocentrées humaines se comptent en millions d'heures. Le claim de zero-shot transfer est le plus fort de l'article, mais il convient de le nuancer : il s'appuie sur des visualisations t-SNE montrant une convergence des représentations humaine et humanoïde dans un espace partagé, ce qui est indicatif mais pas une preuve de généralisation robuste en conditions industrielles réelles. Ce travail s'inscrit dans une vague de recherche sur les modèles fondation pour humanoïdes qui mobilise simultanément Figure AI avec son modèle Helix, Physical Intelligence avec Pi-0 et Pi-0.5, et NVIDIA avec GR00T N2, tous confrontés au même goulot d'étranglement des données. L'approche par ancrage visuel de UniT se distingue des méthodes purement cinématiques comme les retargeters basés sur des squelettes (SMPLify, HumanMimic) en postulant que les conséquences visuelles du mouvement sont universelles indépendamment du corps. Le preprint ne mentionne pas d'affiliation industrielle explicite ni de calendrier de déploiement commercial, et aucun robot cible (Unitree G1, Fourier GR-1, ou autre) n'est nommé dans le résumé disponible. La prochaine étape logique serait une validation sur des benchmarks standardisés comme LIBERO ou RoboMimic, et une comparaison directe avec GR00T N2 sur des tâches dextres en environnement non contrôlé.

IA physiqueOpinion
1 source
Locomotion humanoïde de bout en bout apprise à partir de pixels bruts
4arXiv cs.RO 

Locomotion humanoïde de bout en bout apprise à partir de pixels bruts

Une équipe de recherche a publié sur arXiv (réf. 2602.06382v2) un framework end-to-end permettant à un robot humanoïde de naviguer sur terrain varié en s'appuyant uniquement sur des images brutes de caméras stéréo de profondeur, sans carte de terrain préchargée à l'inférence. Le système s'articule autour de deux contributions distinctes. La première est une simulation haute-fidélité du capteur stéréo qui reproduit les artefacts de matching et les incertitudes de calibration réels, comblant le fossé entre l'entraînement simulé et le déploiement physique. La seconde est une approche de distillation comportementale tenant compte de la vision : une politique enseignante, entraînée sur des cartes de hauteur parfaites ("privileged height maps"), transfère ses connaissances à une politique étudiante ne recevant que des observations de profondeur bruitées, via un alignement dans l'espace latent et des tâches auxiliaires invariantes au bruit. Pour la gestion multi-terrain, une architecture multi-critic et multi-discriminator attribue des réseaux dédiés à chaque type de surface. La méthode a été validée sur deux plateformes humanoïdes équipées de caméras stéréo différentes, couvrant des défis tels que plateformes surélevées, larges brèches et traversée bidirectionnelle de longs escaliers. Ce travail s'attaque à un verrou majeur : la quasi-totalité des politiques de locomotion par reinforcement learning contournait jusqu'ici la perception visuelle en utilisant des cartes de terrain parfaites en simulation, inexistantes sur robot réel. En intégrant explicitement les imperfections du capteur dans la boucle d'entraînement, les auteurs montrent qu'un humanoïde peut naviguer en milieu non structuré avec seulement des caméras RGB-D grand public. Pour un intégrateur ou un décideur industriel, cela réduit potentiellement la suite sensorielle nécessaire et évite le recours au LiDAR ou à la cartographie préalable. L'architecture multi-discriminator règle également la friction habituellement observée entre les objectifs conflictuels d'apprentissage sur terrains homogènes et hétérogènes, une limite connue des politiques locomotion généralistes. La locomotion humanoïde basée vision est un champ de bataille actif : Unitree (H1, G1) et Agility Robotics (Digit) privilégient encore largement la proprioception, tandis que Boston Dynamics (Atlas), Figure (Figure 03) et Physical Intelligence (Pi-0) y intègrent progressivement la vision dans leurs pipelines de contrôle. NVIDIA pousse GR00T N2 comme couche commune de synthèse de mouvement simulé. Ce papier de février 2026 s'inscrit dans une vague cherchant à rendre la locomotion bas niveau aussi robuste que les policies VLA (Vision-Language-Action) le sont pour la manipulation. La validation sur deux plateformes différentes constitue un signal positif de généralisation, mais les métriques quantitatives détaillées (taux de succès, vitesse de marche, distance franchissable) ne figurent pas dans le résumé et méritent vérification avant toute décision d'intégration opérationnelle.

IA physiquePaper
1 source