Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Calcul au moment du test pour les modèles fondation de comportement des robots humanoïdes
RecherchearXiv cs.RO 

Calcul au moment du test pour les modèles fondation de comportement des robots humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode, baptisée Test-Time Command Optimization (TTCO), pour réduire l'écart entre les mouvements demandés à un humanoïde et ceux qu'il exécute réellement. Elle s'applique aux Behavior Foundation Models (BFMs), des contrôleurs généralistes de corps entier capables de suivre un large répertoire de mouvements. Ces modèles souffrent d'un « command-exécution gap » systématique : la trajectoire exécutée dévie de la trajectoire commandée. TTCO ne réentraîne pas le BFM. Elle modifie la commande d'entrée par optimisation par échantillonnage, en simulant en boucle fermée le BFM couplé à la dynamique du robot, jusqu'à ce que le mouvement exécuté colle au mouvement visé. Sur trois BFMs et le jeu de données de capture de mouvement AMASS, l'erreur moyenne de position globale du corps baisse de 79 à 84 % en simulation. Les auteurs dérivent aussi une stratégie approximativement optimale pour répartir le calcul, qui continue d'améliorer les résultats quand le budget augmente. Enfin, TTCO peut produire des étiquettes d'action propres à chaque BFM à partir de trajectoires robot enregistrées, sans les commandes de téléopération d'origine. Ces étiquettes servent à entraîner des politiques de loco-manipulation de haut niveau, validées en simulation et sur robot réel, et à réutiliser des démonstrations existantes d'un BFM à l'autre.

L'enjeu est la précision. Les démonstrations de mouvements spectaculaires masquent souvent des erreurs de plusieurs centimètres, rédhibitoires dès qu'il faut saisir, porter ou poser un objet. Ici, le gain vient du calcul au moment du test plutôt que d'un nouvel entraînement, ce qui permet d'améliorer des contrôleurs déjà déployés. La génération d'étiquettes d'action rend aussi les jeux de démonstrations portables entre modèles, un point utile pour les intégrateurs qui changent de plateforme. Il faut toutefois relativiser : le chiffre de 79-84 % porte sur la simulation, le calcul d'optimisation par commande a un coût, et le résumé ne donne ni temps de calcul ni taux de réussite en tâches réelles.

Ce travail s'inscrit dans la montée des modèles de fondation pour humanoïdes, où l'on cherche à transposer aux robots les gains du calcul à l'inférence observés en langage. Il vient compléter les BFMs et les politiques vision-langage-action, qui produisent des commandes de haut niveau sans garantir leur exécution fidèle. La suite logique est la réduction du coût de TTCO, voire son exécution en ligne, et sa démonstration sur des tâches industrielles de manipulation.

Dans nos dossiers

IA physique & VLA

À lire aussi

Modèle fondation à l'échelle pour robots humanoïdes
1arXiv cs.RO 

Modèle fondation à l'échelle pour robots humanoïdes

Une nouvelle publication arXiv (2607.15163v1, soumission de type "new") propose un modèle de fondation comportemental (Behavior Foundation Model, BFM) pour le contrôle de robots humanoïdes, baptisé Humanoid Transformer. Les auteurs affirment avoir identifié la recette manquante pour faire monter en puissance ces modèles, en coordonnant trois leviers : un nouveau paradigme d'apprentissage qui reformule le contrôle humanoïde comme la reproduction de comportements corporels intégrés dans le référentiel global plutôt que local ; un équilibrage stratégique entre le volume de déploiements en ligne (on-policy rollouts) et la diversité des mouvements de référence utilisés à l'entraînement ; et l'architecture Humanoid Transformer elle-même, conçue pour faire émerger naturellement des représentations structurées du comportement. Testée à la fois en simulation et en conditions réelles, l'approche réduit l'erreur moyenne par point clé (Mean Per-Keypoint Position Error, MPKPE) de plus de 10% en mode local et de 82% en mode global par rapport aux contrôleurs humanoïdes existants. Ce travail répond à un flou méthodologique réel du secteur : malgré l'engouement croissant pour les BFM comme brique de base des agents incarnés généralistes, personne n'avait jusqu'ici établi de façon rigoureuse comment coordonner données, architecture et paradigme d'entraînement pour obtenir un gain de performance qui tienne la route au passage à l'échelle. Le saut de 82% en mode global est le chiffre qui compte vraiment pour les intégrateurs : c'est la capacité à maintenir une cohérence corporelle dans le référentiel monde, condition nécessaire pour des tâches où le robot doit coordonner déplacement et manipulation sans dérive, un point faible classique des contrôleurs entraînés uniquement en référentiel local. Si les résultats se confirment à plus grande échelle, ils renforcent l'hypothèse que le contrôle humanoïde généraliste peut suivre une trajectoire de scaling comparable à celle des grands modèles de langage, plutôt que de rester cantonné à des politiques spécialisées par tâche. L'article s'inscrit dans la vague de recherche académique qui a suivi l'essor des politiques vision-langage-action (VLA) et des BFM ces deux dernières années, sans rattacher la méthode à un robot ou un laboratoire commercial précis : il s'agit d'une contribution méthodologique comparée à des "contrôleurs humanoïdes existants" pris comme référence, sans nommer de plateforme physique spécifique. La suite logique serait une validation sur du matériel humanoïde tiers et à plus grande échelle de données, pour confirmer que le gain en mode global se maintient hors du cadre expérimental des auteurs.

RechercheActu
1 source
Modèle fondation de comportement perceptif : adapter les a priori de mouvement humain au terrain robotique
2arXiv cs.RO 

Modèle fondation de comportement perceptif : adapter les a priori de mouvement humain au terrain robotique

Publiée sur arXiv en juin 2026 (2606.08059), l'architecture Perceptive Behavior Foundation Model (Perceptive BFM) s'attaque à une limite structurelle des modèles fondamentaux de comportement humanoïde : l'hypothèse implicite que les mouvements de référence humains sont physiquement compatibles avec l'environnement du robot. En pratique, quand démonstrateur et robot se trouvent dans des contextes différents, la motion capture ne fournit ni les appuis au sol précis, ni les hauteurs de franchissement, ni les timings de contact requis sur terrain accidenté. Perceptive BFM conserve les références cinématiques brutes comme interface comportementale, tout en intégrant une perception locale du terrain pour adapter dynamiquement contacts, posture et timing. La méthode clé est le TCRS (terrain-conformal reference synthesis) : il retransforme des séquences de mouvement humain en références cohérentes avec le sol via construction d'appuis adaptatifs, optimisation des phases de balancement, reconstruction cinématique et réparation de collisions. L'entraînement suit une architecture enseignant-étudiant : un teacher aveugle apprend les comportements conformes au terrain, puis transfère ce savoir à un student déployé sur références brutes. L'apport concret pour les intégrateurs est une séparation nette entre intention comportementale et adaptation terrain, ce qui rend le système scalable sans motion capture annotée sol par sol. Le student, un Transformer tracker à gating d'identité, n'active les corrections terrain que via des voies résiduelles initialisées à ne rien modifier, ce qui préserve la robustesse du prior de mouvement original. C'est une réponse partielle au débat sur le sim-to-real gap en locomotion humanoïde : l'adaptation repose sur la perception locale plutôt que sur une modélisation globale ou une planification externe, ce qui simplifie le déploiement en environnement non structuré. Ce travail s'inscrit dans l'effervescence des behaviour foundation models pour humanoïdes : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, ou les politiques corps entier issues de CMU et Stanford sont autant de points de comparaison directs. La question du fossé entre motion priors humains et locomotion réelle avait été partiellement adressée par les travaux sur l'imitation par RL (PHC, AMP, ASE), mais l'extension à des modèles fondamentaux déployables reste ouverte. L'article ne mentionne ni partenariat industriel ni validation hardware publiée : Perceptive BFM est pour l'instant une contribution de recherche sans déploiement terrain confirmé.

RechercheOpinion
1 source
Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes
3arXiv cs.RO 

Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes

Being-M0.7 est un modèle monde-action latent pour robots humanoïdes, présenté dans un preprint arXiv (2610.11283v1). Il vise la loco-manipulation, c'est-à-dire la coordination de la marche et de la manipulation en anticipant l'évolution de la scène et les mouvements du corps entier. Ses auteurs s'appuient sur un corpus constitué à partir de plus de 10 000 heures de données brutes centrées sur l'humain. Ce corpus mêle trois types de flux: vidéo seule, mouvement seul, et paires vidéo-mouvement. L'entraînement se fait en trois temps. Un pré-entraînement apprend la dynamique visuelle et la structure cinématique du corps entier. Un « mid-training » robot adapte ensuite ce prior aux points de vue et à la dynamique corporelle des robots. Enfin, un post-entraînement d'action greffe un « action expert » qui combine les représentations prédictives du prior figé avec les images courantes et la proprioception, par attention croisée à portes (gated cross-attention), pour produire des commandes corps entier exécutables. Les auteurs annoncent le meilleur taux de succès agrégé parmi les baselines comparées sur le benchmark SIMPLE. Sur des tâches réelles de loco-manipulation avec un Unitree G1, le modèle égale la meilleure baseline sans la dépasser. Le résumé ne donne ni chiffres de succès, ni liste des tâches, ni nombre d'essais. L'intérêt tient à l'attaque d'un goulot d'étranglement connu: les démonstrations robot sont rares et coûteuses, alors que la vidéo et la capture de mouvement humaines abondent. Leur exploitation se heurte à deux obstacles. Beaucoup de jeux de données n'ont qu'une modalité, et le mouvement humain ne se traduit pas directement en actions robot. Prédire conjointement les états visuels latents futurs et le mouvement pousse les représentations visuelles à encoder la cinématique à venir. L'étape intermédiaire robot et l'action expert servent de pont vers l'exécution. Le résultat réel reste nuancé. L'avantage est net en simulation, mais il disparaît sur le matériel: la parité avec la meilleure baseline sur G1 suggère que l'écart simulation-réel n'est pas résolu et que le gain du pré-entraînement sur données humaines reste à démontrer au-delà de benchmarks maîtrisés. Les intégrateurs doivent y voir une piste de recherche prometteuse pour réduire la dépendance à la téléopération, et non une capacité prête pour le déploiement. Il s'agit d'une publication académique, sans produit, sans pilote industriel ni calendrier de commercialisation. Ce travail s'inscrit dans la vague des modèles monde-action et des VLA (vision-langage-action) appliqués aux humanoïdes, où plusieurs acteurs cherchent à exploiter la vidéo humaine à grande échelle. On y trouve des modèles généralistes de type Pi-0, GR00T ou Helix, et des approches qui prédisent le futur visuel pour guider l'action. Le Unitree G1, humanoïde abordable très répandu dans les laboratoires, sert de plateforme de validation commune, ce qui facilite la comparaison entre équipes. La version «0.7» laisse penser à une série de modèles Being, dont les itérations précédentes ne sont pas détaillées ici. Les suites à surveiller sont la publication du code, des poids et des protocoles d'évaluation, ainsi que des tests sur des plateformes plus variées et des tâches plus longues. Une confirmation indépendante sur matériel réel dira si l'avantage observé en simulation se maintient.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Adaptation efficace au moment du test pour les politiques de robots
4arXiv cs.RO 

Adaptation efficace au moment du test pour les politiques de robots

Des chercheurs proposent TEMPO, une méthode d'adaptation au moment du test (test-time adaptation, TTA) pour les politiques de locomotion issues de l'apprentissage par renforcement. Le principe est d'ajuster une politique déjà entraînée pendant son exécution, de manière auto-supervisée et sans accès à la récompense. Le point de départ est une base légère qui ne met à jour que l'acteur et utilise un critique gelé comme indicateur de performance. TEMPO ajoute deux mécanismes. Un régularisateur d'entropie sur la distribution prédictive du critique limite les extrapolations trop confiantes. Une mémoire à score, inspirée du prioritized replay, retient en priorité les observations de faible valeur, jugées difficiles, et les rééchantillonne par importance pour concentrer le calcul limité sur les conditions les plus informatives. Les tests portent sur trois robots (Go1, Go2 et l'humanoïde G1) dans MuJoCo Playground, avec quatre types de décalage et plusieurs architectures. Les gains sont constants et vont jusqu'à 80 % dans un cadre mono-appareil. Une validation physique a été faite sur un Unitree Go2 muni d'une charge au mollet, avec une adaptation entièrement embarquée. Les politiques de locomotion apprises échouent souvent quand le terrain devient glissant ou accidenté, quand la charge change ou que les capteurs se dégradent. Réentraîner ou recalibrer à la main n'est guère possible sur site, et les contraintes de latence et de mémoire embarquée sont réelles. Ces travaux visent donc un manque pratique : corriger une politique sans récompense ni retour en simulation. Il faut toutefois tempérer. Le chiffre de 80 % est un maximum, et l'article ne donne ni la valeur de la charge ni le nombre d'épisodes réels. Le résultat reste un résultat de laboratoire, pas un déploiement. L'adaptation en ligne est un sujet ancien en robotique, entre randomisation de domaine, identification de système en ligne et méta-apprentissage. TEMPO s'en distingue par son coût réduit et son absence de signal de récompense. Les prochaines étapes naturelles seraient des charges plus lourdes, des terrains variés, des mesures de consommation et de latence sur matériel réel, et l'extension aux humanoïdes, que l'étude n'a validée qu'en simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source