RecherchearXiv cs.RO 21 octobre 2026

Planification latente alignée sur l'action pour la loco-manipulation humanoïde polyvalente

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent FIBER, un cadre de planification pour la manipulation locomotrice (loco-manipulation) de robots humanoïdes, décrit dans un preprint arXiv (version 2). L'idée centrale est d'utiliser l'espace latent exécutable d'un modèle de comportement de fondation (BFM) gelé comme représentation commune entre le planificateur haut niveau et le contrôle du corps entier. Une étape de projection de politiques latentes (LPP) fait correspondre des politiques spécialisées, acquises séparément, à cet espace, en identifiant les commandes latentes dont les actions induites reproduisent leurs réponses de contrôle locales. Les rollouts latents en boucle fermée de toutes les compétences sont ensuite agrégés pour entraîner, entièrement hors ligne, un unique planificateur perceptif de type flow. Les auteurs introduisent aussi AH-BFM, un BFM à horizon adaptatif entraîné par apprentissage forward-backward multi-gamma, censé permettre à la fois un contrôle précis et des comportements étendus dans le temps. Les tâches testées sont le ramassage de caisse, l'ouverture de porte et la saisie d'objets, en simulation puis sur un Unitree G1 réel. Sur 128 variations par tâche en simulation, FIBER atteint 42,0 % de succès moyen, contre 11,6 % pour le rejeu latent projeté et 3,5 % pour la planification cinématique.

L'intérêt tient au compromis qu'adresse ce travail. Les cibles cinématiques ou de contact sont compactes mais n'encodent pas les réponses de contrôle propres à chaque interaction. À l'inverse, prédire directement des actions bas niveau oblige le planificateur à modéliser un retour d'état à haute fréquence. Planifier dans un espace latent à fréquence réduite, tout en laissant le BFM gérer le retour d'état rapide, offre une voie vers une politique perceptive unique pour des compétences hétérogènes, un objectif central pour les humanoïdes polyvalents. Le gain est net face à la planification cinématique, mais 42 % de réussite moyenne en simulation reste très loin d'un seuil industriel. Ce résultat montre une approche prometteuse, pas un système fiable. Les essais réels (transfert sim-to-real, enchaînement de compétences, pilotage conditionnel via le même planificateur) sont présentés qualitativement, sans taux de succès chiffrés dans le résumé, et ne couvrent que trois tâches sur une seule plateforme.

Ce travail s'inscrit dans la course aux modèles de contrôle du corps entier et aux politiques généralistes pour humanoïdes, où les approches hiérarchiques, avec un planificateur de haut niveau au-dessus d'un contrôleur bas niveau, rivalisent avec les politiques vision-langage-action de bout en bout. Le Unitree G1, plateforme abordable et très répandue dans les laboratoires, sert de banc d'essai commun. Il s'agit ici de recherche académique, sans calendrier de commercialisation ni pilote industriel annoncé. Les prochaines étapes probables sont l'extension à davantage de compétences et de morphologies, une évaluation réelle chiffrée et des comparaisons directes avec les politiques de bout en bout, qui diront si l'espace latent d'un BFM gelé passe à l'échelle.

Dans nos dossiers

Unitree IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Inversion partielle par recouvrement de croyances : replanification de flux centrée sur l'objet pour la loco-manipulation humanoïde

Des chercheurs décrivent dans un préprint arXiv (2610.13087, octobre 2026) une méthode qui permet à un humanoïde de pousser un chariot dont la masse et la raideur des roulettes pivotantes sont inconnues au départ. L'idée vient des humains, qui poussent un peu un objet inconnu pour voir comment il réagit avant de décider de la suite. Le système referme trois briques en boucle: estimation en ligne des paramètres du chariot, planification par champ de flux centré sur l'objet, et contrôle du corps entier. Cette boucle crée un dilemme. Replanifier à chaque évolution de la croyance perturbe la manoeuvre en cours. Garder le plan laisse le robot sur une trajectoire que les mesures ont déjà invalidée. La méthode, nommée Belief-Overlap Partial Inversion (BOPI), proportionne la révision au désaccord entre l'ancienne et la nouvelle croyance. Elle inverse le flux sous l'ancienne croyance seulement sur la portion où les deux divergent, puis reconstruit la suite du plan sous la nouvelle. Sur 18 buts simulés, l'erreur finale agrégée baisse d'environ 33 % en position et 47 % en lacet (yaw), face à un replanning à profondeur fixe. Sur matériel réel, le robot translate et fait pivoter un chariot non holonome, c'est-à-dire dont les roulettes limitent les mouvements latéraux instantanés. Pour un intégrateur, l'intérêt est pratique. Pousser des chariots, rolls et transpalettes à charge variable est une tâche logistique courante, et la masse réelle comme l'état des roulettes ne sont presque jamais connus à l'avance. Le résultat suggère que la robustesse vient moins d'un modèle plus gros que d'une gestion explicite de l'incertitude: savoir quand abandonner une partie du plan et quand la conserver. Les gains chiffrés viennent surtout de la simulation, sur 18 buts, face à une seule famille de références. La démonstration matérielle reste qualitative dans le résumé, sans taux de réussite, temps de cycle ni plage de masses. On ne peut donc pas parler de fiabilité en conditions d'exploitation. Ce travail s'inscrit dans la course à la loco-manipulation, où les humanoïdes passent de la marche à des tâches de contact avec des objets lourds et déformables. Les approches dominantes misent sur des politiques apprises de bout en bout, de type VLA ou RL en simulation transférée au réel. BOPI relève plutôt de la planification à base de modèle, avec estimation en ligne, et s'attaque à un point faible connu: la cohérence temporelle quand le modèle est révisé en cours d'action. Le résumé ne précise ni la plateforme humanoïde utilisée ni de calendrier de déploiement. L'étape suivante probable est une validation sur des charges et des sols plus variés, puis une comparaison directe avec des politiques apprises sur les mêmes tâches.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

HumanoidMimicGen : génération de données pour la loco-manipulation par planification corps entier

Des chercheurs ont présenté HumanoidMimicGen (arXiv:2605.27724), une méthode de génération automatique de données d'apprentissage par imitation pour robots humanoïdes devant à la fois marcher et manipuler des objets. Le problème central: la téléopération pour collecter ces démonstrations est lente et coûteuse, particulièrement difficile pour des humanoïdes dont l'espace d'action composite intègre bras, jambes et torse simultanément. Le système adapte des compétences corps entier riches en contacts à partir d'un petit nombre de démonstrations sources vers de nouveaux états et configurations d'objets, en combinant planification de la locomotion et de la manipulation à un ou deux bras. Un benchmark de simulation en 9 tâches de loco-manipulation valide l'approche: les politiques visuomotrices co-entraînées avec les données générées surpassent de 20% celles entraînées uniquement sur des données réelles. La rareté des données d'entraînement reste le principal verrou au déploiement des humanoïdes en contexte industriel. Les méthodes existantes de génération de données, conçues pour bras fixes, échouent sur les humanoïdes en raison de la coordination complexe entre locomotion et manipulation dans un espace d'état de haute dimension. HumanoidMimicGen apporte un argument concret: multiplier automatiquement les démonstrations à partir de quelques exemples et gagner 20% sur les politiques apprises conteste directement l'hypothèse que les humanoïdes nécessitent obligatoirement des milliers d'heures de téléopération. Pour les décideurs industriels et les intégrateurs, c'est un signal que le goulot des données pourrait être levé par simulation, compressant potentiellement les cycles de développement. HumanoidMimicGen prolonge directement MimicGen, publié en 2023 pour des bras manipulateurs à base fixe. L'extension aux humanoïdes répond à la pression commerciale entre Figure (modèles 01, 02), Agility Robotics (Digit), 1X, Unitree (G1, H1) et Boston Dynamics (Atlas), tous en quête de méthodes d'apprentissage scalables sans exploser les budgets de téléopération. Du côté recherche, Physical Intelligence (pi0) et NVIDIA (GR00T N2) travaillent également sur des politiques visuomotrices corps entier généralisables. Ce travail demeure un résultat académique pré-publication sur arXiv, sans déploiement industriel annoncé et avec des expériences exclusivement en simulation. La robustesse du transfert sim-to-real, non abordée dans ce papier, constituera l'étape critique avant tout passage en conditions réelles.

RecherchePaper

1 source

3arXiv cs.RO

Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde

Des chercheurs publient Uni-VLaT, une méthode qui greffe un sens du toucher distribué sur tout le corps à des politiques VLA (vision-langage-action) préentraînées pour piloter un humanoïde en loco-manipulation. Le principe est d'ajouter une voie tactile dont l'état latent n'est pas seulement entraîné à produire des actions, mais aussi à prédire les représentations tactiles, proprioceptives et visuelles futures. Ce second objectif construit un contexte multimodal ancré dans le tactile. Les auteurs testent le système sur cinq tâches réelles : locomotion déclenchée par le toucher, interaction physique prolongée, contact avec un humain et loco-manipulation. Le taux de réussite moyen atteint 75 %, soit 43 points de plus qu'une base sans entrée tactile et 7 points de plus qu'une base tactile sans supervision prédictive. Sur deux architectures VLA préentraînées, le balayage de table gagne 30 points sur chacune, et la tâche « Back-Tap Walking » (marcher en réponse à une tape dans le dos) progresse de 85 à 90 points. Les ablations indiquent que la prédiction tactile contextualisée et les cibles futures absolues sont déterminantes. L'enjeu est de combler un angle mort des VLA actuels, qui reposent sur la vision et la proprioception. Quand la zone de contact est masquée, par exemple un bras qui frotte une surface ou une main humaine posée sur le dos, ces deux signaux ne suffisent pas à caractériser l'interaction. Contrairement aux capteurs de force ou de couple placés en quelques points prédéfinis, une peau tactile distribuée conserve la cartographie spatiale du contact sur tout le corps. Le résultat le plus parlant pour un intégrateur est la distinction entre simple ajout d'un capteur et apprentissage prédictif : la modalité brute apporte 36 points sur les 43 gagnés, mais la supervision prédictive rend la fusion plus robuste. Cela suggère que les politiques généralistes peuvent être étendues à de nouvelles modalités sans repartir de zéro, un point utile pour la cobotique humanoïde en contact avec des opérateurs. Les limites sont nettes : cinq tâches seulement, un robot de laboratoire, aucun chiffre sur les temps de cycle, la robustesse à long terme ou la durabilité des capteurs. Ce n'est ni un produit ni un déploiement. Ce travail s'inscrit dans la montée en puissance des modèles VLA pour humanoïdes, dont Pi-0, GR00T ou Helix, pour l'essentiel centrés sur la vision, le langage et la proprioception. Le tactile reste le parent pauvre de ces architectures, freiné par le coût, la fragilité et le câblage des peaux électroniques. La question d'une sensibilité corps entier concerne aussi des acteurs européens comme Wandercraft ou Enchanted Tools, dont les robots opèrent près des humains, même si l'article ne cite aucun partenaire industriel. Les prochaines étapes probables sont une validation sur davantage de plateformes et de capteurs, puis une comparaison avec des approches de contrôle en force, avant tout transfert industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

KINO : une interface à images-clés pour la planification par VLM et le contrôle du corps entier en loco-manipulation humanoïde

Des chercheurs présentent KINO (arXiv:2609.18869v1), un framework hiérarchique pour la loco-manipulation de robots humanoïdes qui insère des « keyframes » de mouvement comme représentation intermédiaire entre un modèle vision-langage (VLM) chargé de la planification et un contrôleur par renforcement (RL) chargé de l'exécution corps entier. Chaque keyframe encode une pose cible pour l'ensemble du corps du robot et, si nécessaire, la pose de l'objet manipulé. À partir d'une instruction en langage naturel, d'observations de la scène et d'un retour d'exécution, le VLM sélectionne successivement des keyframes pertinentes dans une bibliothèque prédéfinie ; ces keyframes sont ensuite réajustées à la scène courante pour tenir compte de la position et des dimensions des objets, avant qu'une politique conditionnée par keyframe ne génère les actions articulaires. Les auteurs introduisent une stratégie d'échantillonnage de keyframes basée sur la saillance pour l'entraînement de la politique bas niveau, qui fait passer le taux de réussite de bout en bout de 44 % à 92 % lorsque le VLM ne fournit que des keyframes éparses. Le système a été évalué sur des tâches de prise, transport et dépose d'objets, en simulation et sur un humanoïde Unitree G1, avec manipulation à une et deux mains. Ce résultat s'inscrit dans un débat central du secteur robotique : comment relier des modèles vision-langage capables de raisonner sur des instructions abstraites à des contrôleurs bas niveau capables de produire des mouvements corps entier stables. Plutôt que de miser sur une architecture VLA (vision-language-action) de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, KINO mise sur une représentation intermédiaire discrète et interprétable, ce qui pourrait faciliter le débogage et le contrôle qualité pour des intégrateurs industriels tout en limitant la fréquence des appels au VLM, coûteux en calcul. Le saut de 44 % à 92 % de succès reste toutefois une mesure obtenue en conditions contrôlées de recherche, pas un chiffre de déploiement industriel, et mériterait d'être confirmé sur des tâches plus variées. Le travail s'inscrit dans la vague de recherches académiques cherchant à rendre les humanoïdes capables de manipulation généraliste sans réentraînement massif pour chaque nouvelle scène, un axe exploré en parallèle par les architectures VLA de Physical Intelligence, NVIDIA ou Figure. Le choix du Unitree G1, plateforme humanoïde accessible et déjà utilisée dans de nombreux laboratoires, en fait un banc d'essai plutôt qu'un produit fini : aucun partenariat industriel ni calendrier de commercialisation n'est mentionné dans l'article. Les auteurs indiquent que le système généralise à des emplacements de dépose non vus pendant l'entraînement, un point clé pour juger de sa robustesse au-delà des démonstrations sélectionnées, mais le nombre d'essais et les conditions exactes de ces tests de généralisation ne sont pas précisés.

RecherchePaper

1 source