RecherchearXiv cs.RO 10 septembre 2026

ViBe : adaptation du comportement visuel pour le contrôle du corps entier des humanoïdes perceptifs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv (2609.09918) décrit ViBe (Visual Behavior Adaptation), un framework de post-entraînement qui ajoute une perception visuelle aux contrôleurs de suivi de mouvement pour humanoïdes à corps complet. La méthode réutilise des encodeurs visuels pré-entraînés via un module extracteur multi-requêtes, injecte ce retour perceptif dans le tracker par des adaptateurs low-rank (LoRA) pour un réglage économe en paramètres, puis ajuste l'ensemble par optimisation de politique à partir d'un reward de tâche et d'un jeu de données de référence. Sur quatre tâches, la marche perceptive sur trottoirs et parcours type parkour, le repositionnement d'un cube (Repose Cube), la locomotion-manipulation d'objets variés et l'esquive de balles (dodgeball), le transfert sim-to-real s'effectue en zero-shot et reste robuste en extérieur, en faible luminosité et face à des distracteurs visuels RGB, y compris pour une variante orientée objectif de Repose Cube résolue avec un planificateur volontairement simple.

L'apport ne se limite pas à la démonstration technique. Les trackers de mouvement actuels, entraînés en simulation par imitation de trajectoires, n'intègrent aucune perception extéroceptive et dépendent donc d'un planificateur de haut niveau pour réagir à l'environnement. Les contrôleurs perceptifs existants comblaient ce manque en entraînant des encodeurs purement géométriques depuis zéro, plus faciles à transférer en réel mais pauvres en sémantique, et en passant par une distillation élève-enseignant propre à chaque tâche, coûteuse à répéter. En réutilisant des encodeurs visuels pré-entraînés et en cantonnant l'adaptation à des modules low-rank, ViBe suggère que le goulot d'étranglement du contrôle humanoïde perceptif se déplace de la simulation physique, déjà largement maîtrisée, vers l'intégration efficace de la perception sémantique, un point clé pour les intégrateurs qui cherchent à sortir ces robots des environnements contrôlés d'usine.

Le travail s'inscrit dans la lignée de l'apprentissage par renforcement à grande échelle pour la locomotion humanoïde, où le transfert sim-to-real reste le paradigme dominant, et se distingue des architectures vision-langage-action de bout en bout comme Pi-0 ou GR00T N2 en proposant une adaptation légère d'un tracker déjà entraîné plutôt qu'une politique généraliste entraînée sur un large corpus de démonstrations. Publié comme contribution académique, sans partenariat industriel ni plateforme commerciale nommée à ce stade, l'article n'évoque aucun déploiement réel. La suite logique consisterait à valider la méthode sur des humanoïdes commerciaux et à la comparer directement, en coût d'entraînement et en robustesse, aux pipelines de distillation élève-enseignant aujourd'hui utilisés par les acteurs du secteur.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Uni-VLaT : adaptation tactile du corps entier des politiques VLA pour la loco-manipulation humanoïde

Des chercheurs publient Uni-VLaT, une méthode qui greffe un sens du toucher distribué sur tout le corps à des politiques VLA (vision-langage-action) préentraînées pour piloter un humanoïde en loco-manipulation. Le principe est d'ajouter une voie tactile dont l'état latent n'est pas seulement entraîné à produire des actions, mais aussi à prédire les représentations tactiles, proprioceptives et visuelles futures. Ce second objectif construit un contexte multimodal ancré dans le tactile. Les auteurs testent le système sur cinq tâches réelles : locomotion déclenchée par le toucher, interaction physique prolongée, contact avec un humain et loco-manipulation. Le taux de réussite moyen atteint 75 %, soit 43 points de plus qu'une base sans entrée tactile et 7 points de plus qu'une base tactile sans supervision prédictive. Sur deux architectures VLA préentraînées, le balayage de table gagne 30 points sur chacune, et la tâche « Back-Tap Walking » (marcher en réponse à une tape dans le dos) progresse de 85 à 90 points. Les ablations indiquent que la prédiction tactile contextualisée et les cibles futures absolues sont déterminantes. L'enjeu est de combler un angle mort des VLA actuels, qui reposent sur la vision et la proprioception. Quand la zone de contact est masquée, par exemple un bras qui frotte une surface ou une main humaine posée sur le dos, ces deux signaux ne suffisent pas à caractériser l'interaction. Contrairement aux capteurs de force ou de couple placés en quelques points prédéfinis, une peau tactile distribuée conserve la cartographie spatiale du contact sur tout le corps. Le résultat le plus parlant pour un intégrateur est la distinction entre simple ajout d'un capteur et apprentissage prédictif : la modalité brute apporte 36 points sur les 43 gagnés, mais la supervision prédictive rend la fusion plus robuste. Cela suggère que les politiques généralistes peuvent être étendues à de nouvelles modalités sans repartir de zéro, un point utile pour la cobotique humanoïde en contact avec des opérateurs. Les limites sont nettes : cinq tâches seulement, un robot de laboratoire, aucun chiffre sur les temps de cycle, la robustesse à long terme ou la durabilité des capteurs. Ce n'est ni un produit ni un déploiement. Ce travail s'inscrit dans la montée en puissance des modèles VLA pour humanoïdes, dont Pi-0, GR00T ou Helix, pour l'essentiel centrés sur la vision, le langage et la proprioception. Le tactile reste le parent pauvre de ces architectures, freiné par le coût, la fragilité et le câblage des peaux électroniques. La question d'une sensibilité corps entier concerne aussi des acteurs européens comme Wandercraft ou Enchanted Tools, dont les robots opèrent près des humains, même si l'article ne cite aucun partenaire industriel. Les prochaines étapes probables sont une validation sur davantage de plateformes et de capteurs, puis une comparaison avec des approches de contrôle en force, avant tout transfert industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

NEXUS : contrôle perceptif du corps entier pour une téléopération adaptée au terrain

Des chercheurs publient NEXUS, un cadre de contrôle corps entier « perceptif » pour la téléopération de robots humanoïdes sur des terrains différents de celui de l'opérateur (arXiv 2609.39000, première version). Le système combine les commandes de mouvement humain et le retour sensoriel embarqué. Le robot perçoit le terrain local et adapte sa posture et ses points de contact, au lieu de recopier image par image le mouvement de l'opérateur. L'équipe a d'abord conçu un algorithme d'adaptation au terrain, qui génère des paires de mouvements (sol plat et terrain varié) sans réglage manuel par mouvement ni par terrain. Le corpus appariés atteint près de 1 000 heures. Un contrôleur perceptif a ensuite été entraîné par apprentissage enseignant-élève (teacher-student) pour reproduire les comportements commandés. Selon les auteurs, il est déployé sans réentraînement (zero-shot) sur robot réel, pour une téléopération en temps réel sur des terrains variés jamais vus. L'enjeu porte sur un goulot d'étranglement connu de la téléopération humanoïde : l'opérateur évolue presque toujours sur sol plat, alors que le robot doit monter, enjamber ou franchir des obstacles. Les données qui relient un même comportement sur plusieurs terrains sont rares, ce qui limite la supervision. Si la génération automatisée de ces paires tient ses promesses, elle réduit un coût important : la collecte de démonstrations par téléopération sert aussi à nourrir les modèles VLA (vision-langage-action) et les politiques de manipulation mobile. Un téléopérateur qui n'a plus besoin de reproduire la géométrie du site simplifie aussi l'exploitation industrielle, notamment l'intervention à distance sur sites non structurés. Les résultats restent toutefois des benchmarks choisis par les auteurs, face à des contrôleurs corps entier existants que le résumé ne nomme pas. Le résumé ne précise ni la plateforme robotique, ni les types de terrains, ni les temps de latence, ni les taux de réussite. La robustesse hors laboratoire reste donc à démontrer. Ce travail s'inscrit dans la lignée des contrôleurs corps entier par suivi de mouvement humain, qui se sont multipliés avec les humanoïdes commerciaux (Unitree, Figure, Tesla Optimus, Agility). La plupart de ces contrôleurs sont aveugles ou à perception limitée. Ils reproduisent le mouvement de référence sans tenir compte de l'environnement. NEXUS vise cette limite en ajoutant la perception et la correction des contacts. La suite dépendra de la publication du code, des données et de la page projet (nexus-humanoid.github.io), puis d'une validation sur d'autres plateformes. Aucun acteur français ou européen n'est cité dans le résumé. L'approche intéresse pourtant les développeurs d'humanoïdes européens qui s'appuient sur la téléopération pour collecter des données, comme Wandercraft ou Enchanted Tools.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

OmniInteract : vers un contrôle unifié de l'interaction corps entier pour deux humanoïdes

OmniInteract, un framework décrit dans un preprint arXiv (version 2 révisée), vise à doter deux robots humanoïdes d'un contrôle corps entier unifié pour des interactions physiques coordonnées. Il repose sur deux briques. La première, Surface Contact-Aware Retargeting, s'appuie sur des correspondances de surface denses entre humain et robot pour transposer simultanément les mouvements des deux humanoïdes, en préservant les interfaces de contact explicites et la géométrie locale autour d'elles. La seconde, Scalable Flow-based Interaction Policy, factorise le contrôle en deux niveaux: un socle moteur réutilisable, constitué d'un prior de mouvement corps entier gelé, et des experts conscients du partenaire qui apprennent des corrections résiduelles. Ces experts sont unifiés par du conditional flow matching dans un espace d'action résiduel partagé. Les auteurs annoncent une meilleure fidélité de retargeting, une meilleure coordination entre humanoïdes et une dégradation moindre des performances quand le nombre de compétences augmente. Un déploiement réel est rapporté, avec établissement du contact, coordination stable et récupération après perturbations externes. Le résumé ne chiffre ni le nombre de compétences, ni les plateformes, ni les taux de réussite. Pour l'industrie, l'intérêt se situe moins dans une démonstration que dans le problème traité: la collaboration physique entre robots, notamment le portage conjoint d'objets, l'assistance ou la manipulation à deux, exige des contacts précis que la plupart des travaux actuels sur les humanoïdes, centrés sur un agent isolé, n'abordent pas. Le retargeting de données de capture humaine reste un goulot d'étranglement, car les différences de proportions déplacent les points de contact et faussent les relations spatiales. Traiter ce point par la géométrie de surface est une piste pragmatique. L'approche résiduelle sur prior gelé répond aussi à un problème connu de l'apprentissage multi-compétences, l'oubli et la perte de fidélité quand la diversité croît. Prudence toutefois: il s'agit d'un résultat de recherche, sans produit ni déploiement commercial. Les expériences réelles décrites n'ont ni échelle ni conditions précisées, et l'absence de métriques dans le résumé empêche d'évaluer la robustesse hors laboratoire. Ce travail s'inscrit dans la vague de contrôleurs corps entier appris par apprentissage par renforcement et modèles génératifs, qui a fait passer les humanoïdes du suivi de mouvement à des comportements plus généraux, souvent entraînés en simulation puis transférés au réel. L'interaction à deux robots reste nettement moins explorée que le contrôle d'un seul. Côté industriel, des acteurs comme Figure, Tesla, Agility ou Unitree travaillent surtout sur des agents autonomes isolés. La coordination multi-humanoïde reste, à ce stade, un sujet académique. Les suites probables sont des évaluations quantitatives plus détaillées, des tests sur d'autres morphologies et des tâches de collaboration avec objets, mais aucun calendrier de pilote ou de transfert industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

ULTRA : contrôle multimodal unifié pour la loco-manipulation humanoïde autonome du corps entier

Une équipe de recherche présente ULTRA, un framework unifié pour le contrôle autonome de la loco-manipulation du corps entier chez les humanoïdes, publié en version révisée sur arXiv (2603.03279v2). Le système combine un algorithme de retargeting neuronal guidé par la physique, qui transpose des captures de mouvement à grande échelle vers la morphologie du robot en préservant la plausibilité physique des contacts, et un contrôleur multimodal unique traitant références denses et consignes de tâches éparses, à partir d'un état précis ou d'une vision égocentrique bruitée. La méthode distille une politique de suivi universelle, compresse les compétences motrices dans un espace latent compact, puis l'affine par apprentissage par renforcement pour améliorer la robustesse hors distribution. ULTRA a été validé en simulation et sur un robot humanoïde réel Unitree G1. L'apport central est de faire passer le contrôle humanoïde du suivi de trajectoires prédéfinies à une génération de comportement pilotée par la perception et des objectifs de haut niveau, sans référence de mouvement au moment du test, un verrou connu du secteur qui tient à la rareté des données de retargeting et à la couverture limitée des répertoires de compétences. En obtenant un comportement coordonné du corps entier à partir d'une intention éparse et d'une perception embarquée seule, sur matériel réel et pas seulement en simulation, les auteurs apportent un élément factuel au débat sur l'écart entre démonstrations scriptées et autonomie réelle, avec des résultats supérieurs aux méthodes de suivi pur à répertoire limité, un signal utile pour intégrateurs et laboratoires. Ce travail s'inscrit dans la lignée des contrôleurs de suivi par imitation pour humanoïdes, dont les limites sont pointées par les auteurs: données retargetées rares, difficulté à passer à l'échelle, dépendance à des références figées. ULTRA cherche à lever ce verrou en unifiant imitation à grande échelle et apprentissage par renforcement dans un seul contrôleur, validé sur Unitree G1, plateforme de recherche courante dans les laboratoires travaillant sur la loco-manipulation humanoïde. L'article ne précise ni affiliation institutionnelle ni calendrier de déploiement industriel: il s'agit d'une contribution de recherche, à comparer aux prochaines générations de contrôleurs généralistes pour humanoïdes plutôt qu'à un produit commercial.

RecherchePaper

1 source