RecherchearXiv cs.RO 12 octobre 2026

Reflex : contrôle réactif d'un humanoïde ancré dans la perception visuelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2610.12772) Reflex, un cadre d'apprentissage qui permet à un humanoïde d'attraper au vol une boîte lancée, en s'appuyant uniquement sur sa vision égocentrique RGB-D. L'approche se déroule en trois étapes. Une politique fondée sur l'état apprend d'abord à attraper avec tout le corps par apprentissage par renforcement. Elle apprend ensuite à inférer la dynamique de la boîte en mouvement à partir d'observations retardées et incomplètes. Enfin, un encodeur RGB-D apprend à reconstruire cette représentation de la dynamique directement depuis les images, pendant que le contrôleur reste figé. En simulation, Reflex atteint 85,7 % de réussite avec la vision seule, contre 87,9 % avec des observations privilégiées de la boîte. Retirer l'historique visuel temporel fait chuter le succès de 35,6 points sur les lancers centrés et de 39,8 points sur les lancers décalés latéralement. Sur un Unitree G1 réel, le système attrape des boîtes lancées par des humains dans 65 % des cas à 2,5 m et 40 % à 5 m. Cela représente respectivement 76 % et 59 % du taux de réussite des receveurs humains aux mêmes distances.

L'intérêt tient à la méthode plus qu'au score absolu. Le faible écart entre vision et observations privilégiées (environ 2 points en simulation) suggère que séparer le contrôle du corps entier de la perception rend l'apprentissage visuel bien plus tractable que l'entraînement de bout en bout. Les systèmes précédents ne couvraient qu'une partie du problème : ils s'appuyaient sur des effecteurs seuls, de la capture de mouvement ou des objets marqués. Ici, la boucle perception-action tourne sans infrastructure externe, ce qui rapproche le sujet de scénarios logistiques comme le déchargement de camions, où des colis peuvent être lancés. Il faut toutefois rester prudent. Les résultats réels portent sur un seul robot, une seule tâche et des boîtes lancées par des humains. Avec 40 % de réussite à 5 m, on est loin d'une fiabilité industrielle. Le transfert sim-to-real reste donc partiel, et la comparaison avec les humains est un repère utile, pas une garantie opérationnelle.

Ces travaux s'inscrivent dans la vague du contrôle humanoïde du corps entier appris en simulation, qui a fait du Unitree G1 une plateforme de recherche courante grâce à son coût relativement faible. La plupart des démonstrations visaient jusqu'ici la locomotion, l'imitation de mouvements ou la manipulation lente, rarement des réactions en moins d'une seconde face à des objets en vol. Reflex vise cette lacune avec une représentation compacte de la dynamique d'objet servant d'interface entre perception et contrôle, une idée transposable à d'autres tâches réactives comme l'esquive ou le renvoi de balle. Le papier est un preprint (v1) sans annonce de déploiement ni de produit. Les prochaines étapes plausibles sont l'extension à des objets variés, à de plus longues distances et à des conditions visuelles moins contrôlées. Aucune échéance commerciale n'est avancée.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

ViBe : adaptation du comportement visuel pour le contrôle du corps entier des humanoïdes perceptifs

Un preprint publié sur arXiv (2609.09918) décrit ViBe (Visual Behavior Adaptation), un framework de post-entraînement qui ajoute une perception visuelle aux contrôleurs de suivi de mouvement pour humanoïdes à corps complet. La méthode réutilise des encodeurs visuels pré-entraînés via un module extracteur multi-requêtes, injecte ce retour perceptif dans le tracker par des adaptateurs low-rank (LoRA) pour un réglage économe en paramètres, puis ajuste l'ensemble par optimisation de politique à partir d'un reward de tâche et d'un jeu de données de référence. Sur quatre tâches, la marche perceptive sur trottoirs et parcours type parkour, le repositionnement d'un cube (Repose Cube), la locomotion-manipulation d'objets variés et l'esquive de balles (dodgeball), le transfert sim-to-real s'effectue en zero-shot et reste robuste en extérieur, en faible luminosité et face à des distracteurs visuels RGB, y compris pour une variante orientée objectif de Repose Cube résolue avec un planificateur volontairement simple. L'apport ne se limite pas à la démonstration technique. Les trackers de mouvement actuels, entraînés en simulation par imitation de trajectoires, n'intègrent aucune perception extéroceptive et dépendent donc d'un planificateur de haut niveau pour réagir à l'environnement. Les contrôleurs perceptifs existants comblaient ce manque en entraînant des encodeurs purement géométriques depuis zéro, plus faciles à transférer en réel mais pauvres en sémantique, et en passant par une distillation élève-enseignant propre à chaque tâche, coûteuse à répéter. En réutilisant des encodeurs visuels pré-entraînés et en cantonnant l'adaptation à des modules low-rank, ViBe suggère que le goulot d'étranglement du contrôle humanoïde perceptif se déplace de la simulation physique, déjà largement maîtrisée, vers l'intégration efficace de la perception sémantique, un point clé pour les intégrateurs qui cherchent à sortir ces robots des environnements contrôlés d'usine. Le travail s'inscrit dans la lignée de l'apprentissage par renforcement à grande échelle pour la locomotion humanoïde, où le transfert sim-to-real reste le paradigme dominant, et se distingue des architectures vision-langage-action de bout en bout comme Pi-0 ou GR00T N2 en proposant une adaptation légère d'un tracker déjà entraîné plutôt qu'une politique généraliste entraînée sur un large corpus de démonstrations. Publié comme contribution académique, sans partenariat industriel ni plateforme commerciale nommée à ce stade, l'article n'évoque aucun déploiement réel. La suite logique consisterait à valider la méthode sur des humanoïdes commerciaux et à la comparer directement, en coût d'entraînement et en robustesse, aux pipelines de distillation élève-enseignant aujourd'hui utilisés par les acteurs du secteur.

RecherchePaper

1 source

2arXiv cs.RO

La génération vidéo contrefactuelle permet le passage à l'échelle de la loco-manipulation humanoïde

Des chercheurs publient sur arXiv (2609.38172) PRISM, un cadre « real-to-sim-to-real » qui vise à apprendre à un humanoïde des tâches de loco-manipulation, comme porter des objets variés, à partir de quelques vidéos réelles seulement. Le procédé démarre d'une poignée de vidéos d'exemple, à partir desquelles un modèle de génération vidéo-à-vidéo (V2V) produit des centaines de vidéos « contrefactuelles » d'interactions humain-objet. Un pipeline de reconstruction ancré sur les contacts en extrait ensuite les mouvements de la personne et de l'objet, puis les retarget en trajectoires physiquement plausibles pour le robot, malgré l'imperfection des vidéos synthétiques. Une seule politique est entraînée sur l'ensemble. Elle est déployée sur un robot réel sans aucun réglage fin en conditions réelles, avec pour seule entrée des observations de profondeur embarquées. Les auteurs affirment qu'elle saisit, transporte et dépose boîtes, barils, bacs et balles, y compris des instances jamais vues, de tailles et de configurations initiales différentes. Le résumé ne donne ni modèle d'humanoïde, ni taux de réussite, ni nombre d'objets testés, ni temps de cycle. L'intérêt tient au goulot que ce travail cible. L'imitation visuelle est séduisante pour former des robots généralistes, mais il est difficile de réunir des vidéos qui montrent le corps entier sans occlusion et les contacts avec l'objet. Si l'approche tient à plus grande échelle, la diversité des données cesserait de dépendre de la captation humaine et passerait par la génération, ce qui réduirait le coût d'un jeu d'entraînement pour des tâches de manutention comme le déplacement de bacs ou de cartons. Le résultat sans réglage fin réel va dans le sens d'un transfert sim-to-real de plus en plus fiable pour la locomanipulation. Il faut toutefois rester prudent : il s'agit d'un preprint sans validation externe, la démonstration porte sur quatre catégories d'objets, et l'absence de chiffres publiés dans le résumé empêche d'évaluer la robustesse, la cadence ou l'écart avec une démonstration soigneusement choisie. On ne parle ni de produit ni de déploiement industriel. Ces travaux s'inscrivent dans une course où les acteurs cherchent à contourner la rareté des données de téléopération. Des approches concurrentes s'appuient sur la capture de mouvement humain, sur de grandes politiques vision-langage-action (VLA) telles que Pi-0, GR00T ou Helix, ou sur la simulation massive avec randomisation de domaine. PRISM ajoute la génération vidéo comme multiplicateur de données. Les prochaines étapes à surveiller sont la publication du code et des métriques détaillées, des tests sur des tâches à contacts plus complexes et des objets déformables, et une comparaison directe avec des données de téléopération. Aucun pilote ni calendrier commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

LadderMan : apprentissage de l'escalade d'échelles par un humanoïde perceptif

Des chercheurs ont publié le 5 juin 2026 sur arXiv (preprint 2606.05873) un système baptisé LadderMan, conçu pour permettre à des robots humanoïdes de grimper des échelles de géométries variées et d'effectuer des tâches de manipulation en position perchée. L'architecture repose sur un pipeline d'apprentissage en deux étapes : une phase de suivi de mouvement hybride extrait plusieurs politiques d'escalade expertes à partir d'une seule motion de référence, puis une phase de distillation fusionne ces experts en une politique visuomotrice unifiée, pilotée par caméra de profondeur, via une combinaison d'imitation et de renforcement. Pour combler l'écart simulation-réel sur la perception de profondeur, l'équipe exploite des modèles de vision fondationnels. La manipulation en hauteur est gérée par une formulation dite "dual-agent" : un agent dédié à la stabilité sur l'échelle, un autre à la manipulation, avec télé-opération comme signal superviseur. Les expériences rapportent un transfert zéro-shot vers le hardware réel, sans fine-tuning supplémentaire. L'escalade d'échelle constitue l'un des tests les plus discriminants pour les humanoïdes : les points d'appui sont rares et fixes, la coordination corps entier est critique, et la moindre erreur de perception ou de contrôle peut provoquer une chute. Le transfert zéro-shot réussi de la simulation au réel est ici le résultat le plus significatif : il suggère que les modèles de vision fondationnels permettent d'atténuer suffisamment le sim-to-real gap sur des tâches perceptivo-motrices contraintes, une hypothèse longtemps débattue dans la communauté. La capacité à manipuler des objets depuis une position instable ouvre des perspectives concrètes pour l'inspection industrielle, la maintenance en hauteur et les chantiers de construction. Il convient cependant de souligner qu'il s'agit d'un preprint de recherche, non d'un produit commercialisé, et que les vidéos publiées sur ladderman-robot.github.io restent sélectionnées par les auteurs. Ce travail s'inscrit dans une vague active de recherche poussant les humanoïdes vers des environnements contraints et à risque élevé. Aucune entreprise commerciale n'est identifiée dans le preprint, ce qui suggère une origine académique. Sur le plan concurrentiel, aucun constructeur humanoïde majeur, ni Boston Dynamics (Atlas), ni Figure (Figure 03), ni Tesla (Optimus Gen 3), ni Agility Robotics (Digit), n'a à ce jour publié de démonstration d'escalade d'échelle à ce niveau de robustesse et de transfert zéro-shot. Les prochaines étapes logiques seraient un test sur une gamme plus large de robots humanoïdes commerciaux et une intégration de la manipulation autonome, sans télé-opération.

RecherchePaper

1 source

4arXiv cs.RO

TAPNAV : navigation humanoïde par perception active tactile

Des chercheurs présentent TAPNAV, un cadre de navigation par perception tactile active destiné aux robots humanoïdes qui évoluent sans vision. Le travail, publié sur arXiv (2610.10748), part d'un constat connu: en l'absence de caméra exploitable, l'odométrie proprioceptive dérive et l'incertitude de localisation s'accumule vite. Le système maintient une croyance sur la pose du robot en fusionnant l'odométrie, la centrale inertielle (IMU) et les observations de contact tactile. Il associe deux niveaux de planification: un planificateur global tenant compte de l'incertitude, qui cherche des itinéraires où l'erreur de localisation prévue reste bornée grâce à des occasions de recalage tactile, et un planificateur local qui choisit les gestes de palpation maximisant le gain d'information attendu. Un contrôleur du corps entier coordonne la locomotion et le contact de l'effecteur pour exécuter à la fois la navigation et les sondages. L'évaluation a été menée en simulation et sur un Unitree G1, avec plusieurs plans de sol et géométries d'obstacles. Les auteurs annoncent une erreur d'estimation d'état plus faible et un taux d'achèvement des tâches supérieur à celui des méthodes de référence. Le résumé ne chiffre toutefois ni ces écarts ni le nombre d'essais. L'intérêt tient au changement de logique: au lieu de subir la dérive, le robot planifie des interactions physiques pour produire lui-même ses repères de localisation. Pour les humanoïdes appelés à travailler dans des environnements enfumés, poussiéreux, sombres ou à occlusion visuelle (maintenance, intervention après sinistre, sites industriels dégradés), cela ouvre une voie de repli lorsque caméras et lidar échouent. Le résultat reste cependant celui d'un travail académique préliminaire (v1, non évalué par les pairs). Il n'établit ni robustesse à grande échelle ni performance en conditions réelles de terrain. Il ne dit rien non plus des temps de cycle: sonder les parois ralentit nécessairement la progression, et ce compromis entre précision et vitesse sera décisif pour toute application industrielle. L'usage d'un Unitree G1, plateforme de recherche abordable et très répandue, facilite la reproduction, mais l'effecteur utilisé pour le contact reste modeste par rapport aux mains tactiles dont disposent certains humanoïdes commerciaux. Ce travail s'inscrit dans l'effort plus large pour compléter, voire remplacer, la vision par d'autres modalités sensorielles chez les robots à pattes, où les approches dominantes restent l'odométrie visuo-inertielle, le SLAM lidar et les politiques vision-langage-action (VLA). La planification active de la perception, qui sélectionne les actions selon le gain d'information, vient de la robotique mobile classique et se transpose ici à un corps entier à nombreux degrés de liberté. Les prochaines étapes naturelles seraient des tests sur des environnements non structurés, une intégration avec la vision lorsqu'elle est partiellement disponible, et un passage sur des mains équipées de capteurs tactiles denses. Aucun calendrier de pilote ni partenaire industriel n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source