Aller au contenu principal
HODAgent : vers des humanoïdes réactifs et disponibles à la demande pour l'interaction physique avec l'humain
RecherchearXiv cs.RO 

HODAgent : vers des humanoïdes réactifs et disponibles à la demande pour l'interaction physique avec l'humain

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un preprint déposé sur arXiv en août 2026 (arXiv:2608.17584v1) présente HODAgent, un agent de raisonnement « System-2 » pour robots humanoïdes de service interagissant directement avec des humains. Son architecture semi-duplex combine un Env-Interactor, un Planner, un Executor et une mémoire hiérarchique afin de suivre l'état de la tâche pendant tout l'épisode : le robot accepte une nouvelle requête en pleine action, garde sa progression, révise son plan et vérifie le résultat avant de clôturer. Une interface commune relie simulation et robot physique, un Unitree G1, en isolant le contrôle bas niveau. Sur 164 cas en simulation, HODAgent atteint 84,8% et 91,5% de succès conjoint selon le VLM utilisé, soit 9,8 et 18,9 points de plus que les références. Sur le robot réel, les taux vont de 92% pour les tâches atomiques à 72% pour les tâches composites et 63,3% pour les tâches complètes, avec un gain de 0,7 à 9,0 points sur plusieurs benchmarks d'IA incarnée.

Ces résultats ciblent l'écart persistant entre démonstrations et usage réel des humanoïdes : interrompre une action en cours pour intégrer une nouvelle consigne, puis vérifier concrètement si la tâche est accomplie plutôt que de suivre un plan figé, reste rarement démontré à cette échelle hors laboratoire. Pour les intégrateurs, l'intérêt tient surtout à la portabilité : une même couche de décision opérant en simulation et sur robot physique, avec le contrôle bas niveau isolé derrière une interface partagée, réduit le travail de réimplémentation entre prototype et pilote. La chute des taux de réussite entre tâches atomiques (92%) et tâches complètes (63,3%) confirme néanmoins que l'enchaînement de sous-tâches demeure le principal facteur d'échec, un repère utile face aux annonces plus promotionnelles du secteur.

Le travail s'inscrit dans la mouvance des agents « System 2 », conçus pour planifier et corriger leur action plutôt que réagir de manière réflexe, un axe distinct des modèles vision-langage-action génératifs de type Pi-0, GR00T N2 ou Helix qui occupent la communication du secteur humanoïde. Le choix du Unitree G1 comme plateforme de test reflète sa large adoption par la recherche académique, faute d'accès aux humanoïdes propriétaires de Figure AI, Tesla ou Agility Robotics. Publié comme preprint non encore relu par les pairs, sans partenaire industriel ni date de déploiement pilote annoncée, HODAgent reste pour l'instant une contribution de recherche destinée à être reproduite et comparée par d'autres équipes.

À lire aussi

KPI : un noyau pilotable par instructions pour l'interaction physique des robots humanoïdes
1arXiv cs.RO 

KPI : un noyau pilotable par instructions pour l'interaction physique des robots humanoïdes

Des chercheurs proposent KPI, un « noyau promptable » d'interaction physique qui s'insère entre la source de trajectoire et un tracker de corps entier non modifié sur robot humanoïde (preprint arXiv 2609.36151v1). Le principe : la source de trajectoire, qu'il s'agisse d'un humain en téléopération ou d'une politique de bout en bout, n'envoie plus seulement une référence de mouvement. Elle y joint un « contrat » qui précise, pour chaque direction, s'il faut suivre la référence, se laisser fléchir (comply) ou maintenir une plage d'effort. À partir de l'erreur de suivi et d'une estimation du torseur d'efforts (wrench), le noyau ajuste en continu la raideur, l'amortissement, la référence et le feedforward des bras, à la cadence du contact. Les auteurs l'illustrent avec un cadre agentique : à partir d'une seule instruction, un agent vision-langage écrit à la fois la trajectoire et le contrat, sans code spécifique à la tâche. Les démonstrations portent sur la manœuvre d'un treuil, l'ouverture d'une porte et le transport d'une boîte, complétées par des essais scriptés d'interaction avec des surfaces. Dans la démonstration la plus marquante, l'humanoïde actionne une manivelle pour hisser un second robot entièrement au-dessus du sol. Le résumé ne donne ni modèle de robot, ni taux de réussite, ni nombre d'essais. L'enjeu est un maillon souvent négligé de la pile logicielle des humanoïdes. Les trackers de corps entier généralistes suivent bien des trajectoires, mais une trajectoire dit peu de la force à produire : au contact, c'est le contrôleur qui décide du comportement réel. Jusqu'ici, deux approches dominent. Les politiques mono-tâche optimisent trajectoire et contrôleur ensemble en simulation, ce qui donne de bons résultats sur des interactions difficiles mais ne se généralise pas. Les architectures généralistes supposent un contrôleur prédéfini ou réglé à la main. KPI vise à séparer ces deux niveaux, ce qui permettrait de réutiliser un tracker existant pour des tâches riches en contact. Pour un intégrateur, c'est un levier potentiel sur les tâches de manipulation où la raideur et la gestion de l'effort décident du succès, comme les portes, les charges ou les outils. Il faut toutefois rester prudent : il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et des démonstrations choisies par les auteurs ne prouvent ni la robustesse ni la répétabilité. La délégation à un agent VLM de la rédaction du contrat reste à valider hors des scénarios présentés. Ce travail s'inscrit dans la course aux modèles généralistes de corps entier et aux politiques vision-langage-action (VLA), où l'effort est traité en parent pauvre face à la perception et au suivi de mouvement. Il rejoint l'idée de commande en impédance et en admittance, ancienne en robotique, qu'il adapte à une interface pilotable par le langage. Le résumé ne cite ni plateforme, ni concurrent, ni calendrier de suite. Les prochaines étapes à surveiller sont la publication du code, des résultats quantitatifs sur plusieurs humanoïdes, et une éventuelle intégration dans les piles des acteurs industriels.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ThorArena : évaluation de l'interaction physique humanoïde à partir de démonstrations humaines de mouvement et de force
2arXiv cs.RO 

ThorArena : évaluation de l'interaction physique humanoïde à partir de démonstrations humaines de mouvement et de force

Des chercheurs présentent sur arXiv (2607.06052) ThorArena, un nouveau benchmark pour évaluer l'interaction physique des robots humanoïdes en tenant compte des forces de contact, et non plus seulement du mouvement. L'équipe a constitué un jeu de données réel synchronisant le mouvement corporel complet d'un humain et les forces exercées par ses deux mains, sur six tâches d'interaction physique représentatives. À partir de ces démonstrations, elle propose le Force-Aware Tracking Score (FATS), une métrique qui évalue conjointement la précision du suivi corps entier, la robustesse à différents niveaux de force, l'effort de contrôle et la survie de l'épisode (le robot garde-t-il son équilibre sans échouer). Le protocole rejoue ensuite en simulation les forces d'interaction enregistrées, offrant une interface d'évaluation standardisée pour comparer différentes politiques de contrôle whole-body. Jusqu'ici, les jeux de données et benchmarks d'imitation de mouvement humanoïde se concentraient presque exclusivement sur la cinématique, laissant de côté les forces d'interaction synchronisées. Résultat : les évaluations existantes ne captaient pas comment les forces externes affectent la précision du suivi, la stabilité et la robustesse du contrôle, un angle mort critique dès qu'un robot humanoïde doit manipuler un objet, ouvrir une porte ou interagir physiquement avec un humain. Les expériences menées sur des politiques de contrôle whole-body représentatives montrent que l'évaluation sensible aux forces révèle des écarts de performance substantiels, invisibles dans les évaluations classiques sans force. Autrement dit, des politiques qui paraissent solides sur des métriques purement cinématiques peuvent s'avérer fragiles dès qu'elles rencontrent une résistance physique réelle, ce qui interroge la fiabilité des benchmarks actuels pour juger de la maturité réelle des humanoïdes destinés aux tâches à fort contact. ThorArena s'inscrit dans la lignée des travaux récents sur l'imitation de mouvement humanoïde et le contrôle corps entier, un domaine qui a rapidement progressé sur la précision du tracking mais restait largement évalué hors contexte de contact physique. En proposant un protocole unifié et reproductible, appuyé sur des démonstrations humaines synchronisant mouvement et force sur six tâches, les auteurs visent un standard d'évaluation partagé par la communauté robotique, à l'image de ce que les benchmarks de manipulation ont apporté à l'apprentissage par renforcement. Le travail ouvre la voie à des comparaisons plus rigoureuses entre politiques de contrôle issues de différents laboratoires, et pourrait orienter les prochaines générations de robots humanoïdes vers une robustesse accrue en interaction physique réelle, un prérequis pour des déploiements industriels ou domestiques crédibles.

RecherchePaper
1 source
HiPHI : un benchmark à grande échelle pour le mouvement humain de haute précision et l'interaction avec les objets
3arXiv cs.RO 

HiPHI : un benchmark à grande échelle pour le mouvement humain de haute précision et l'interaction avec les objets

Des chercheurs ont publié HiPHI, un jeu de données de mouvement humain corps entier et d'interaction avec des objets, dépassant les 600 heures d'enregistrement, décrit dans un article déposé sur arXiv en août 2026 sous la référence 2608.16222. Construit à partir d'un pipeline de capture de mouvement optique, HiPHI atteint une précision de suivi des marqueurs spatiaux inférieure au millimètre pour le mouvement corps entier, ainsi que des trajectoires d'objets au niveau du maillage (mesh-level). Le dataset s'appuie théoriquement sur FrameNet, un cadre linguistique qui organise les primitives du mouvement humain. Les auteurs publient aussi une suite de benchmarks évaluant quatre axes : la diversité de l'espace des mouvements, l'ancrage des interactions (interaction grounding), la cohérence des objets manipulés, et les applications d'IA physique. Selon les analyses présentées, HiPHI élargit sensiblement la couverture des mouvements par rapport aux jeux de données existants, tout en conservant une fidélité élevée dans la qualité des interactions capturées. Ce travail cible un goulot d'étranglement jugé critique pour l'apprentissage de politiques robotiques humanoïdes à grande échelle : les vidéos issues d'internet, bien qu'abondantes, manquent d'états physiques précis et d'ancrage réel des interactions, tandis que les jeux de données de capture en laboratoire offrent une haute fidélité mais une couverture comportementale trop étroite. Pour les intégrateurs et laboratoires qui entraînent des modèles vision-langage-action à l'image de Pi-0 ou GR00T N2, ce type de fondation de données conditionne directement la capacité à généraliser des politiques apprises vers des tâches réelles incarnées, autrement dit le passage du simulateur au monde physique. Le papier revendique une amélioration mesurable de la diversité de mouvement, mais il s'agit à ce stade d'un benchmark académique évalué par ses propres auteurs, sans déploiement industriel ni adoption confirmée par un fabricant de robots humanoïdes. HiPHI s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les grands corpus vidéo génériques et les datasets de mouvement capturés en studio, un problème documenté depuis plusieurs années dans la littérature sur l'apprentissage par imitation pour humanoïdes. Les auteurs positionnent leur contribution face aux jeux de données de mouvement existants, jugés soit trop limités en diversité soit insuffisamment ancrés physiquement, sans nommer de concurrent unique. Le texte souligne une application transversale au-delà de la robotique : les mêmes extensions de couverture pourraient aussi nourrir des modèles de prior de mouvement en infographie, utilisés notamment pour l'animation de personnages. Publié comme preprint arXiv, HiPHI demeure pour l'instant une ressource de recherche ouverte plutôt qu'un produit commercial ; sa valeur pour l'industrie dépendra de la publication effective du dataset et du code, de comparaisons indépendantes, et d'une éventuelle intégration dans des pipelines d'entraînement de robots humanoïdes commerciaux.

RecherchePaper
1 source
Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique
4arXiv cs.RO 

Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique

Des chercheurs proposent LifelongVLA, un nouveau framework d'apprentissage continu pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique, décrit dans un article publié sur arXiv (2607.14852). Le système s'attaque à un problème classique de l'apprentissage séquentiel chez les robots : le compromis plasticité-stabilité, c'est-à-dire la capacité d'apprendre une nouvelle tâche sans effacer les compétences acquises précédemment. Concrètement, LifelongVLA introduit un module de gating LoRA à double échelle temporelle, séparant l'adaptation en deux voies légères : un adaptateur court terme pour la plasticité (apprentissage rapide de nouvelles tâches) et un adaptateur long terme pour la consolidation stable des compétences déjà maîtrisées. Une passerelle "task-aware" arbitre entre les deux. Le framework ajoute aussi une stratégie de rejeu ("replay") stochastique et économe en mémoire cache, qui préserve des signaux de rétention équilibrés sans avoir à stocker les trajectoires complètes des tâches passées. Les auteurs rapportent des résultats supérieurs aux méthodes existantes sur un bras robotique xArm en conditions réelles, avec une expansion efficace des compétences et une meilleure rétention des comportements de manipulation déjà appris. Cette avancée cible un angle mort réel des modèles VLA actuels (type Pi-0, GR00T N2 ou Helix) : la plupart sont entraînés une fois puis figés, ou doivent être ré-entraînés intégralement pour intégrer une nouvelle tâche, ce qui est coûteux et impraticable pour un déploiement industriel évolutif. Si un robot déployé en usine ou en entrepôt doit apprendre continuellement de nouvelles manipulations sans tout ré-apprendre à chaque fois ni oublier les précédentes, une méthode d'adaptation légère et peu gourmande en mémoire comme celle-ci intéresse directement les intégrateurs et décideurs qui cherchent à réduire les coûts de ré-entraînement et les temps d'arrêt liés à la mise à jour des compétences robotiques. C'est un pas vers des flottes de robots capables de monter en compétences sur site plutôt que de dépendre d'un redéploiement complet du modèle depuis un data center. Le travail s'inscrit dans la lignée de la recherche en "continual learning" appliquée à la robotique, un domaine longtemps dominé par les architectures de vision classique avant l'essor des VLA génératifs à grande échelle. Contrairement aux approches de fine-tuning complet ou à certaines méthodes de rejeu qui nécessitent de stocker l'intégralité des trajectoires passées (coûteux en stockage et en calcul), LifelongVLA mise sur des adaptateurs LoRA légers, une technique déjà largement utilisée pour le fine-tuning efficace des grands modèles de langage, ici transposée au contrôle robotique. L'article ne mentionne pas de partenaire industriel ni de déploiement commercial ; il s'agit d'un travail de recherche académique testé sur un seul bras xArm, avec des perspectives de validation à plus grande échelle et sur des plateformes robotiques plus variées à confirmer.

RechercheActu
1 source