Aller au contenu principal
MyoChallenge 2025 : un nouveau benchmark pour l'intelligence athlétique humaineIllustration générée par IA
RecherchearXiv cs.RO 

MyoChallenge 2025 : un nouveau benchmark pour l'intelligence athlétique humaine

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

MyoChallenge 2025, compétition satellite de la conférence NeurIPS 2025, a réuni près de 70 équipes et généré plus de 560 soumissions mondiales autour d'un objectif précis : entraîner des algorithmes à contrôler des modèles musculo-squelettiques haute fidélité dans des tâches sportives. La quatrième édition de cette série introduit deux épreuves distinctes. La première mobilise un membre supérieur biomécanique (bras, main, tronc) pour des échanges de tennis de table ; la seconde engage un modèle de jambes et de tronc pour exécuter un penalty de football. Les équipes participantes ont exploité des techniques variées : planificateurs de mouvement basés sur la physique, clonage comportemental on-policy, planification hiérarchique, et synergies musculaires. Les participants représentent un spectre inhabituel, des médecins et neuroscientifiques aux ingénieurs ML, ce qui distingue cette compétition des benchmarks robotiques classiques.

L'intérêt de cette approche tient à une double contrainte que peu de benchmarks adressent simultanément : la précision du contrôle moteur fin et la vitesse de décision sous incertitude, deux exigences qui caractérisent la performance athlétique humaine. Par ailleurs, la simulation musculo-squelettique comble une lacune expérimentale réelle : mesurer in vivo la coordination de dizaines de muscles lors d'un geste sportif reste techniquement prohibitif avec les équipements actuels. Les algorithmes développés dans ce cadre pourraient donc alimenter à la fois la conception de prothèses, la compréhension des blessures sportives et le contrôle de robots à actionneurs tendineux ou hydrauliques, domaines où le sim-to-real reste un obstacle central.

MyoChallenge s'appuie sur MyoSuite, framework open-source développé par Meta FAIR et des partenaires académiques, dont les trois premières éditions (2022, 2023, 2024) ciblaient respectivement la manipulation de main, la locomotion et des tâches de dextérité. La progression vers des gestes sportifs complets marque une montée en complexité délibérée. Sur le plan concurrentiel, la compétition se positionne face à des benchmarks comme DeepMimic (animation physique) ou Mujoco Locomotion, mais avec une fidélité anatomique supérieure. L'ensemble des modèles et tâches sera maintenu dans MyoSuite pour permettre la reproductibilité des résultats, avec une page projet dédiée comme point d'entrée pour les équipes souhaitant prolonger ces travaux au-delà de la compétition.

À lire aussi

IMBench : un benchmark pour la manipulation robotique intuitive
Illustration générée par IA
1arXiv cs.RO 

IMBench : un benchmark pour la manipulation robotique intuitive

Une équipe de recherche publie IMBench, un nouveau benchmark conçu pour évaluer ce qu'elle appelle la « manipulation intuitive » des robots, c'est-à-dire la capacité à combiner raisonnement physique et exécution motrice de façon intégrée, plutôt que de tester ces deux compétences séparément. L'article, déposé sur arXiv le 15 juillet 2026, propose un jeu de 35 tâches couvrant la manipulation avec contact riche, l'usage d'outils et les dépendances multi-étapes, accompagné de 14 000 trajectoires filtrées et d'outils permettant de générer de nouveaux scénarios à l'échelle. Contrairement aux benchmarks existants, IMBench exige des modèles qu'ils identifient d'abord la structure physique pertinente d'une scène (poids, friction, contraintes géométriques) avant de produire une séquence d'actions exécutable sous contraintes explicites. Les auteurs ont testé à la fois des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) de dernière génération sur cet ensemble de tâches. Les résultats mettent en évidence un écart systématique dans les systèmes actuels : les VLM montrent une capacité de raisonnement physique partielle mais ne parviennent pas à traduire ce raisonnement en plans d'action exécutables, tandis que les VLA de pointe échouent à respecter les contraintes des tâches et généralisent mal d'un scénario à l'autre. Pour l'industrie robotique, ce constat confirme un doute déjà répandu chez les intégrateurs : la performance affichée par les politiques génératives sur des démonstrations contrôlées ne garantit pas une compréhension physique transférable à des scènes nouvelles. IMBench propose ainsi une mesure plus rigoureuse pour distinguer les systèmes qui « comprennent » réellement une scène de ceux qui reproduisent des schémas d'entraînement. Ce travail s'inscrit dans une vague récente de benchmarks cherchant à combler le fossé entre évaluation en simulation et déploiement réel, alors que des modèles comme GR00T N2, Pi-0 ou Helix visent une manipulation généraliste dans des environnements variés. En isolant explicitement la composante « raisonnement intuitif » comme axe manquant des politiques robotiques actuelles, les auteurs positionnent IMBench comme un outil de diagnostic pour orienter les prochaines générations de modèles fondation en robotique, plutôt que comme un simple classement de performance brute.

RecherchePaper
1 source
Metrics ou enquêtes : une analyse pour un benchmark aligné sur l'humain en navigation robotique sociale
Illustration générée par IA
2arXiv cs.RO 

Metrics ou enquêtes : une analyse pour un benchmark aligné sur l'humain en navigation robotique sociale

Une équipe de recherche publie une étude comparant les métriques numériques et les enquêtes humaines utilisées pour évaluer la navigation sociale des robots mobiles, c'est-à-dire leur capacité à se déplacer dans des environnements peuplés d'humains de façon sûre, confortable et lisible. Le papier, disponible sur arXiv (identifiant 2510.02941, version de remplacement), part d'un constat simple : évaluer un robot sur ces critères passe généralement par des enquêtes auprès d'utilisateurs, jugées fiables mais coûteuses, chronophages et difficiles à reproduire ou à comparer d'un système à l'autre. À l'inverse, les métriques numériques (distances de sécurité, fluidité de trajectoire, temps d'arrêt, etc.) sont rapides à calculer et permettent des comparaisons directes entre systèmes, mais la communauté scientifique n'a toujours pas convergé vers un ensemble standard de mesures. Les auteurs cherchent donc à établir si certaines métriques quantitatives corrèlent avec le ressenti humain, dans l'idée qu'elles pourraient servir de substitut partiel aux enquêtes à grande échelle lorsque celles-ci ne sont pas envisageables. L'enjeu dépasse la simple question méthodologique : sans référentiel d'évaluation commun, il devient difficile de comparer objectivement les performances de différents algorithmes de navigation sociale, ce qui freine autant la recherche académique que l'industrialisation de robots destinés à opérer parmi des humains (entrepôts, hôpitaux, espaces publics). Les résultats de l'étude montrent que les métriques actuelles ne captent qu'une partie du comportement observé, tandis que des facteurs subjectifs importants, comme le sentiment de confort ou de prévisibilité ressenti par les passants, restent mal représentés par les outils numériques existants. Ce travail s'inscrit dans un débat plus large sur la standardisation de l'évaluation en robotique sociale, un domaine où les benchmarks peinent à s'imposer faute de consensus, contrairement à d'autres branches de la robotique mobile. Les auteurs appellent à la conception de nouvelles métriques mieux alignées sur la perception humaine, une piste qui pourrait à terme faciliter des comparaisons reproductibles entre systèmes concurrents sans recourir systématiquement à des campagnes d'enquêtes lourdes.

RecherchePaper
1 source
HiPHI : un benchmark à grande échelle pour le mouvement humain de haute précision et l'interaction avec les objets
Illustration générée par IA
3arXiv cs.RO 

HiPHI : un benchmark à grande échelle pour le mouvement humain de haute précision et l'interaction avec les objets

Des chercheurs ont publié HiPHI, un jeu de données de mouvement humain corps entier et d'interaction avec des objets, dépassant les 600 heures d'enregistrement, décrit dans un article déposé sur arXiv en août 2026 sous la référence 2608.16222. Construit à partir d'un pipeline de capture de mouvement optique, HiPHI atteint une précision de suivi des marqueurs spatiaux inférieure au millimètre pour le mouvement corps entier, ainsi que des trajectoires d'objets au niveau du maillage (mesh-level). Le dataset s'appuie théoriquement sur FrameNet, un cadre linguistique qui organise les primitives du mouvement humain. Les auteurs publient aussi une suite de benchmarks évaluant quatre axes : la diversité de l'espace des mouvements, l'ancrage des interactions (interaction grounding), la cohérence des objets manipulés, et les applications d'IA physique. Selon les analyses présentées, HiPHI élargit sensiblement la couverture des mouvements par rapport aux jeux de données existants, tout en conservant une fidélité élevée dans la qualité des interactions capturées. Ce travail cible un goulot d'étranglement jugé critique pour l'apprentissage de politiques robotiques humanoïdes à grande échelle : les vidéos issues d'internet, bien qu'abondantes, manquent d'états physiques précis et d'ancrage réel des interactions, tandis que les jeux de données de capture en laboratoire offrent une haute fidélité mais une couverture comportementale trop étroite. Pour les intégrateurs et laboratoires qui entraînent des modèles vision-langage-action à l'image de Pi-0 ou GR00T N2, ce type de fondation de données conditionne directement la capacité à généraliser des politiques apprises vers des tâches réelles incarnées, autrement dit le passage du simulateur au monde physique. Le papier revendique une amélioration mesurable de la diversité de mouvement, mais il s'agit à ce stade d'un benchmark académique évalué par ses propres auteurs, sans déploiement industriel ni adoption confirmée par un fabricant de robots humanoïdes. HiPHI s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les grands corpus vidéo génériques et les datasets de mouvement capturés en studio, un problème documenté depuis plusieurs années dans la littérature sur l'apprentissage par imitation pour humanoïdes. Les auteurs positionnent leur contribution face aux jeux de données de mouvement existants, jugés soit trop limités en diversité soit insuffisamment ancrés physiquement, sans nommer de concurrent unique. Le texte souligne une application transversale au-delà de la robotique : les mêmes extensions de couverture pourraient aussi nourrir des modèles de prior de mouvement en infographie, utilisés notamment pour l'animation de personnages. Publié comme preprint arXiv, HiPHI demeure pour l'instant une ressource de recherche ouverte plutôt qu'un produit commercial ; sa valeur pour l'industrie dépendra de la publication effective du dataset et du code, de comparaisons indépendantes, et d'une éventuelle intégration dans des pipelines d'entraînement de robots humanoïdes commerciaux.

RecherchePaper
1 source
HumanTracker : vers un benchmark complet et aligné sur l'humain pour le suivi de mouvement
Illustration générée par IA
4arXiv cs.RO 

HumanTracker : vers un benchmark complet et aligné sur l'humain pour le suivi de mouvement

Un benchmark nommé HumanTracker vient d'être publié sur arXiv (référence 2608.13555v1) pour évaluer le suivi de mouvement des robots humanoïdes dans les tâches de téléopération et d'imitation corps entier. Le jeu de données rassemble environ 153 heures de trajectoires de capture de mouvement optique, enregistrées auprès de plusieurs performeurs professionnels, et organisées en quatre familles de mouvements accompagnées d'étiquettes textuelles permettant un diagnostic fin des erreurs. Les auteurs introduisent également HumanScore, une métrique alignée sur les préférences humaines, entraînée sur 12 000 paires de mouvements couvrant 24 000 séquences au total. L'objectif affiché est de rendre l'évaluation à la fois plus fidèle à la perception humaine et suffisamment large pour couvrir des comportements riches en contacts et de longue durée, ce que les suites de tests existantes, jugées trop restreintes, ne permettaient pas jusqu'ici. Le problème ciblé touche directement les développeurs de systèmes de contrôle pour humanoïdes: les métriques cinématiques classiques, qui moyennent les écarts de pose image par image, masquent des artefacts physiques critiques comme le glissement des pieds ou des contacts mal synchronisés au sol, deux défauts souvent invisibles dans les scores mais très visibles dans les vidéos de démonstration. En confrontant plusieurs trackers considérés comme état de l'art, les auteurs montrent que HumanScore détecte des échecs de stabilité et de contact que les métriques cinématiques ignorent purement et simplement. Pour les intégrateurs et laboratoires qui évaluent des pipelines de téléopération ou d'imitation par apprentissage, ce travail pointe un écart connu mais rarement quantifié entre scores publiés et qualité perçue réellement, un signal utile face à l'inflation de démonstrations vidéo dans le secteur humanoïde. Il s'agit d'une publication de recherche fraîchement déposée sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement industriel: aucun robot, entreprise ou date de sortie n'est cité dans le papier. HumanTracker s'inscrit dans une vague plus large de travaux académiques cherchant à combler le fossé entre benchmarks de laboratoire et performance réelle des systèmes de contrôle humanoïdes, alors que le secteur multiplie les modèles vision langage action et les démonstrations de téléopération dont l'évaluation reste largement auto rapportée par les fabricants.

RecherchePaper
1 source