RecherchearXiv cs.RO 18 août 2026

HiPHI : un benchmark à grande échelle pour le mouvement humain de haute précision et l'interaction avec les objets

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié HiPHI, un jeu de données de mouvement humain corps entier et d'interaction avec des objets, dépassant les 600 heures d'enregistrement, décrit dans un article déposé sur arXiv en août 2026 sous la référence 2608.16222. Construit à partir d'un pipeline de capture de mouvement optique, HiPHI atteint une précision de suivi des marqueurs spatiaux inférieure au millimètre pour le mouvement corps entier, ainsi que des trajectoires d'objets au niveau du maillage (mesh-level). Le dataset s'appuie théoriquement sur FrameNet, un cadre linguistique qui organise les primitives du mouvement humain. Les auteurs publient aussi une suite de benchmarks évaluant quatre axes : la diversité de l'espace des mouvements, l'ancrage des interactions (interaction grounding), la cohérence des objets manipulés, et les applications d'IA physique. Selon les analyses présentées, HiPHI élargit sensiblement la couverture des mouvements par rapport aux jeux de données existants, tout en conservant une fidélité élevée dans la qualité des interactions capturées.

Ce travail cible un goulot d'étranglement jugé critique pour l'apprentissage de politiques robotiques humanoïdes à grande échelle : les vidéos issues d'internet, bien qu'abondantes, manquent d'états physiques précis et d'ancrage réel des interactions, tandis que les jeux de données de capture en laboratoire offrent une haute fidélité mais une couverture comportementale trop étroite. Pour les intégrateurs et laboratoires qui entraînent des modèles vision-langage-action à l'image de Pi-0 ou GR00T N2, ce type de fondation de données conditionne directement la capacité à généraliser des politiques apprises vers des tâches réelles incarnées, autrement dit le passage du simulateur au monde physique. Le papier revendique une amélioration mesurable de la diversité de mouvement, mais il s'agit à ce stade d'un benchmark académique évalué par ses propres auteurs, sans déploiement industriel ni adoption confirmée par un fabricant de robots humanoïdes.

HiPHI s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les grands corpus vidéo génériques et les datasets de mouvement capturés en studio, un problème documenté depuis plusieurs années dans la littérature sur l'apprentissage par imitation pour humanoïdes. Les auteurs positionnent leur contribution face aux jeux de données de mouvement existants, jugés soit trop limités en diversité soit insuffisamment ancrés physiquement, sans nommer de concurrent unique. Le texte souligne une application transversale au-delà de la robotique : les mêmes extensions de couverture pourraient aussi nourrir des modèles de prior de mouvement en infographie, utilisés notamment pour l'animation de personnages. Publié comme preprint arXiv, HiPHI demeure pour l'instant une ressource de recherche ouverte plutôt qu'un produit commercial ; sa valeur pour l'industrie dépendra de la publication effective du dataset et du code, de comparaisons indépendantes, et d'une éventuelle intégration dans des pipelines d'entraînement de robots humanoïdes commerciaux.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

HumanTracker : vers un benchmark complet et aligné sur l'humain pour le suivi de mouvement

Un benchmark nommé HumanTracker vient d'être publié sur arXiv (référence 2608.13555v1) pour évaluer le suivi de mouvement des robots humanoïdes dans les tâches de téléopération et d'imitation corps entier. Le jeu de données rassemble environ 153 heures de trajectoires de capture de mouvement optique, enregistrées auprès de plusieurs performeurs professionnels, et organisées en quatre familles de mouvements accompagnées d'étiquettes textuelles permettant un diagnostic fin des erreurs. Les auteurs introduisent également HumanScore, une métrique alignée sur les préférences humaines, entraînée sur 12 000 paires de mouvements couvrant 24 000 séquences au total. L'objectif affiché est de rendre l'évaluation à la fois plus fidèle à la perception humaine et suffisamment large pour couvrir des comportements riches en contacts et de longue durée, ce que les suites de tests existantes, jugées trop restreintes, ne permettaient pas jusqu'ici. Le problème ciblé touche directement les développeurs de systèmes de contrôle pour humanoïdes: les métriques cinématiques classiques, qui moyennent les écarts de pose image par image, masquent des artefacts physiques critiques comme le glissement des pieds ou des contacts mal synchronisés au sol, deux défauts souvent invisibles dans les scores mais très visibles dans les vidéos de démonstration. En confrontant plusieurs trackers considérés comme état de l'art, les auteurs montrent que HumanScore détecte des échecs de stabilité et de contact que les métriques cinématiques ignorent purement et simplement. Pour les intégrateurs et laboratoires qui évaluent des pipelines de téléopération ou d'imitation par apprentissage, ce travail pointe un écart connu mais rarement quantifié entre scores publiés et qualité perçue réellement, un signal utile face à l'inflation de démonstrations vidéo dans le secteur humanoïde. Il s'agit d'une publication de recherche fraîchement déposée sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement industriel: aucun robot, entreprise ou date de sortie n'est cité dans le papier. HumanTracker s'inscrit dans une vague plus large de travaux académiques cherchant à combler le fossé entre benchmarks de laboratoire et performance réelle des systèmes de contrôle humanoïdes, alors que le secteur multiplie les modèles vision langage action et les démonstrations de téléopération dont l'évaluation reste largement auto rapportée par les fabricants.

RecherchePaper

1 source

2arXiv cs.RO

Peg-in-Bench : un benchmark modulaire pour l'insertion robotique de haute précision

Des chercheurs du centre de recherche en intelligence artificielle de l'AIST, l'institut public japonais des sciences et technologies industrielles avancées, ont publié en septembre 2026 sur arXiv (2609.00906) Peg-in-Bench, un banc d'essai reconfigurable pour l'insertion robotique de haute précision, la tâche dite "peg-in-hole" qui consiste à insérer une tige dans un trou avec un jeu très serré. L'outil repose sur des pièces entièrement imprimables en 3D, combinant plusieurs géométries de tiges, différents niveaux de tolérance et des structures de base configurables, pour générer un grand nombre de scénarios d'insertion et d'assemblage. Un logiciel de génération de scénarios standardisées et lisibles par machine accompagne le matériel afin d'assurer la reproductibilité des tests ; fichiers STL et outil sont disponibles gratuitement sur le dépôt GitHub aistairc/peg-in-bench. L'insertion de précision reste l'un des points durs de la manipulation robotique, du fait de l'alignement strict et des contacts complexes exigés entre la tige et son logement. Les benchmarks peg-in-hole existants reposent généralement sur des configurations figées, ce qui empêche de mesurer la robustesse et la capacité de généralisation d'une politique face à des scénarios inédits plutôt que sur une seule tâche répétée. En permettant de varier systématiquement la disposition, l'orientation et la structure des tâches sous conditions physiques contrôlées, Peg-in-Bench offre à la recherche un protocole commun pour évaluer la généralisation des politiques de manipulation, un enjeu direct pour les intégrateurs industriels dont l'assemblage de connecteurs électroniques ou de pièces mécaniques dépend de tolérances très faibles. Le projet s'inscrit dans un mouvement plus large visant à remplacer les bancs d'essai figés, simulés ou fabriqués sur mesure en laboratoire, par des protocoles reproductibles et partagés entre équipes. Des pièces entièrement imprimables en 3D et sans matériel propriétaire doivent faciliter l'adoption du même banc d'essai par d'autres laboratoires et permettre des comparaisons directes de résultats, une difficulté récurrente pour évaluer des politiques d'apprentissage par renforcement ou par imitation en manipulation fine. Il s'agit d'une publication de recherche et d'un outil en libre accès, non d'un produit commercial ni d'un déploiement industriel : les auteurs ne communiquent ni sur des essais pilotes ni sur un calendrier de suites, l'adoption future dépendant de l'usage qu'en fera la communauté académique.

RecherchePaper

1 source

3arXiv cs.RO

MotionForge : pipeline de génération de données et benchmark à grande échelle pour la manipulation longue portée d'objets dynamiques avec décalages de domaine

La communauté de recherche en robotique dispose depuis fin septembre 2026 d'un nouveau benchmark baptisé MotionForge, décrit dans un article arXiv (2609.25689) comme le premier à évaluer conjointement les changements de domaine et les interactions de longue durée dans la manipulation d'objets dynamiques. Le système combine un pipeline de génération de données et une suite de simulation couvrant 40 tâches d'interaction dynamique réparties en 11 patterns de mouvement distincts, dont 17 tâches dites longue durée (long-horizon). Deux protocoles structurent l'évaluation : le premier mesure la robustesse des politiques face à des changements de domaine isolés (par exemple uniquement l'arrière-plan) ou combinés (objets, arrière-plans, éclairage et vitesse modifiés simultanément) ; le second est un protocole d'exécution découplé et sensible à la latence, où l'environnement continue d'évoluer indépendamment du temps de calcul nécessaire à la politique pour décider de son action, contrairement aux simulateurs classiques qui figent la scène pendant l'inférence. Ce travail est important parce qu'il expose un décalage jusqu'ici mal quantifié entre les promesses des politiques robotiques généralistes de type vision-langage-action et leurs performances réelles hors environnements statiques ou quasi statiques. Les auteurs rapportent des limitations substantielles de ces politiques dès lors que plusieurs facteurs de domaine varient en même temps, ce qui contredit l'idée reçue selon laquelle le sim-to-real ou la généralisation à grande échelle seraient déjà largement résolus pour la manipulation dynamique. Pour les intégrateurs et décideurs industriels envisageant des déploiements en entrepôt, logistique ou chaîne de production où les objets bougent en continu, ce résultat invite à traiter les métriques de démonstration avec prudence tant que les tests ne reproduisent pas des conditions de domain shift joint et de latence réaliste. MotionForge répond à une lacune identifiée dans les benchmarks dynamiques existants, jugés trop centrés sur des interactions courtes et réactives avec des mouvements simples, sans protocole systématique de test sous changement de domaine ni exécution temps réel agnostique au modèle. En le positionnant comme testbed de référence, les auteurs visent à orienter les prochains travaux de recherche en IA incarnée vers des évaluations plus proches des conditions réelles, sans toutefois annoncer à ce stade de déploiement matériel ni de partenariat industriel.

RecherchePaper

1 source

4arXiv cs.RO

IMPACT : l'attention comme carte des interactions pour entraîner à grande échelle des modèles du monde qui les intègrent

Des chercheurs présentent IMPACT, une méthode d'entraînement pour les world models utilisés par les agents robotiques, détaillée dans un article publié le 2 septembre 2026 sur arXiv (2609.00161v1). Ces modèles prédisent l'évolution future d'une scène à partir d'une action donnée, mais peinent à générer des interactions physiquement plausibles entre un bras ou une main et les objets manipulés. Les approches existantes corrigent ce défaut en injectant des représentations externes de mouvement, géométrie ou sémantique, obtenues via des estimateurs auxiliaires ou des annotations manuelles, ce qui limite le passage à l'échelle. Les auteurs identifient plutôt un défaut structurel dans l'objectif d'entraînement standard, l'erreur quadratique moyenne globale, qui privilégie le contenu statique dominant de la scène au détriment des rares régions dynamiques où se joue l'interaction. IMPACT exploite les cartes d'attention croisée déjà associées aux tokens de l'objet manipulé comme indice spatiotemporel interne, échantillonne les régions candidates, les recalibre avec les erreurs de prédiction locales, puis reprend cette carte d'interaction pour repondérer la supervision du débruitage, sans représentation externe ni modification au moment de l'inférence. Testée sur des tâches de manipulation par bras robotique et par main humaine, avec plusieurs modalités de contrôle et backbones DiT, la méthode surpasse systématiquement les bases entraînées en MSE classique sur la fidélité des interactions, la plausibilité physique et la qualité visuelle. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement bien identifié dans l'entraînement des world models et des politiques VLA à grande échelle: la difficulté à faire tenir la promesse du "sim-to-real" ou de la génération vidéo conditionnée par action lorsque les moments qui comptent, le contact, la préhension, le déplacement d'un objet, ne représentent qu'une fraction des pixels d'une séquence. En évitant de dépendre d'annotateurs externes ou de pipelines de labellisation coûteux, IMPACT propose une voie de passage à l'échelle compatible avec les volumes de données nécessaires à l'entraînement de modèles génératifs pour la robotique, un enjeu direct pour les laboratoires qui alimentent des architectures de type GR00T N2, Pi-0 ou Helix en données synthétiques ou en simulateurs de monde. Ce travail s'inscrit dans la lignée des recherches récentes sur les world models conditionnés par action, où plusieurs équipes ont cherché à contraindre la génération avec des représentations de mouvement ou de géométrie pour éviter les artefacts physiquement incohérents, une limite régulièrement pointée dans les démonstrations vidéo de modèles de manipulation. IMPACT se positionne comme une alternative purement algorithmique à ces approches basées sur des représentations externes, testée sur plusieurs backbones DiT et modalités de contrôle, sans toutefois préciser de déploiement industriel ni de partenaire robotique à ce stade: il s'agit d'une contribution de recherche publiée sur arXiv, dont l'adoption par des acteurs commerciaux de la robotique reste à confirmer dans les prochains mois.

RecherchePaper

1 source