HumanoidArena : évaluation de l'apprentissage…

1arXiv cs.RO

Un tokeniseur d'actions hiérarchique spatio-temporel pour l'apprentissage par imitation en contexte en robotique

Des chercheurs ont publié sur arXiv (référence 2604.15215v2) un travail portant sur HiST-AT, un tokeniseur d'actions hiérarchique et spatiotemporel conçu pour l'apprentissage par imitation en contexte. Le principe central repose sur deux niveaux successifs de quantification vectorielle : le premier niveau affecte chaque action à des sous-clusters fins, tandis que le second regroupe ces sous-clusters en clusters plus larges. L'extension spatiotemporelle va plus loin en récupérant simultanément les actions et leurs horodatages associés, permettant au modèle d'exploiter à la fois la géométrie des mouvements et leur séquençage temporel. Les évaluations ont été conduites sur plusieurs benchmarks de manipulation robotique en simulation et en conditions réelles, et les auteurs revendiquent un nouveau niveau de performance de référence sur les tâches d'apprentissage par imitation en contexte. Ce résultat intéresse directement les équipes qui travaillent sur le déploiement rapide de robots dans de nouvelles tâches industrielles sans collecter des milliers de démonstrations. L'apprentissage par imitation en contexte, calqué sur le few-shot prompting des grands modèles de langage, vise à permettre à un robot d'exécuter une nouvelle tâche à partir de quelques exemples fournis dynamiquement, sans réentraînement. La qualité du tokeniseur d'actions est ici le maillon critique : une discrétisation trop grossière des trajectoires efface l'information fine de manipulation ; trop granulaire, elle rend l'espace de tokens ingérable. Le fait que l'approche hiérarchique améliore les résultats par rapport à une quantification à un seul niveau, et que l'ajout de l'information temporelle amplifie encore ce gain, suggère que la structure latente des tâches de manipulation est intrinsèquement multiscale. L'apprentissage par imitation en contexte pour la robotique s'est fortement développé depuis 2023, porté par des modèles comme ACT, Diffusion Policy, et plus récemment les architectures de type VLA (Vision-Language-Action) telles que OpenVLA, pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA. La tokenisation des actions est un point de friction commun à toutes ces approches : comment convertir des trajectoires continues en séquences discrètes manipulables par un transformer. HiST-AT apporte une réponse structurée à ce problème, mais il s'agit à ce stade d'un résultat de recherche publié en preprint, sans validation industrielle ni déploiement annoncé. Les prochaines étapes naturelles seront d'évaluer la robustesse en dehors des benchmarks académiques, notamment sur des tâches de manipulation à haute fréquence ou en environnement non contrôlé.

RechercheOpinion

1 source

2arXiv cs.RO

Apprentissage hiérarchique de politiques résiduelles pour la manipulation mobile en conditions réelles, avec peu de guidage humain

HiRe-MoMa (Hierarchical Residual Mobile Manipulation) est un cadre d'apprentissage proposé dans un preprint arXiv (2610.20607) pour affiner, directement sur robot réel, des systèmes de manipulation mobile (MoMa). Il gèle une politique de base et apprend par-dessus des corrections additives, dites résiduelles, indépendantes de l'architecture de cette politique. Ce résiduel est scindé en deux têtes, l'une pour la base mobile et l'autre pour le bras manipulateur, avec un conditionnement unidirectionnel censé limiter les interférences de gradients et refléter la hiérarchie physique de la plateforme. Un second mécanisme, l'Expert-Guided Value Alignment, exploite de rares interventions humaines, couvrant moins de 20 % de l'entraînement, pour remodeler la fonction de valeur du critique et orienter l'exploration autonome. Les expériences ont été menées sur le robot TIAGo++, avec environ 30 minutes d'interaction en ligne, et les auteurs rapportent une amélioration constante des performances quelle que soit la politique de base. Le résumé ne donne ni taux de réussite ni liste de tâches. L'intérêt pour l'industrie tient au goulot d'étranglement que ce travail vise : l'affinage en conditions réelles de systèmes mobiles, où l'espace d'action est de grande dimension et où la base et le bras sont fortement couplés. Les politiques généralistes de type VLA (vision-langage-action) restent souvent fragiles une fois sorties de leurs conditions d'entraînement, et l'apprentissage par renforcement sur robot réel est coûteux en données et risqué. Une adaptation en une demi-heure, avec un superviseur humain intervenant ponctuellement, correspondrait à un coût de mise en service compatible avec un pilote chez un intégrateur. Le caractère agnostique vis-à-vis de la politique de base est un atout, car il permettrait de greffer la méthode sur des modèles existants sans les réentraîner. Les auteurs affirment toutefois être « parmi les premiers » à y parvenir, ce qui reste à situer, et l'absence de chiffres dans le résumé impose de lire les tableaux : nombre de tâches, de séries d'essais, robustesse hors configuration d'entraînement et fréquence des échecs ou des collisions. Ce travail s'inscrit dans la montée de l'apprentissage résiduel et de l'affinage par RL de politiques pré-entraînées par imitation, une voie explorée pour combler l'écart entre démonstration et fiabilité. Le choix de TIAGo++, plateforme de recherche bimanuelle développée par PAL Robotics, société barcelonaise, donne en outre une visibilité à l'écosystème européen. Il s'agit d'un résultat académique et non d'un produit : aucun déploiement commercial ni calendrier n'est annoncé. Les suites naturelles sont la validation sur d'autres plateformes, des tâches plus longues et des environnements plus dynamiques, ainsi qu'une comparaison avec les approches d'affinage de grands modèles généralistes. Le site du projet, hire-moma.github.io, doit détailler les expériences.

UELe choix du robot TIAGo++ de PAL Robotics (Barcelone) donne une visibilité à l'écosystème européen, sans déploiement ni impact direct en France.

RecherchePaper

1 source

3arXiv cs.RO

OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion

Des chercheurs publient sur arXiv OccluDex, un cadre d'apprentissage de représentations visuo-tactiles 3D destiné à la manipulation dextre en vision égocentrique, c'est-à-dire avec une caméra placée du point de vue du robot. Le problème visé est que la main occulte elle-même les surfaces de l'objet et les zones de contact, ce qui prive l'estimation d'état d'une partie de l'information visuelle. L'encodeur repose sur un autoencodeur masqué multi-échelle qui encode progressivement la géométrie 3D partielle. Des jetons tactiles de contact sont ensuite fusionnés avec les caractéristiques géométriques de haut niveau par attention croisée. Il est préentraîné sur des démonstrations humaines visuo-tactiles synchronisées, puis transféré gelé comme backbone perceptif pour de l'apprentissage par renforcement. Deux tâches servent à l'évaluation : la rotation d'un robinet (un tour complet de poignée dans le sens horaire) et la réorientation d'un objet posé sur une table de 180 degrés, sans le renverser. En simulation, les auteurs annoncent une précision supérieure de 12,6 % sur objets inconnus et de 8,3 % sur objets déjà vus, par rapport au meilleur modèle de référence. Des essais physiques avec une main Shadow Hand montrent un transfert sim-to-real zero-shot sur des objets inconnus. Pour les équipes qui développent des mains dextres, l'intérêt tient à l'angle choisi. La plupart des travaux traitent l'occultation comme un bruit à tolérer, alors qu'elle est ici le cœur du problème, et c'est elle qui domine dès que la main se referme sur un objet. Le tactile compense la vision justement là où elle manque. Le préentraînement sur démonstrations humaines et le backbone gelé réduisent aussi le coût de l'apprentissage par renforcement, car l'encodeur n'a pas à être réappris pour chaque tâche. À nuancer toutefois : les gains en simulation sont modestes, et les auteurs ne précisent pas le nombre d'essais réels, le taux de réussite physique ni la variété des objets. Le test se limite à deux tâches et à une seule main, très coûteuse. Le passage vers des mains d'humanoïdes de série reste donc une extrapolation, et l'affirmation sur la manipulation humanoïde est une projection, pas un résultat démontré. Ces travaux s'inscrivent dans la ligne des représentations 3D visuo-tactiles et des autoencodeurs masqués, appliqués à la manipulation dextre, souvent évaluée en simulation puis sur Shadow Hand. Ils se positionnent face à des approches qui combinent nuages de points et tactile sans hiérarchie entre structure globale et contact local. Les modèles VLA généralistes, qui exploitent surtout des images RGB, traitent peu le tactile et l'occultation. Aucun pilote industriel ni calendrier n'est annoncé, et il s'agit d'une publication de recherche préliminaire (v1), non évaluée par les pairs. La suite logique serait une validation sur davantage de tâches, de mains et de capteurs tactiles, avec des statistiques de réussite en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique

Une équipe de chercheurs a publié HT-Bench, un benchmark à grande échelle destiné à évaluer les représentations tactiles main entière dans la manipulation robotique dextre, avec un dataset de 10 millions de trames RGB et 7,8 millions de trames tactiles collectées sur 226 tâches distinctes. La publication (arXiv:2606.19161, juin 2026) propose une approche centrée sur la vision égocentrique couplée à des capteurs tactiles couvrant l'intégralité de la main robotique. Le benchmark structure l'évaluation autour de quatre tâches : récupération de similarité tactile fine, inpainting de trames masquées, synthèse vision-vers-tactile, et prédiction multimodale de trames tactiles. En parallèle, les auteurs introduisent HandTouch, un encodeur vision-tactile à quantification vectorielle (VQ), entraîné selon trois phases progressives : spatiale, cross-modale et temporelle. Les gains quantitatifs de HandTouch sur HT-Bench sont nets : le Recall@5 en récupération de similarité tactile passe de 74,65 % à 85,23 %, l'erreur quadratique moyenne (RMSE) en inpainting chute de 0,022 à 0,010, et le score cIoU hors-distribution (OOD) en synthèse vision-tactile progresse de 0,628 à 0,705. Pour l'industrie robotique, cela valide une hypothèse structurante : coupler vision égocentrique et retour tactile main entière constitue une base d'apprentissage généralisable, sans exiger des capteurs ou des embodiments standardisés. C'est un signal concret pour les intégrateurs et équipes R&D travaillant sur la manipulation dextre en environnements non structurés, où percevoir l'état d'une prise sans vision directe reste un verrou majeur. Le domaine du tactile en robotique souffre depuis longtemps d'une fragmentation des formats de capteurs et des protocoles, rendant les comparaisons entre travaux difficiles. HT-Bench s'inscrit dans une dynamique de benchmarking qui émerge en 2025-2026, aux côtés d'initiatives comme RoboSet, DROID ou LIBERO pour la manipulation généraliste. Des laboratoires comme le CMU Robotics Institute et le MIT CSAIL, ainsi que des entreprises comme Sanctuary AI, explorent des approches similaires de fusion tactile-visuelle. Aucun acteur européen n'est directement cité dans ce travail, mais des startups comme Enchanted Tools ou Wandercraft, actives sur la manipulation avancée, pourraient tirer parti d'un tel benchmark pour standardiser leurs évaluations internes. L'étape suivante logique serait l'intégration de HandTouch dans des pipelines VLA (Vision-Language-Action), où le retour tactile reste aujourd'hui largement absent.

RecherchePaper

1 source

HumanoidArena : évaluation de l'apprentissage corporel hiérarchique en vue égocentrique

À lire aussi

Un tokeniseur d'actions hiérarchique spatio-temporel pour l'apprentissage par imitation en contexte en robotique

Apprentissage hiérarchique de politiques résiduelles pour la manipulation mobile en conditions réelles, avec peu de guidage humain

OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion

HT-Bench : évaluation et apprentissage des représentations tactiles dextériques de la main par vision égocentrique