Déformer l'espace de travail : un accès visuel…

1arXiv cs.RO

GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail

Des chercheurs publient sur arXiv GestAdapt, un cadre de génération de gestes d'accompagnement de la parole (co-speech gestures) conditionné par l'espace de travail disponible pour les poignets du robot. L'idée de départ est que, pour une même phrase, plusieurs gestes sont plausibles. Un robot placé près d'un mur, par exemple, doit choisir un geste adapté à cette contrainte, et non produire un geste libre qu'on déformerait ensuite. Le système s'entraîne sur six corpus de gestes co-verbaux, réunis grâce à une représentation commune du mouvement, ce qui permet de retransposer les gestes vers différents robots. Dans l'étude utilisateurs, les gestes générés sous contraintes d'espace modifiées obtiennent une note moyenne de 3,24/5. La variante sans conditionnement d'espace obtient 2,43/5 et les mouvements de référence 3,68/5. Sur le robot humanoïde Reachy2, les mouvements issus de GestAdapt arrivent en tête dans 69,7 % des comparaisons. Tous les mouvements comparés sont soumis aux mêmes contraintes d'espace, y compris les mouvements humains de référence, retransposés puis contraints après coup. Le résultat touche à un point peu visible des démonstrations d'humanoïdes : la gestuelle d'un robot de service ou d'accueil se déploie dans des lieux réels, avec des comptoirs, des cloisons, des passants, et pas dans une pièce dégagée. L'étude indique que contraindre le geste pendant sa génération donne de meilleurs résultats que de corriger a posteriori une trajectoire libre, au risque d'en dégrader le naturel. Pour les intégrateurs d'humanoïdes interactifs, cela plaide pour intégrer la géométrie de l'environnement dans le modèle de génération plutôt que dans une couche de filtrage en aval. Il faut toutefois relativiser. Avec 3,24/5, le système reste nettement sous les gestes humains de référence, et l'écart avec la variante sans contrainte (0,81 point) est mesuré dans une étude utilisateurs dont la taille d'échantillon n'est pas précisée dans le résumé. Le classement sur robot ne porte que sur un seul modèle. Le choix de Reachy2 est notable pour l'écosystème européen. Ce bras-torse humanoïde est développé par Pollen Robotics, société française de la région bordelaise, et il sert de plateforme d'évaluation dans ce travail. Cela confirme sa place dans la recherche en interaction homme-robot, même si le résumé ne dit pas si l'équipe est liée à Pollen. GestAdapt s'inscrit dans la génération de gestes pilotée par la parole, qui repose surtout sur des modèles entraînés sur des données humaines, avec peu de prise en compte des limites physiques de l'espace de travail. Il s'agit d'une publication de recherche, sans produit, sans déploiement ni calendrier annoncés. Les prochaines étapes probables sont des évaluations sur d'autres morphologies et en conditions d'usage réelles, avec des contraintes d'espace plus variées.

UEReachy2, bras-torse humanoïde de la société française Pollen Robotics, sert de plateforme d'évaluation, ce qui confirme son rôle dans la recherche européenne en interaction homme-robot.

RecherchePaper

1 source

2arXiv cs.RO

FAME : RL adaptatif à la force pour élargir l'enveloppe de manipulation d'un robot humanoïde grandeur nature

Des chercheurs du laboratoire CORRELL proposent FAME, un cadre d'apprentissage par renforcement qui permet à un humanoïde grandeur nature de rester stable lorsqu'il subit des forces aux mains pendant une manipulation bimanuelle. Le travail, publié sur arXiv (2603.08961, version 2), conditionne une politique de maintien debout sur un contexte latent appris qui encode à la fois la configuration articulaire du haut du corps et les forces d'interaction aux deux mains. L'entraînement applique des forces 3D échantillonnées de façon isotrope sur chaque main, selon un curriculum de postures du haut du corps. Au déploiement, la force n'est pas mesurée : elle est reconstruite en ligne à partir des couples et états articulaires par dynamique inverse du corps rigide, sans capteur force/couple au poignet. Sur plus de 100 configurations du haut du corps soumises à des forces croissantes, FAME atteint 38,9 % de réussite avec une tolérance de 150 mm sur la position des mains. Les références plafonnent à 16,6 % (même force sans encodage), 4,3 % (politique à curriculum conditionnée par la pose) et 24,7 % (politique de locomotion entraînée de façon adverse). Le transfert est montré dans une cuisine simulée sous MuJoCo, puis sur un Unitree H1-2 grandeur nature avec des charges asymétriques et bimanuelles. Le code et les vidéos sont publiés. Ce résultat s'attaque à un point faible de la manipulation humanoïde : la plupart des politiques de locomotion savent ne pas tomber, mais pas tenir une tâche pendant qu'on les pousse. Le critère de réussite est ici plus exigeant que le simple fait de rester debout, puisque le robot doit aussi garder les mains près de la cible. La politique adverse en est l'illustration : elle reste droite en faisant un pas, ce qui déplace les mains et fait échouer la tâche. Pour un intégrateur, le gain est double. Retirer les capteurs F/T de poignet réduit coût, masse et fragilité, et la dynamique inverse est déjà disponible sur les plateformes à retour de couple. Il faut toutefois relativiser : 38,9 % de réussite sur un balayage volontairement difficile de forces et de postures montre que l'enveloppe reste étroite, très loin d'un niveau de fiabilité industrielle. Les résultats sont aussi essentiellement obtenus en simulation, avec une démonstration matérielle qualitative sur le H1-2, sans taux de réussite chiffré sur robot réel. Le travail s'inscrit dans la montée des politiques de contrôle du corps entier pour humanoïdes, où la manipulation avec charge reste moins mature que la marche ou la téléopération. Il se positionne face aux approches de robustesse par entraînement adverse et aux politiques conditionnées sur la seule pose, que les auteurs surclassent nettement dans leur protocole. Les acteurs commerciaux comme Figure, Tesla (Optimus) ou Agility misent sur des contrôleurs propriétaires dont les performances sous charge ne sont pas publiées, ce qui rend la comparaison impossible. Les prochaines étapes naturelles seraient d'intégrer ce contrôleur de stabilité sous une politique de manipulation de type VLA, de quantifier les résultats sur robot réel et d'élargir l'enveloppe au-delà de la posture debout, vers la marche chargée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

MATE : plateforme de téléopération virtuelle multi-agents pour la collecte de données de collaboration humanoïde

Une équipe de recherche présente MATE, une plateforme de téléopération virtuelle multi-agents conçue pour collecter des données de collaboration entre robots humanoïdes, décrite dans un article déposé sur arXiv (2609.26520v1). Le système permet à plusieurs opérateurs situés dans des lieux géographiquement distincts de piloter simultanément des humanoïdes corps entier dans un même environnement virtuel basé sur un moteur physique, sans avoir besoin de robots physiques multiples ni de colocaliser les opérateurs, tout en conservant des interactions physiquement couplées entre les robots, les objets et l'environnement. Les auteurs ont constitué avec cet outil un jeu de données de 24,1 heures de comportements coordonnés, réparties en 2 500 épisodes conjoints couvrant cinq tâches à long horizon : transfert d'objets entre robots, livraison en relais, interaction avec l'environnement et transport coopératif. Pour exploiter efficacement ces démonstrations riches en interactions, l'équipe introduit aussi EAIS (Execution-Aligned Interaction Sampling), une stratégie d'échantillonnage qui calcule des signaux dans un préfixe aligné sur l'exécution réelle et priorise les comportements critiques pour la progression de la tâche et pour l'interaction entre agents. Les politiques d'apprentissage par imitation et de type vision-langage-action testées sur ces données ont montré un transfert zero-shot vers un humanoïde physique, sans réglage fin supplémentaire dans le monde réel. Ce travail s'attaque à un goulot d'étranglement connu de la robotique humanoïde : la quasi-totalité des pipelines de données existants se concentrent sur un seul agent, alors que la collaboration physique entre plusieurs robots reste difficile à faire passer à l'échelle à cause du coût du matériel, des espaces dédiés nécessaires et des remises en configuration répétées entre chaque essai. En déplaçant la collecte dans un environnement simulé partagé, MATE promet de réduire drastiquement ces coûts tout en gardant la donnée exploitable pour l'entraînement de politiques réelles. Le résultat le plus notable pour les intégrateurs et les équipes de recherche appliquée est ce transfert zero-shot vers le monde réel sans fine-tuning : s'il se confirme au-delà des conditions de l'étude, il viendrait étayer l'idée qu'un volume suffisant de données simulées bien échantillonnées peut suffire à combler l'écart simulation-réel pour des tâches de manipulation coopérative, une hypothèse encore débattue dans le secteur. MATE s'inscrit dans la lignée des plateformes de téléopération virtuelle déjà utilisées pour générer des données d'entraînement à moindre coût, mais se distingue en visant spécifiquement la coordination entre plusieurs humanoïdes plutôt que l'agent unique, un axe encore peu couvert par les pipelines publics existants. L'article ne mentionne ni partenaire industriel ni acteur français ou européen associé au projet, et reste à ce stade une publication de recherche accompagnée d'une page projet (yerik-yu.github.io/MATE) plutôt qu'un produit ou un déploiement commercial. Les prochaines étapes attendues, non détaillées dans le résumé, porteraient vraisemblablement sur l'extension du nombre de tâches couvertes et sur des validations à plus grande échelle sur robots physiques.

RecherchePaper

1 source

4arXiv cs.RO

Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération

Une équipe de chercheurs présente sur arXiv un système de téléopération permettant à un seul opérateur d'exécuter des tâches de chantier avec un Unitree G1, humanoïde d'entrée de gamme très répandu dans les laboratoires. L'architecture sépare le haut et le bas du corps. Le haut du corps (bras et mains) est piloté par un dispositif de réalité étendue (XR) qui reproduit les mouvements de l'opérateur. La locomotion est commandée au pédalier, ce qui libère les mains et permet de manipuler et de marcher en même temps. Deux tâches tirées de la base de données professionnelle O*NET ont servi de test : le transport d'outils et la peinture de surface. Le système a atteint 100 % de réussite sur le transport d'outils et 80 % sur la peinture. Les auteurs ne précisent pas dans le résumé le nombre d'essais, mais ces taux, établis sur un échantillon visiblement restreint, relèvent de l'étude de faisabilité et non de la validation statistique. Surtout, la téléopération demande nettement plus de temps que l'exécution manuelle par un humain, sans que le résumé chiffre l'écart. L'intérêt tient moins aux performances brutes qu'à la posture adoptée. Plutôt que d'attendre une autonomie complète, que les modèles vision-langage-action (VLA) n'ont pas encore démontrée sur des environnements de chantier non structurés, les auteurs défendent la téléopération comme solution à court terme. Elle répond à la pénurie de main-d'œuvre et aux conditions dangereuses, en éloignant l'ouvrier des tâches les plus pénibles. Elle produit aussi des démonstrations de qualité pour entraîner les futures politiques d'apprentissage. Le résultat nuance le discours de certains acteurs du secteur : un humanoïde commandé à distance reste plus lent qu'un travailleur, ce qui pèse sur la rentabilité immédiate. Pour un intégrateur ou un décideur du BTP, la valeur à court terme se situe donc dans la sécurité et la collecte de données, pas dans la productivité. Ce travail s'inscrit dans une dynamique où la téléopération sert de passerelle vers l'autonomie. Le recueil de démonstrations par casque XR est devenu courant pour alimenter des modèles comme Pi-0 ou GR00T, et le G1, vendu à un prix bien inférieur à celui des humanoïdes industriels, s'impose comme plateforme de recherche. Face à lui, Figure, Tesla avec Optimus ou Agility visent d'abord la logistique et l'usine, plus structurées que le chantier. Le BTP reste un terrain peu exploré pour les humanoïdes, et aucun pilote ni calendrier de déploiement n'est annoncé ici. Il s'agit d'une publication préliminaire (v1), sans produit ni client, dont la suite logique serait des essais plus nombreux, des tâches plus variées et une comparaison chiffrée des temps d'exécution.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Déformer l'espace de travail : un accès visuel élargi grâce à une portée ajustable pour la téléopération de robots humanoïdes

À lire aussi

GestAdapt : génération de gestes accompagnant la parole pour robots humanoïdes, conditionnée par l'espace de travail

FAME : RL adaptatif à la force pour élargir l'enveloppe de manipulation d'un robot humanoïde grandeur nature

MATE : plateforme de téléopération virtuelle multi-agents pour la collecte de données de collaboration humanoïde

Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération