RecherchearXiv cs.RO 21 juillet 2026

Robot semi-humanoïde NICO imite des gestes du bras par démonstration

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le robot semi-humanoïde NICO peut désormais imiter des gestes du bras humain à partir d'une simple caméra RGB monoculaire, selon un article publié sur arXiv (2607.18197). Le système combine géométrie analytique et le modèle pré-entraîné MediaPipe pour l'estimation de pose. Pour chaque image vidéo, MediaPipe extrait les coordonnées 3D des points clés du corps humain pertinents (articulations du bras, poignets, mains). Ces coordonnées sont ensuite converties en angles articulaires via des relations géométriques dérivées mathématiquement, puis transposées vers la configuration moteur de NICO pour exécuter une séquence de mouvement prédéfinie. Les chercheurs ont testé la méthode sur plusieurs gestes du bras représentatifs avec six participants de tailles différentes, afin de vérifier la robustesse du système face à la morphologie variable des utilisateurs.

Ce travail s'inscrit dans un enjeu central de l'interaction homme-robot (HRI) : la capacité d'un robot à reproduire des gestes humains de façon fluide et naturelle, un prérequis pour des usages comme l'apprentissage par démonstration, l'assistance sociale ou la collaboration physique. L'intérêt de l'approche tient à sa simplicité matérielle: pas de capteurs de mouvement, pas de caméra de profondeur, une seule caméra RGB suffit grâce à MediaPipe. C'est un signal utile pour les intégrateurs cherchant des solutions d'imitation gestuelle à faible coût, sans dépendre de capteurs spécialisés coûteux. Les auteurs restent toutefois transparents sur les limites: les gestes complexes et les mouvements du poignet posent problème, ce qui rappelle que l'imitation gestuelle générique et robuste reste un défi ouvert, loin d'être résolu par cette seule démonstration préliminaire.

NICO est une plateforme robotique semi-humanoïde de taille enfant, utilisée en recherche pour explorer le développement cognitif et l'interaction sociale robot-humain. L'utilisation de MediaPipe, framework open source de Google pour l'estimation de pose en temps réel, s'inscrit dans une tendance plus large de recherche en robotique consistant à réutiliser des modèles de vision par ordinateur grand public plutôt qu'à développer des systèmes de perception propriétaires coûteux. Les auteurs présentent ce travail comme une étude préliminaire; les prochaines étapes attendues concerneraient l'amélioration de la précision sur les poses complexes et les mouvements fins du poignet, ainsi qu'une possible extension à l'imitation bimanuelle ou à des interactions plus dynamiques.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK). Deux catégories de designs ont été produites: une main à 6 degrés de liberté (DoF) à usage général, et des mains spécialisées à 3 DoF équipées de joints "mimic" à quadrilatère articulé (four-bar spatial). Un acteur entraîné par apprentissage par renforcement (RL) accélère la recherche morphologique, réduisant le temps de calcul de plusieurs heures à quelques minutes; les structures finales sont fabriquées en impression 3D print-in-place, en une seule pièce articulée sans assemblage. En expériences réelles, la main 6-DoF dépasse des mains robotiques commerciales non identifiées sur la précision de suivi télé-opéré, tandis que les mains 3-DoF reproduisent des trajectoires structurées avec une complexité mécanique réduite. L'apport principal est la résolution d'un verrou de fond en co-design: en imposant la même politique IK simple pendant l'optimisation et après fabrication, les auteurs découplent la recherche morphologique de l'apprentissage d'un contrôleur complexe, rendant l'exploration de l'espace de design tractable à grande échelle. Ce résultat soutient une hypothèse émergente: des données massives de mouvement humain non conçues pour la robotique peuvent informer l'optimisation de l'embodiment physique d'un robot, et pas seulement son contrôleur. La comparaison avec des mains commerciales reste difficile à évaluer, le preprint ne précisant ni les références comparées ni les conditions d'évaluation; prudence sur ce point en l'absence de benchmark standardisé. Ce travail prolonge une tendance croissante qui vise à utiliser des données humaines non seulement pour entraîner des politiques robotiques (VLA, imitation learning), mais pour co-générer le hardware lui-même. Les approches concurrentes en evolutionary robotics et en simulation différentiable existent depuis des années mais restent coûteuses en calcul ou peu généralisables; l'originalité de cette contribution réside dans la décorrélation design/contrôle et dans l'usage du RL comme heuristique de recherche morphologique efficace. À ce stade, il s'agit d'un preprint non encore peer-reviewed, sans déploiement industriel ni partenaire commercial annoncé; les suites naturelles seraient une validation sur un spectre plus large de tâches de manipulation et une comparaison rigoureuse avec des benchmarks établis. Aucun acteur européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

2arXiv cs.RO

Optimisation du transfert simulation-réel chez le robot humanoïde NICO

Une équipe de recherche a présenté une nouvelle méthode pour améliorer la préhension d'objets par le robot humanoïde NICO, en s'appuyant sur des travaux antérieurs de calibration haptique qui avaient déjà réduit les erreurs de positionnement lors de mouvements de type "reaching" en 2D. Dans cette nouvelle étude, publiée sur arXiv, les chercheurs étendent cette approche à la saisie d'objets posés sur une table. Le système combine une détection d'objets et de mains par YOLO, une localisation par vision stéréo exploitant les caméras fisheye basse résolution déjà intégrées au robot, et des corrections spécifiques à la tâche de préhension. L'ensemble forme un pipeline de calibration qui ne nécessite ni caméra RGB-D, ni capture de mouvement, ni système de tracking externe. Un modèle de feedback visuel a également été implémenté pour aligner la main du robot sur l'objet détecté juste avant la saisie. Les résultats montrent que le modèle de calibration pleinement non linéaire obtient les meilleures performances dans la zone calibrée, tandis que le modèle à feedback visuel affiche le meilleur taux de réussite global sur l'ensemble de l'espace de travail. Ce travail illustre une approche alternative au problème classique du "sim-to-real gap" en robotique humanoïde, qui empêche souvent des mouvements planifiés en simulation de réussir sur le robot physique. Plutôt que de s'appuyer sur des capteurs coûteux (RGB-D, motion capture) ou sur de grands modèles vision-langage-action entraînés sur des données massives, comme le font des systèmes tels que Pi-0 ou GR00T, cette méthode mise sur une calibration low-cost combinée à un feedback visuel léger. Pour les plateformes de recherche et d'enseignement en robotique, disposant de capteurs limités, cette piste offre une voie économique pour améliorer la fiabilité de la préhension sans investissement matériel lourd. NICO (Neuro-Inspired COmpanion) est une plateforme humanoïde de recherche déjà utilisée dans des travaux antérieurs sur la calibration haptique du reaching. Cette publication, encore un preprint arXiv non revu par les pairs, constitue une extension directe de ces travaux vers la manipulation d'objets, et s'inscrit dans un paysage dominé par les approches basées sur l'apprentissage à grande échelle plutôt que sur la calibration classique.

UECette recherche est menée sur la plateforme humanoïde NICO développée par une équipe universitaire allemande, illustrant une contribution europeenne a la robotique de manipulation low-cost.

RecherchePaper

1 source

3arXiv cs.RO

Manipulation robotique par imitation de vidéos générées, sans démonstrations physiques

Une équipe de chercheurs a publié sur arXiv (2507.00990) un système baptisé RIGVid (Robots Imitating Generated Videos) permettant à un robot de réaliser des tâches de manipulation complexe, comme verser un liquide, essuyer une surface ou mélanger des ingrédients, en imitant uniquement des vidéos générées par IA, sans aucune démonstration physique ni données d'entraînement spécifiques au robot. Le pipeline fonctionne en trois étapes : à partir d'une commande en langage naturel et d'une image de la scène initiale, un modèle de diffusion vidéo génère des vidéos de démonstration candidates, un VLM (vision-language model) filtre automatiquement celles qui ne correspondent pas à la commande, puis un tracker de pose 6D extrait les trajectoires d'objets. Ces trajectoires sont ensuite retargetées vers le robot de manière agnostique à l'embodiment, c'est-à-dire sans nécessiter de recalibration spécifique à la morphologie du bras utilisé. L'impact est notable pour les intégrateurs et les équipes de recherche en manipulation robotique : supprimer la collecte de démonstrations physiques, étape longue et coûteuse dans les pipelines d'imitation learning, est un verrou industriel majeur. Les évaluations en conditions réelles montrent que les vidéos générées et filtrées atteignent une efficacité équivalente aux démonstrations humaines réelles, et que la performance progresse avec la qualité du modèle génératif utilisé. Le système surpasse également des alternatives plus compactes comme la prédiction de keypoints via VLM, et le tracking 6D de pose s'avère supérieur au tracking dense de points de features. Ces résultats valident expérimentalement l'hypothèse que les générateurs vidéo state-of-the-art constituent une source de supervision viable pour la manipulation robotique, au moins sur des tâches de difficulté modérée. Ce travail s'inscrit dans un champ de recherche en effervescence autour du "learning from video" sans interaction physique, en concurrence directe avec des approches comme les VLA (vision-language-action) de Physical Intelligence (pi-0), les politiques de diffusion type Diffusion Policy, ou encore l'usage de données synthétiques issues de simulateurs. L'approche RIGVid se distingue par son absence totale de données robot et son pipeline entièrement basé sur des modèles généralistes off-the-shelf. À noter que ce papier est une prépublication arXiv (v3, donc ayant déjà subi plusieurs révisions), sans validation par peer-review complet à ce stade, et que les tâches évaluées restent relativement contraintes en termes de variabilité de scène et de généralisation out-of-distribution.

RechercheOpinion

1 source

4arXiv cs.RO

WaveSync : optimisation par front d'onde contraint pour les gestes co-verbaux synchronisés des robots humanoïdes

Des chercheurs du laboratoire PAIRS ont publié sur arXiv (arXiv:2606.16600) un système baptisé WaveSync, dédié à la synchronisation des gestes coverbaux d'un robot humanoïde avec sa parole. L'architecture est hybride : un grand modèle de langage décompose les réponses dialoguées en schémas sémantiques structurés et attribue un poids d'importance à chaque mot, construisant une "Semantic Importance Wave", courbe continue représentant l'emphase du discours mot par mot. Les trajectoires gestuelles sont ensuite générées via des Dynamic Movement Primitives (DMP), qui assurent la faisabilité cinématique tout en modulant l'expressivité. Une étape de Wavefront Optimization aligne les pics gestuels avec les pics d'emphase vocale, et résout les violations cinématiques résiduelles par compression de durée et propagation avant. Évalué sur cinq scénarios de dialogue, WaveSync surpasse trois baselines en évaluation objective et subjective. Ce travail s'attaque à un problème structurel de l'HRI sur plateforme physique : contrairement aux avatars virtuels, un humanoïde ne peut enchaîner des mouvements rapides ou chevauchants sans risquer de violer ses contraintes dynamiques. Le couplage entre synchronisation parole-geste et planification cinématiquement sûre était jusqu'ici traité séparément, produisant des gestes soit fluides mais désynchronisés, soit synchronisés mais potentiellement dangereux. WaveSync propose une résolution conjointe de ces deux contraintes, ce qui est non trivial sur hardware réel. Pour les intégrateurs HRI, cela ouvre une voie vers des interfaces vocales naturelles sur robots d'accueil ou de service, sans bibliothèque gestuelle pré-enregistrée. La recherche sur les gestes coverbaux en robotique reste dominée par des corpus humains comme le Trinity Speech-Gesture Dataset, ou des méthodes end-to-end par diffusion telles que GestureDiffuCLIP. WaveSync se distingue par une approche neurosymbolique, combinant contrôle explicite via DMP et compréhension sémantique du LLM, là où les méthodes purement data-driven abandonnent le contrôle cinématique au profit de la fluidité. Le code et les vidéos sont publiés sur GitHub (pairs-lab/WaveSync). Il s'agit d'une publication académique sans déploiement industriel annoncé; la validation sur plateforme réelle hors conditions contrôlées reste à démontrer.

RecherchePaper

1 source