RecherchearXiv cs.RO 22 octobre 2026

DONIC : contrôle généraliste de suivi bimanuel dextre à partir de démonstrations humaines

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent DONIC, qu'ils décrivent comme le premier contrôleur bimanuel généraliste de suivi de référence (« tracker »), entraîné conjointement sur plusieurs catégories d'opérations et plusieurs sources de mouvement humain. Ils publient avec lui BiHOI, un jeu de données multi-vues de 1 575 séquences couvrant 229 objets, centré sur des interactions bimanuelles soutenues. Les interactions humaines y sont reconstruites puis retargetées (transposées à la morphologie du robot) en références pour des mains robotiques. Sur le plan technique, DONIC combine l'optimisation de politique proximale (PPO) et le clonage comportemental dans une boucle de rétroaction : les exécutions réussies et vérifiées sont recyclées comme démonstrations d'entraînement. Une récompense centrée sur l'objet et calculée par main conserve le retour sur le mouvement de l'objet, tout en supervisant chaque main selon son rôle de contact dans la référence. Des « Clip-Centered Advantages » suppriment les décalages d'avantage liés à la référence, tout en préservant les écarts au sein d'une même trajectoire. Sans réglage fin, un seul checkpoint atteint 86,79 % de succès sur des trajectoires inédites d'objets connus et 57,32 % sur des objets non vus. Les auteurs revendiquent un gain de 77,36 et 45,73 points de pourcentage sur les meilleures références bimanuelles.

Ces résultats comptent parce que la manipulation dextre bimanuelle reste l'un des points durs de la robotique humanoïde, alors que la plupart des travaux de suivi de référence se limitent à une seule main et à un éventail restreint d'interactions. Une politique unique, capable de coordonner deux mains sur des références hétérogènes, va dans le sens d'un contrôleur de bas niveau réutilisable, un prérequis pour exploiter des démonstrations humaines à grande échelle plutôt que d'entraîner une politique par tâche. L'écart entre objets connus (86,79 %) et objets non vus (57,32 %) nuance toutefois le tableau : la généralisation reste partielle, et plus de deux tentatives sur cinq échouent encore sur du matériel inédit. Les gains relatifs aux références sont impressionnants, mais ils dépendent du choix et de la qualité de ces références. Il s'agit en outre de résultats de recherche, très probablement obtenus en simulation : aucune annonce de déploiement, de cycle industriel ou de transfert sim-to-real n'est mentionnée, ce qui laisse ouverte la question de la robustesse sur des mains réelles.

Le contexte est celui d'un déficit de données : les séquences bimanuelles riches en contacts sont rares, et la coordination de plusieurs contacts simultanés complexifie l'apprentissage par renforcement. BiHOI répond à ce goulot d'étranglement, et sa mise à disposition éventuelle pourrait servir de base de comparaison pour d'autres équipes. Cette approche prolonge les travaux sur la manipulation dextre à une main guidée par des démonstrations humaines, et s'inscrit dans la course aux politiques généralistes de manipulation pour humanoïdes. Les suites logiques sont un transfert sur robot physique, une évaluation sur des objets plus variés et un couplage avec des modèles vision-langage-action de plus haut niveau. Aucun acteur industriel ni calendrier de pilote n'est cité à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

Générer des mains robotiques à partir de démonstrations humaines

Des chercheurs ont publié un framework de co-conception de mains robotiques guidé par les données (arXiv:2506.20549, juin 2025). Le problème visé est le co-design corps/contrôleur: optimiser simultanément la morphologie d'un effecteur et son contrôleur crée un espace combinatoire difficilement tractable. La solution exploite plus de 4 millions de frames de mouvements de bouts de doigts humains issus de manipulations quotidiennes pour optimiser des mains à structure arborescente, en utilisant une politique de contrôle minimale commune à la phase de recherche et à la phase opérationnelle: le suivi de position des fingertips par cinématique inverse (IK). Deux catégories de designs ont été produites: une main à 6 degrés de liberté (DoF) à usage général, et des mains spécialisées à 3 DoF équipées de joints "mimic" à quadrilatère articulé (four-bar spatial). Un acteur entraîné par apprentissage par renforcement (RL) accélère la recherche morphologique, réduisant le temps de calcul de plusieurs heures à quelques minutes; les structures finales sont fabriquées en impression 3D print-in-place, en une seule pièce articulée sans assemblage. En expériences réelles, la main 6-DoF dépasse des mains robotiques commerciales non identifiées sur la précision de suivi télé-opéré, tandis que les mains 3-DoF reproduisent des trajectoires structurées avec une complexité mécanique réduite. L'apport principal est la résolution d'un verrou de fond en co-design: en imposant la même politique IK simple pendant l'optimisation et après fabrication, les auteurs découplent la recherche morphologique de l'apprentissage d'un contrôleur complexe, rendant l'exploration de l'espace de design tractable à grande échelle. Ce résultat soutient une hypothèse émergente: des données massives de mouvement humain non conçues pour la robotique peuvent informer l'optimisation de l'embodiment physique d'un robot, et pas seulement son contrôleur. La comparaison avec des mains commerciales reste difficile à évaluer, le preprint ne précisant ni les références comparées ni les conditions d'évaluation; prudence sur ce point en l'absence de benchmark standardisé. Ce travail prolonge une tendance croissante qui vise à utiliser des données humaines non seulement pour entraîner des politiques robotiques (VLA, imitation learning), mais pour co-générer le hardware lui-même. Les approches concurrentes en evolutionary robotics et en simulation différentiable existent depuis des années mais restent coûteuses en calcul ou peu généralisables; l'originalité de cette contribution réside dans la décorrélation design/contrôle et dans l'usage du RL comme heuristique de recherche morphologique efficace. À ce stade, il s'agit d'un preprint non encore peer-reviewed, sans déploiement industriel ni partenaire commercial annoncé; les suites naturelles seraient une validation sur un spectre plus large de tâches de manipulation et une comparaison rigoureuse avec des benchmarks établis. Aucun acteur européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

2arXiv cs.RO

VioLA : apprendre des politiques de contrôle humanoïde généralistes à partir de données humaines

VioLA, un travail déposé sur arXiv (2610.12435), propose une politique généraliste pour humanoïdes qui ne prédit plus des commandes articulaires mais des « latents » de mouvement du corps et des mains. Un contrôleur de corps et un contrôleur de mains, pré-entraînés, exécutent ensuite ces latents sur le robot. Des encodeurs de mouvement projettent les mouvements humains et robotiques dans les mêmes espaces latents. Un enregistrement humain se retrouve donc étiqueté directement dans l'espace d'action de la politique. Le pool de démonstrations atteint 140,6 millions de trames, dont 93,2 % sont d'origine humaine. Sur robot réel, VioLA suit des consignes de locomotion en zero-shot, sans réglage fin par tâche, avec 100 % de réussite. GR00T N1.7 plafonne à 16,7 % et Ψ₀ à 0 %. En manipulation, la politique atteint 88,6 % de réussite, toujours sans réglage fin spécifique. La méthode a été testée sur trois architectures : deux VLA (vision-langage-action) et un modèle monde-action. Le code et les checkpoints doivent être publiés, mais ils ne le sont pas encore. L'enjeu est la rareté des données. Les politiques généralistes actuelles pour humanoïdes exigent un réglage fin sur des démonstrations téléopérées de chaque tâche avant déploiement, ce qui est lent et coûteux. Ici, une politique entraînée uniquement sur des démonstrations humaines réalise des tâches de locomotion en zero-shot sur le robot réel. Cela suggère que l'on peut contourner le goulot d'étranglement de la téléopération en passant par une représentation intermédiaire partagée entre humain et robot. Les cadres d'intégration y gagneraient : des vidéos et des captures de mouvement, bien plus abondantes, pourraient alimenter l'entraînement. Le fait que l'approche fonctionne sur trois backbones différents laisse penser que le gain vient de l'espace d'action, pas d'un modèle particulier. Quelques réserves s'imposent. Le papier est un preprint non évalué par les pairs. Les protocoles de test (nombre d'essais, diversité des consignes, robot utilisé) ne sont pas détaillés dans le résumé. Le score de 100 % en locomotion porte probablement sur un jeu de consignes restreint, et le résultat de 88,6 % en manipulation n'est accompagné d'aucune comparaison de référence. VioLA s'inscrit dans la course aux modèles fondation pour humanoïdes. GR00T de NVIDIA, Helix de Figure et la famille Pi de Physical Intelligence reposent surtout sur de la téléopération, de la simulation ou des mélanges de données, avec un réglage fin par tâche. L'idée de contrôleurs de bas niveau entraînés en simulation puis pilotés par un espace latent de mouvement prolonge les travaux sur le suivi de mouvement humain en humanoïde, où le contrôle du corps entier et des doigts restait un point dur. Les auteurs ne donnent aucun calendrier de diffusion hors de la promesse de publication du code. La suite à surveiller sera la reproduction indépendante des résultats sur d'autres plateformes, et l'extension à des tâches de manipulation à longue portée, pour savoir si le passage par les latents tient hors du laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Retargeting neuronal génératif pour la manipulation dextre du robot à partir de démonstrations humaines

Des chercheurs proposent Generative Neural Retargeting (GNR), une méthode qui utilise un modèle de flow matching pour convertir des démonstrations humaines en trajectoires de manipulation dextre exécutables par un robot. Sur le benchmark de l'étude, GNR atteint un taux de succès de 56,20 %, contre 27,20 % pour un contrôle prédictif par échantillonnage (MPC), tout en n'utilisant que 8,5 % des échantillons requis par ce dernier. Appliquée au sein d'un « real-to-sim data engine », la méthode a servi à produire un jeu de données de manipulation dextre de 223 000 démonstrations couvrant 3 300 géométries d'objets, avec des étiquettes denses de forces de contact. Les auteurs revendiquent aussi la capacité à traiter des démonstrations longues et à précision millimétrique. L'enjeu est celui de l'écart d'embodiment entre la main humaine et la main robotique. Les démonstrations humaines sont la source de données la plus extensible pour apprendre la dextérité, mais elles ne s'exécutent pas telles quelles sur un robot. La cinématique inverse (IK) est rapide, mais elle ignore la dynamique et produit souvent des mouvements infaisables. L'apprentissage par renforcement (RL) et le MPC par échantillonnage donnent des mouvements réalisables, mais à un coût élevé. Le RL demande un entraînement instable et un réglage fastidieux des fonctions de récompense. Le MPC traite chaque trajectoire isolément, si bien que résoudre un cas ne facilite pas le suivant, et son coût d'échantillonnage explose avec la taille du jeu de données et la difficulté de la tâche. GNR repose sur l'hypothèse que les trajectoires dynamiquement faisables se concentrent près d'une variété de faible dimension commune à toutes les démonstrations. Retargeter revient alors à échantillonner cette variété, conditionnée par le mouvement humain, au lieu de résoudre un problème d'optimisation neuf à chaque fois. Si l'hypothèse tient à grande échelle, elle réduit le coût marginal de chaque démonstration supplémentaire, ce qui compte pour quiconque cherche à alimenter des politiques de manipulation dextre en données humaines. Une réserve s'impose toutefois : un taux de succès de 56,20 % reste modeste en absolu, et il est mesuré en simulation. Le résumé ne précise ni le benchmark, ni la main robotique utilisée, ni de transfert vers du matériel réel. Le gain face au MPC est net, mais l'écart avec le RL n'est pas quantifié. Ce travail s'inscrit dans la course aux jeux de données de manipulation dextre. Cette course oppose la téléopération, coûteuse et lente à passer à l'échelle, aux vidéos et captures de mouvement humains, abondantes mais sujettes à l'écart d'embodiment. Les modèles génératifs de type diffusion et flow matching, déjà devenus courants dans les politiques VLA et les robots humanoïdes, sont ici appliqués non pas au contrôle direct mais à la production de données d'entraînement. Il s'agit d'une prépublication arXiv (v1) qui n'a pas encore été évaluée par des pairs. Les suites à surveiller sont la publication éventuelle du code et du jeu de données de 223 000 démonstrations, ainsi que des tests sur mains robotiques réelles. Ils diraient si ces trajectoires, labellisées en forces de contact, améliorent effectivement des politiques déployables.

RecherchePaper

1 source

4arXiv cs.RO

KnowDemo : génération de démonstrations robotiques guidée par la connaissance à partir de vidéos humaines

Des chercheurs présentent KnowDemo, un framework décrit dans une prépublication arXiv (2609.21229, fin septembre 2026) qui génère des démonstrations robotiques diversifiées à partir de vidéos humaines, sans collecte réelle coûteuse. Un modèle vision-langage (VLM) extrait de chaque vidéo une connaissance structurée de la tâche, distinguant conditions requises et variations d'exécution admissibles des choix propres au geste filmé. Cette connaissance est recalée sur la géométrie de la scène cible pour guider la génération et le filtrage de candidats, avant planification de mouvement et simulation. Les démonstrations obtenues montrent un comportement multimodal, avec stratégies de contact alternatives et ordres de sous-tâches variés, étiquetés de façon structurée. Pour les valider, les auteurs affinent le modèle pré-entraîné π0.5, architecture vision-langage-action de Physical Intelligence, sur des données simulées, et démontrent un transfert sim-to-real sur trois tâches de manipulation, projet documenté sur zhiyuan-gao.github.io/knowdemo. Pour l'industrie robotique, l'enjeu dépasse le produit : il touche un goulot d'étranglement central de l'apprentissage par imitation, la collecte de démonstrations réelles restant coûteuse et lente. Les méthodes existantes, qui adaptent des trajectoires extraites de vidéos humaines, reproduisent souvent la stratégie de contact et l'ordre des sous-tâches observés, ce qui limite la diversité utile à l'entraînement des politiques. En conditionnant la génération sur une compréhension explicite des contraintes de tâche plutôt que sur la seule référence de mouvement, KnowDemo augmente le taux de candidats valides et le nombre de modes d'exécution vérifiés. Le transfert sim-to-real obtenu après fine-tuning de π0.5 appuie l'hypothèse que des données synthétiques structurées, plutôt que massivement collectées, peuvent faire progresser les modèles vision-langage-action à l'échelle, un enjeu suivi par les intégrateurs cherchant à réduire le coût de l'apprentissage robotique. Le travail prolonge une lignée de méthodes générant des démonstrations par adaptation de mouvements extraits de vidéos humaines puis validées en simulation, une piste explorée pour contourner la téléopération. KnowDemo répond aux limites de ces approches centrées sur la seule reproduction du geste de référence, en y ajoutant un raisonnement sémantique via VLM. Le choix de π0.5 situe le travail dans l'écosystème des VLA génériques, aux côtés d'architectures comme GR00T de NVIDIA ou Helix de Figure. Sans affiliation d'entreprise indiquée dans le résumé, l'étude reste à ce stade une validation de laboratoire sur trois tâches, sans calendrier de déploiement industriel ni partenariat annoncé.

RecherchePaper

1 source