DuetHOI : génération de mouvements bimanuels main-objet guidée par le langage, avec planification d'articulation et raffinement des contacts

Un article de recherche intitulé DuetHOI, publié en version 3 sur arXiv (2603.08390), propose un nouveau cadre pour générer automatiquement des mouvements de mains bimanuels interagissant avec des objets articulés, comme l'ouverture d'un tiroir ou la manipulation d'un objet à deux charnières, à partir d'une simple instruction en langage naturel. Le système repose sur quatre modules assemblés en pipeline. ContactVAE prédit d'abord, à partir du texte et de la géométrie de l'objet, où les mains doivent entrer en contact avec sa surface. ArtPlanner utilise cette intention spatiale pour établir une trajectoire d'articulation de référence, c'est à dire comment l'objet doit s'ouvrir ou se déplacer au fil du temps. DualFormer génère ensuite le mouvement global en combinant l'état de l'objet, la position des mains par rapport à celui-ci, et des jetons compacts de pose de main appris par un second module, ManiVAE. Enfin, ProxiRefine corrige localement la trajectoire des deux mains, sans toucher à celle de l'objet, en s'appuyant sur la proximité main-objet mesurée à ce stade pour affiner l'alignement de surface.

L'enjeu dépasse la simple animation graphique. La génération de mouvements main-objet réalistes et cohérents en contact sert de données d'entraînement pour l'apprentissage par imitation en robotique, notamment pour les modèles vision-langage-action qui doivent apprendre à manipuler des objets à deux mains, une tâche nettement plus complexe que la préhension à une main sur objet rigide, faute de coordination bimanuelle et de suivi de l'évolution de l'articulation. Les résultats rapportés montrent que DuetHOI dépasse trois méthodes de référence adaptées sur la plupart des métriques de contact et de cohérence main-objet, avec un avantage particulièrement marqué sur les scénarios bimanuels avec objets articulés, précisément le cas le plus difficile.

Le papier s'inscrit dans un courant de recherche en génération de mouvements humains conditionnée par le langage, où la modélisation d'objets rigides à une main est déjà relativement mature mais où la coordination bimanuelle sur objets articulés reste peu traitée par les architectures existantes, qui encodent objet et mains dans une séquence unique de haute dimension mal adaptée aux échelles différentes du problème. Aucune date de disponibilité de code ni application robotique concrète n'est mentionnée dans l'abstract, ce qui situe pour l'instant ces travaux au stade de la recherche méthodologique plutôt que du déploiement.