RecherchearXiv cs.RO 27 octobre 2026

FlowHOI : génération d'interactions main-objet par flux, ancrée dans la sémantique, pour la manipulation dextre en robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent FlowHOI, un cadre de génération par « flow matching » en deux étapes, décrit dans un article arXiv (v2 de février 2026). Le système produit des séquences d'interactions main-objet (HOI) cohérentes dans le temps et ancrées sémantiquement: poses de la main, poses de l'objet et états de contact. Il part d'une observation égocentrique, d'une instruction en langage naturel et d'une reconstruction de scène en 3D Gaussian splatting (3DGS). Les auteurs séparent le grasping, centré sur la géométrie, de la manipulation, centrée sur la sémantique. Cette seconde étape reçoit des jetons de scène 3D compacts et une perte d'alignement mouvement-texte. Pour pallier le manque de supervision HOI de qualité, l'équipe a bâti une chaîne de reconstruction qui extrait trajectoires et maillages main-objet alignés à partir de vidéos égocentriques à grande échelle. Sur les benchmarks GRAB et HOT3D, FlowHOI obtient la meilleure précision de reconnaissance d'action, un taux de succès en simulation physique 1,7 fois supérieur à la meilleure base de comparaison par diffusion, et une inférence 40 fois plus rapide. Une exécution sur robot réel est montrée sur quatre tâches de manipulation dextre.

L'enjeu touche une faiblesse connue des modèles vision-langage-action (VLA): ils produisent des mouvements d'effecteur plausibles, mais échouent souvent sur les tâches longues et riches en contacts, faute de représenter explicitement la structure de l'interaction main-objet. Une représentation indépendante de l'embodiment, que l'on peut vérifier avant exécution puis transférer d'un robot à l'autre, répondrait à un besoin concret des intégrateurs: valider un comportement avant de l'envoyer à la machine. Le gain de vitesse de 40 fois compte aussi, car la génération par diffusion reste trop lente pour beaucoup de boucles de contrôle. Il faut toutefois rester prudent. Les chiffres viennent de benchmarks académiques et de simulation, et la démonstration sur robot ne porte que sur quatre tâches. L'article ne donne ni taux de réussite en conditions réelles, ni temps de cycle, ni robustesse hors laboratoire. Il s'agit d'une preuve de faisabilité du retargeting, pas d'une solution validée pour la production.

Ce travail s'inscrit dans le mouvement qui cherche à exploiter les vidéos humaines égocentriques pour contourner la rareté des données de téléopération, face aux politiques VLA de bout en bout de type Pi-0 ou GR00T. Il suit aussi la logique des approches à représentation intermédiaire, où le modèle prédit d'abord l'interaction avant de l'exécuter. Les modèles de diffusion servent ici de référence à battre, et la méthode par flow matching vise un meilleur compromis entre qualité et latence. La suite probable passe par des tests sur davantage de mains robotiques et de tâches, une évaluation chiffrée sur matériel réel, et l'intégration dans des pipelines VLA existants. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

EmbodyHOI : génération d'interactions main-objet adaptée à l'incarnation pour la manipulation dextérique humanoïde

EmbodyHOI est une méthode présentée sur arXiv (2610.27242) qui intègre un solveur de cinématique inverse (IK) différentiable, spécifique à un humanoïde donné, directement dans la boucle d'échantillonnage d'un générateur de trajectoires main-objet (HOI) de type flow-matching, gelé et conditionné par du texte. Le générateur est entraîné sur des poses de main humaine (espace MANO) ; les gradients du solveur IK sont renvoyés à l'échantillonneur, et la position de l'humanoïde par rapport à l'objet est optimisée conjointement. Testée sur des trajectoires ARCTIC avec deux robots, le Unitree G1 et le H1-2, la méthode réduit l'erreur de poignet après retargeting de 8,9 cm à 0,6 cm, sans dégrader la qualité de génération texte-vers-HOI. Le taux de réussite des tâches passe de 68 % à 79 % sur 50 tâches aléatoires avec le G1, et de 62 % à 76 % sur une suite de quatre tâches avec le H1-2. Les résultats sont obtenus en simulation uniquement, aucun déploiement sur robot réel n'étant annoncé. L'enjeu est d'abord méthodologique. Jusqu'ici, les pipelines qui exploitent des démonstrations humaines générées par langage traitent l'écart d'embodiment après coup, par retargeting, ce qui produit des trajectoires où le contact avec l'objet se perd et qui dégradent l'apprentissage de politiques. Contraindre la faisabilité cinématique pendant la génération déplace ce problème en amont. Comme le guidage n'agit qu'à l'inférence, un seul générateur peut servir plusieurs morphologies sans réentraînement, ce qui intéresse tout intégrateur qui gère un parc hétérogène d'humanoïdes. Le résultat le plus instructif est négatif : le raffinement de poignet a posteriori et la sélection best-of-N à budget de calcul égal atteignent une énergie IK plus basse que le guidage, mais entraînent de moins bonnes politiques. Autrement dit, la faible erreur géométrique ne suffit pas, et la manière dont la faisabilité est obtenue compte pour l'apprentissage. Les gains de succès restent modestes (11 à 14 points) et mesurés sur des suites de tâches limitées. Ce travail s'inscrit dans la tendance des modèles génératifs de mouvements humains employés comme source de données pour la manipulation dextre humanoïde, face au coût de la téléopération et à la rareté des démonstrations robotiques. Il s'appuie sur le jeu de données ARCTIC pour la manipulation bimanuelle d'objets articulés et sur des plateformes Unitree largement diffusées en recherche, ce qui facilite la reproduction. Il se place en alternative aux approches de retargeting pur ou aux grands modèles VLA entraînés sur données robotiques réelles. Les limites probables concernent le passage en simulation vers le réel, la dextérité des mains effectives et la diversité des objets. Les auteurs renvoient à un site de démonstrations en simulation, sans calendrier de validation sur matériel.

RecherchePaper

1 source

2arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

D3D-GEN : génération interactive de mondes 3D ancrée dans le domaine pour la robotique sociale, consciente du robot

D3D-GEN est un système de génération de mondes 3D interactifs présenté dans un article publié sur arXiv (arXiv:2608.11876v1) et conçu pour l'entraînement et la validation de robots sociaux en navigation autonome. Développé pour résoudre le compromis entre réalisme et simulabilité, le système combine un agent de recherche de domaine avec un pipeline de génération augmentée par récupération (RAG) ancré dans ce domaine. À partir d'une simple description textuelle du domaine visé, l'agent collecte automatiquement des données publiques spécifiques et construit une base de connaissances persistante, sans dépendre d'une bibliothèque fixe de modèles 3D. Le pipeline RAG interroge ensuite dynamiquement une base sémantique fournie par l'utilisateur pour générer des plans d'étage et des placements d'objets plausibles. Les mondes produits sont pleinement interactifs et compatibles avec les simulateurs Isaac Sim et Gazebo, deux outils largement utilisés en robotique. Les chercheurs ont bâti des bases de données pour trois domaines courants (résidentiel, hospitalier, bureau) et généré des dizaines d'environnements distincts pour chacun, le tout accessible via une interface web locale. Pour l'industrie robotique, cet outil s'attaque à un goulot d'étranglement concret : la pénurie d'environnements de simulation à la fois réalistes et diversifiés freine l'entraînement des politiques de navigation sociale, un maillon clé pour les robots amenés à opérer parmi des humains (hôpitaux, bureaux, domicile). En automatisant la collecte de connaissances de domaine et la synthèse de scènes plausibles sans base 3D préexistante, D3D-GEN pourrait réduire le travail manuel de conception d'environnements simulés, un frein connu à l'échelle du sim-to-real pour les intégrateurs et laboratoires de recherche en IA incarnée. Reste que la validation du réalisme et de la généralisation à d'autres domaines n'est démontrée que sur trois cas d'usage, ce qui limite pour l'instant la portée des conclusions. Ce travail s'inscrit dans la lignée des efforts récents visant à combler l'écart entre simulation et réalité pour l'IA incarnée, où des bases de données de scènes 3D figées (comme celles utilisées historiquement avec Isaac Sim ou Gazebo) limitent la diversité des scénarios d'entraînement. En s'appuyant sur des agents de recherche et du RAG plutôt que sur des bibliothèques statiques, D3D-GEN se positionne face à d'autres approches de génération procédurale de scènes pour la robotique. L'article ne précise pas de partenariats industriels ni de calendrier de déploiement au-delà du prototype de recherche présenté avec son interface web locale.

RecherchePaper

1 source

4arXiv cs.RO

RoboFlow4D : un modèle du monde de flux léger pour la manipulation robotique guidée par flux en temps réel

Des chercheurs ont publié le 22 mai 2026 sur arXiv (référence 2605.17522) les travaux autour de RoboFlow4D, un modèle de planification en flux 3D destiné à la manipulation robotique temps réel. L'approche repose sur ce que les auteurs appellent un "flow world model" : plutôt que d'empiler plusieurs sous-modèles spécialisés dans un pipeline modulaire classique, RoboFlow4D prédit directement des flux de mouvement 3D sur plusieurs trames temporelles à partir d'observations visuelles et d'instructions textuelles. Ce flux explicite sert de plan intermédiaire pour guider la génération d'actions motrices, bouclant ainsi un cycle perception-planification-exécution en une seule architecture de bout en bout. L'exécution repose sur une collaboration dite "slow-fast" entre le prédicteur de flux et le contrôleur d'action, visant à réduire la latence globale. Les résultats présentés couvrent des benchmarks en simulation et des expériences en environnement réel, avec des gains annoncés sur les taux de succès de manipulation et sur l'efficacité computationnelle, sans que les chiffres précis soient détaillés dans l'abstract. L'intérêt de cette direction de recherche réside dans la réduction de la charge de calcul associée aux pipelines VLA (Vision-Language-Action) contemporains. Les architectures modulaires dominantes, comme celles utilisées dans Pi-0 (Physical Intelligence) ou les variantes de GR00T N2 (NVIDIA), impliquent des inférences en cascade coûteuses qui limitent la réactivité en conditions industrielles. RoboFlow4D tente de consolider perception et planification dans un seul modèle léger, ce qui, si les performances se confirment à l'échelle, pourrait abaisser les exigences matérielles pour déployer des politiques de manipulation dextres sur des robots à ressources contraintes. Du côté du contexte compétitif, le domaine des planificateurs par flux optique 3D est actif depuis les travaux sur UniFlow et Flowbot3D, mais leur intégration dans des boucles temps réel reste un défi ouvert. RoboFlow4D se positionne comme une réponse légère à ces limitations. Il s'agit pour l'instant d'un preprint non évalué par les pairs, sans code ni modèle publiés, ce qui invite à la prudence avant tout benchmark indépendant. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés type RLBench ou LIBERO, et une comparaison directe avec les baselines modulaires qu'il prétend dépasser.

RechercheOpinion

1 source