Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA incarnée : GraspMeanFlow génère des prises 6-DoF en quelques étapes grâce à un flux moyen équivariant SE(3)
RecherchearXiv cs.RO 

IA incarnée : GraspMeanFlow génère des prises 6-DoF en quelques étapes grâce à un flux moyen équivariant SE(3)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2608.03295v1, article inédit) GraspMeanFlow, une méthode qui génère des poses de préhension à six degrés de liberté (6-DoF) en une seule ou quelques évaluations, là où les modèles génératifs équivariants SE(3) existants nécessitent des dizaines d'évaluations via intégration numérique itérative, un frein direct pour la manipulation en temps réel. Le système apprend la vélocité moyenne sur un intervalle de temps fini, définie par une exponentielle ordonnée dans le temps, de sorte qu'elle reproduise exactement le déplacement rigide accumulé sur cet intervalle. L'entraînement combine un terme de flow-matching classique avec l'un de deux termes de cohérence : l'identité différentielle MeanFlow, qui exige un produit jacobien-vecteur, ou une perte de semi-groupe équivalente qui l'évite. Sur le jeu de données de référence ACRONYM, une seule évaluation de fonction atteint la distance EMD qu'un modèle de flow SE(3) itératif met cinq étapes à approcher, et une seconde variante du même cadre améliore le taux de succès de préhension jusqu'à 24,3 points dans ce régime à faible nombre d'étapes.

L'enjeu est la vitesse d'échantillonnage des poses de préhension, un goulot d'étranglement connu des pipelines de manipulation robotique (bras industriels, préparation de commandes, bras montés sur AMR). Réduire des dizaines d'évaluations à une seule tout en conservant l'équivariance, c'est-à-dire la cohérence des poses générées face aux rotations et translations de l'objet, importe car cette propriété limite le besoin de voir chaque orientation d'objet pendant l'entraînement et renforce la généralisation. Le résultat va à l'encontre d'une hypothèse répandue selon laquelle la distillation few-step des modèles génératifs sacrifie la précision : ici, la qualité reste compétitive, voire supérieure, ce qui ouvre la voie à des préhenseurs génératifs réellement temps réel plutôt que cantonnés à la simulation hors ligne.

Le travail s'inscrit dans la lignée des modèles de diffusion ou de flow équivariants SE(3) pour la génération de préhension, et adapte le cadre récent MeanFlow, conçu pour l'échantillonnage en peu d'étapes sans distillation depuis un modèle enseignant, à la structure du groupe SE(3) propre à la robotique. ACRONYM, le jeu de données utilisé, est un benchmark synthétique standard du domaine. Il s'agit à ce stade d'un résultat de recherche évalué en simulation, sans validation annoncée sur robot réel ni indication de calendrier pour un tel test.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

EquiDexFlow : un modèle génératif de préhension habile équivariant SE(3) ancré dans le contact
1arXiv cs.RO 

EquiDexFlow : un modèle génératif de préhension habile équivariant SE(3) ancré dans le contact

Une équipe de chercheurs publie EquiDexFlow, un modèle génératif de préhension dextère intégrant les contraintes physiques de contact directement dans l'architecture, sans étape de vérification séparée. Publié sur arXiv en juin 2026, il exploite le flow-matching avec équivariance SE(3) pour prédire simultanément la pose du poignet, les angles articulaires, les contacts du bout des doigts, les normales de surface et les forces de contact à partir d'un nuage de points de l'objet. Contrairement aux générateurs classiques qui traitent les forces comme un filtre a posteriori, EquiDexFlow projette les contacts sur la surface de l'objet et les forces dans le cône de friction de Coulomb par construction, sans terme de pénalité dans la fonction de perte. Entraîné sur 8 100 saisies en fermeture de force sur 81 objets pour la main Allegro à 16 degrés de liberté (DDL), il atteint zéro violation de frottement et le plus faible résidu de torseur parmi toutes les variantes d'ablation, avec une équivariance SE(3) vérifiée sur 200 rotations et des résidus de poignet inférieurs à 0,04 degré. Retransposé vers une main LEAP à 16 DDL par cinématique inverse doigt par doigt, le modèle réussit en boucle ouverte sur six objets physiques, y compris des objets asymétriques à la pose canonique et après une co-rotation de 120 degrés. Le verrou adressé est structurel : dans la plupart des pipelines de préhension dextère appris, un générateur produit une pose cinématiquement valide qu'un module aval filtre selon des critères physiques, laissant potentiellement passer des saisies plausibles mais instables au contact réel. En intégrant le cône de Coulomb dans l'architecture même, EquiDexFlow élimine cette classe d'erreurs par construction plutôt que par filtrage, ce qui réduit le taux de rejet et simplifie le pipeline de déploiement pour les intégrateurs industriels. Le retargeting réussi de la main Allegro vers la main LEAP suggère en outre une généralisation de la représentation des contacts au-delà de la main d'entraînement, propriété encore rare dans les systèmes de préhension dextère actuels, même si l'évaluation sur six objets reste un périmètre de test limité. La préhension dextère multi-doigt demeure un verrou central de la manipulation généraliste en robotique. Des travaux récents comme DexGraspNet ou UniGrasp ont progressé sur la génération de poses, mais la modélisation explicite des forces dans la boucle générative reste peu courante. Le flow-matching, popularisé dans les modèles VLA (Vision-Language-Action), est ici appliqué avec une contrainte d'équivariance formellement démontrée, ce qui constitue une contribution méthodologique distincte. Code, checkpoints et vidéos sont disponibles sur equidexflow.github.io. Des acteurs comme Enchanted Tools ou Wandercraft, qui développent des systèmes de manipulation à actionnement avancé, pourraient s'appuyer sur ce formalisme pour leurs propres pipelines de préhension.

UEEnchanted Tools et Wandercraft, acteurs français de la manipulation avancée, pourraient directement intégrer ce formalisme de préhension physique (cône de Coulomb dans la boucle générative) dans leurs pipelines R&D, le code et les checkpoints étant publiquement disponibles.

RecherchePaper
1 source
IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique
2arXiv cs.RO 

IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique

Le laboratoire à l'origine de ces travaux (non précisé dans le résumé, arXiv:2506.32028) présente DVG-WM (Disentangled Video Generation World Model), un modèle du monde vidéo destiné à la manipulation robotique. Le problème ciblé est un compromis connu dans les "world models" embodied: modéliser précisément la dynamique physique nécessite un raisonnement temporel fin image par image, alors que produire des vidéos haute résolution exige une synthèse visuelle coûteuse pilotée par la sémantique globale. Jusqu'ici, les deux étaient entremêlés dans un seul réseau, forçant un choix entre inférence rapide et prédictions grossières, ou rendu détaillé mais trop lent pour de la planification itérative. DVG-WM sépare explicitement les deux tâches: à partir d'une observation initiale et d'une instruction en langage naturel, le modèle génère d'abord une séquence d'états visuels intermédiaires prévisualisant l'interaction physique, puis les raffine en vidéos haute fidélité. Le mécanisme clé est un cascading efficace où le flow matching relie directement la dynamique aux latents vidéo, complété par un mécanisme de dégradation latente qui régénère les détails riches en contacts (préhension, collisions). Testé sur le benchmark LIBERO et sur plateformes réelles, DVG-WM améliore la qualité vidéo tout en accélérant l'inférence jusqu'à 3,97 fois. Pour l'industrie robotique, ce résultat s'attaque directement à un goulot d'étranglement connu des architectures VLA (vision-langage-action) basées sur la prédiction vidéo: la latence d'inférence, rédhibitoire pour du contrôle en boucle fermée temps réel. Un gain de facteur 4 sur la vitesse, sans sacrifier la précision des interactions de contact, rapproche ces world models vidéo d'un usage réellement embarqué plutôt que d'une simple démonstration hors ligne, un point sensible pour les intégrateurs qui évaluent la viabilité de ces approches face aux politiques d'action plus directes. Ce travail s'inscrit dans la lignée des world models vidéo pour la robotique (dans la continuité d'approches type UniPi, iVideoGPT ou GR00T-Dreams), dont la promesse est d'apprendre la physique à partir de vidéo brute plutôt que de simulateurs coûteux à construire. La contribution spécifique de DVG-WM, la désentanglement dynamique/synthèse, ouvre la voie à des variantes combinant d'autres backbones de génération vidéo ou à une extension vers des tâches multi-étapes plus longues, une direction que les auteurs identifient comme suite naturelle de ces travaux.

RecherchePaper
1 source
IA incarnée : le MIT forme des robots grâce à des environnements virtuels 3D réalistes
3Interesting Engineering 

IA incarnée : le MIT forme des robots grâce à des environnements virtuels 3D réalistes

Des chercheurs du MIT ont dévoilé SceneSmith, un système d'intelligence artificielle capable de générer automatiquement des environnements intérieurs 3D réalistes pour entraîner des robots. La plateforme s'appuie sur trois agents IA complémentaires fonctionnant en boucle: un "designer" qui construit la disposition de la pièce et place meubles et objets, un "critique" qui vérifie le réalisme de la scène et signale les incohérences (un objet qui n'a rien à faire dans cette pièce, par exemple), et un "orchestrateur" qui pilote l'ensemble du processus et décide quand la scène est terminée ou doit être révisée. Ces agents s'appuient sur GPT-5.2, le modèle vision-langage d'OpenAI, pour comprendre comment les espaces réels sont agencés. Un utilisateur peut simplement décrire une pièce en langage naturel, par exemple un garage avec voiture, établi, pneus empilés et échelle contre le mur, et SceneSmith en génère une version virtuelle détaillée. L'équipe a produit plus de 1300 environnements virtuels (cuisines, hôtels, bureaux, commerces, espaces à thème), dans lesquels des robots se sont entraînés à des tâches domestiques courantes: poser des fruits sur une assiette, déplacer des canettes entre étagères et table, ouvrir des placards, ranger des tasses dans un évier. Sur 100 environnements testés, un agent IA a évalué la réussite des tâches, avec un taux d'accord de plus de 99% avec des évaluateurs humains. Une étude auprès de plus de 200 personnes a montré que plus de 90% jugeaient les scènes de SceneSmith plus réalistes que celles produites par les méthodes précédentes, avec jusqu'à six fois plus d'objets interactifs par scène. L'enjeu central que vise SceneSmith est le principal goulot d'étranglement de la robotique actuelle: contrairement aux chatbots qui apprennent sur du texte, les robots ont besoin de données d'interaction physique variées, coûteuses et lentes à collecter en conditions réelles. En automatisant la création de mondes virtuels riches et crédibles, le MIT cherche à réduire cette dépendance aux essais physiques tout en accélérant l'itération sur les stratégies de contrôle. Le test le plus révélateur reste celui d'un contrôleur robotique entraîné principalement sur des données réelles, qui a réussi des tâches (saisir une pomme dans un bol, la poser sur une planche à découper) dans des environnements SceneSmith qu'il n'avait jamais vus, un indice de transfert sim-to-real qui intéressera directement intégrateurs et équipes R&D cherchant à réduire les coûts de collecte terrain. Le projet s'inscrit dans la course plus large à la génération de données synthétiques pour la robotique, où plusieurs laboratoires tentent de contourner la rareté des données physiques réelles. Le MIT ne communique pas, à ce stade, de calendrier de déploiement commercial ni de partenariat industriel annoncé: il s'agit d'une publication de recherche, présentée via un communiqué de l'équipe, dont l'ampleur des bénéfices en conditions réelles de production reste à confirmer au-delà des tests en laboratoire.

RecherchePaper
1 source
Vers une cognition incarnée chez les robots grâce à des mondes synthétiques ancrés dans l'espace
4arXiv cs.RO 

Vers une cognition incarnée chez les robots grâce à des mondes synthétiques ancrés dans l'espace

Résumé traduit en français, à publier : Une équipe de recherche présente un cadre conceptuel destiné à entraîner des modèles vision-langage (VLM) à réaliser de la prise de perspective visuelle, une capacité jugée essentielle à la cognition incarnée dans l'interaction homme-robot. Pour amorcer ce travail, les auteurs publient un jeu de données synthétique généré dans NVIDIA Omniverse, conçu pour l'apprentissage supervisé de tâches de raisonnement spatial. Chaque exemple associe une image RGB, une description en langage naturel et une matrice de transformation 4x4 servant de vérité terrain pour la pose d'un objet. La première étape se limite à l'inférence de la distance sur l'axe Z ; les auteurs annoncent vouloir étendre l'approche à un raisonnement complet sur les 6 degrés de liberté (DOF) dans de futurs travaux. Le jeu de données est mis à disposition publiquement pour la communauté de recherche. La prise de perspective visuelle est une brique jugée fondamentale pour qu'un robot comprenne non pas seulement ce que voit sa propre caméra, mais ce qu'un humain perçoit depuis son propre point de vue, une condition posée comme nécessaire à une interaction homme-robot naturelle. Le choix de générer les données dans un simulateur plutôt que de les collecter en conditions réelles répond à un problème classique du secteur : produire des annotations 3D précises (pose exacte d'un objet) est coûteux et peu fiable dans le monde réel, alors qu'un environnement synthétique comme Omniverse fournit une vérité terrain exacte par construction. Ce travail illustre aussi une limite persistante des VLM génériques actuels, plutôt performants en reconnaissance sémantique 2D mais fragiles dès qu'il s'agit de raisonnement spatial 3D précis, une distinction que les auteurs eux-mêmes reconnaissent en limitant leur preuve de concept au seul axe Z plutôt qu'aux 6 DOF complets. Il s'agit donc d'un jalon de recherche exploratoire, pas d'un système prêt à être intégré par des équipes robotique en production. Ce travail s'inscrit dans une tendance de fond où les plateformes de simulation comme NVIDIA Omniverse et Isaac Sim deviennent des outils centraux de génération de données pour la robotique incarnée, dans un paysage où d'autres laboratoires (Physical Intelligence avec Pi-0, NVIDIA avec GR00T, Figure avec Helix) développent en parallèle des modèles vision-langage-action visant à doter les robots humanoïdes d'un raisonnement spatial et manipulatoire directement exploitable. La suite annoncée par les auteurs consiste à faire passer leur approche de l'estimation d'une simple distance à un raisonnement complet sur les 6 degrés de liberté d'une pose d'objet, une extension nécessaire avant d'envisager une application concrète en interaction homme-robot.

RecherchePaper
1 source