RecherchearXiv cs.RO 14 juillet 2026

Mixture of Frames Policy : débruitage d'actions multi-images pour la manipulation mobile bimanuelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Traduction/résumé de l'article demandé, en respectant le format et la posture éditoriale définis :

Des chercheurs présentent Mixture of Frames Policy (MoF), une nouvelle architecture de politique de diffusion pour la manipulation robotique bimanuelle, détaillée dans un papier arXiv (2607.11884v1). Le problème visé : les politiques visuomotrices actuelles basées sur la diffusion imposent un référentiel d'action unique et prédéfini, obligeant un seul débruiteur ("denoiser") à modéliser des distributions d'actions parfois inutilement complexes dans ce référentiel figé. MoF fonctionne différemment : elle maintient un état de diffusion canonique unique, le réexprime dans plusieurs référentiels pertinents pour la tâche (repère de l'effecteur, repère aligné sur la base du robot, etc.), applique des débruiteurs spécialisés par référentiel, puis fusionne leurs prédictions de bruit dans le référentiel canonique. Pour rendre cette synchronisation possible sur des états de diffusion intermédiaires bruités, les auteurs introduisent une représentation de rotation 6D en colonnes au sein d'une paramétrisation d'action SE(3), qui permet des transformations de référentiel exactes et différentiables sans exiger que les rotations bruitées respectent la variété SO(3).

Sur neuf tâches simulées de manipulation bimanuelle, MoF surpasse à la fois une sélection oracle du meilleur référentiel et les baselines standards de type Mixture-of-Experts (MoE), tout en confirmant que le référentiel optimal varie selon la tâche, un signal utile pour quiconque conçoit des politiques VLA ou de diffusion pour des bras bimanuels ou des plateformes mobiles à manipulation intégrée. Pour les intégrateurs et équipes robotique, cela reformule un choix d'ingénierie souvent traité de façon ad hoc (quel repère utiliser pour quelle sous-tâche) en un problème que le modèle peut apprendre à résoudre lui-même.

La validation réelle reste toutefois limitée : seulement deux tâches de manipulation mobile bimanuelle en conditions réelles, où MoF bat l'ensemble de ses variantes mono-référentiel constituantes, sans comparaison directe à des systèmes concurrents publiés (type Pi-0, GR00T N2 ou Helix) sur ce même protocole. Le travail s'inscrit dans la lignée des politiques de diffusion visuomotrices, en ciblant spécifiquement leur angle mort connu sur le transport d'objets et la coordination corps entier. Page projet : mofpo.github.io.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Étiquetage automatique pour la manipulation mobile bimanuelle

Un pipeline d'étiquetage automatique pour l'entraînement de politiques robotiques à long horizon a été publié le 22 septembre 2026 sous forme de preprint arXiv (2609.24059), sous le titre "Automatic Labelling for Bimanual Mobile Manipulation". La méthode combine deux approches: une analyse déterministe de la trajectoire pour localiser dans le temps les phases d'une tâche, et un raisonnement vision-langage (VL) pour décrire sémantiquement le contenu de chaque phase, séparément pour la base mobile, le bras gauche et le bras droit. Les auteurs l'ont évaluée sur 29 tâches réelles de manipulation mobile bimanuelle exécutées avec des robots Galaxea. En répétant trois fois le raisonnement VL sur les tâches sélectionnées, la sortie reste identique dans 87,4% des cas. Une revue humaine menée par neuf participants sur l'ensemble des 29 tâches montre un taux d'acceptation de 90,5% pour les découpages temporels, 90,7% pour les labels de la base, et 78,7% pour les labels des bras. L'enjeu dépasse la simple curiosité académique: l'entraînement de politiques vision-langage-action (VLA) à long horizon repose sur des annotations de sous-tâches fiables, un travail manuel coûteux qui freine le passage à l'échelle des jeux de données de démonstrations robotiques. En automatisant la localisation temporelle tout en gardant un raisonnement sémantique piloté par un modèle vision-langage, ce pipeline propose une voie pour produire des annotations structurées à moindre coût humain, un prérequis que partagent les efforts actuels autour de modèles comme Pi-0 ou GR00T N2. Le taux d'acceptation plus faible sur les labels des bras (78,7% contre plus de 90% ailleurs) mérite d'être noté par les intégrateurs: décrire correctement un comportement bimanuel asynchrone reste plus difficile qu'annoter les déplacements de la base, une limite que l'article assume sans la minimiser. Le travail s'inscrit dans la course plus large à la constitution de données d'entraînement pour les modèles génériques de manipulation, où le choix de la plateforme Galaxea, fournisseur chinois de robots bimanuels mobiles, illustre sa place croissante comme banc d'essai académique. Publié en preprint sans revue par les pairs, sans code ni jeu de données mentionnés dans le résumé, le document se présente comme une base pour une identification plus fine des sous-tâches et une vérification par états, sans calendrier de suite annoncé.

RecherchePaper

1 source

2arXiv cs.RO

DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle

Des chercheurs du AIGeeksGroup publient DeltaWAM (Delta World Action Models), une nouvelle architecture pour piloter des bras robotiques bimanuels via l'apprentissage vidéo, détaillée dans un article arXiv (2609.28811v1) diffusé fin septembre 2026, avec code et démonstrations disponibles sur GitHub. Les modèles World-Action (WAM) classiques transfèrent les connaissances visuelles et de mouvement de générateurs vidéo préentraînés vers le contrôle robotique, mais ils prédisent à chaque étape des images futures complètes, ce qui recalcule inutilement du contenu inchangé et ralentit la génération d'actions en temps réel. DeltaWAM sépare le flux en trois composantes, une ancre dense, un delta visuel épars et un flux d'actions, déclinées en trois architectures selon le partage de calcul et de représentation. Le système ajoute une Streaming Delta Memory (SDM) qui met à jour un contexte d'ancrage en cache à partir des seuls changements observés, évitant de repasser par le lourd module vidéo à chaque pas. Sur le benchmark RoboTwin, DeltaWAM avec SDM porte le taux de réussite moyen de 81,3% à 85,4% en conditions standard, et de 75,8% à 83,9% avec randomisation visuelle, par rapport à la référence Fast-WAM. Les trois architectures réduisent le coût de calcul à l'entraînement de 17,78 à 23,77%, tandis que la SDM abaisse la latence d'inférence de 36,57% et le calcul associé de 31,55%. Pour l'industrie robotique, ce travail cible un goulot d'étranglement concret: les modèles génératifs vidéo, puissants pour transférer des priors de mouvement, restent trop lourds pour du contrôle en quelques pas de temps, un frein direct pour des manipulations bimanuelles réactives en usine ou en logistique. En découplant la dynamique liée à l'action des variations d'apparence parasites, DeltaWAM répond à un doute récurrent sur les architectures VLA à grande échelle: leur capacité à généraliser sans reconstruire l'intégralité de la scène à chaque inférence. Les gains annoncés en conditions réelles restent toutefois évalués par les auteurs eux-mêmes, face à un nombre limité de politiques concurrentes, sans validation indépendante à ce stade. L'article s'inscrit dans la lignée des WAM apparus pour exploiter les générateurs vidéo comme source de priors physiques, avec Fast-WAM comme point de comparaison direct explicitement cité. Aucun acteur industriel ni équipe européenne n'est mentionné, le travail restant à ce stade une contribution académique avec code ouvert, sans annonce de déploiement matériel ni de partenariat commercial.

RechercheActu

1 source

3arXiv cs.RO

PEAfowl : action vision-langage multi-vue à perception renforcée pour manipulation bimanuelle

Une équipe de recherche a publié sur arXiv, en version 2, un article décrivant PEAfowl, une architecture vision-langage-action (VLA) pour la manipulation bimanuelle en environnement encombré. Le modèle prédit des distributions de profondeur par token, effectue un relèvement 3D différentiable et fusionne les vues caméra par agrégation locale de voisins, au lieu de la simple concaténation de tokens des approches existantes. Pour l'ancrage des instructions, il remplace le conditionnement global du langage par une lecture de type Perceiver appliquée aux features CLIP gelées, avec accumulation itérative des indices visuels pertinents. Une distillation de profondeur, réalisée uniquement à l'entraînement via un modèle enseignant préexistant, affine les priors géométriques sans coût supplémentaire à l'inférence, ce qui compense le bruit et les trous typiques des capteurs RGB-D grand public. Sur le benchmark RoboTwin 2.0, en configuration à randomisation de domaine, PEAfowl améliore le taux de réussite de 23 points de pourcentage par rapport à la meilleure référence testée, un gain que les auteurs disent confirmé par des essais complémentaires sur robot physique. Ce travail cible deux limites connues des modèles VLA actuels: une fusion multi-vue trop grossière, qui fragilise la perception sous occlusion ou changement de point de vue, et un ancrage du langage jugé imprécis quand l'instruction sert de simple conditionnement global. Pour les intégrateurs qui évaluent des politiques VLA face à des références comme Pi-0, GR00T N2 ou Helix, ce résultat montre que la robustesse spatiale et la précision de l'ancrage linguistique restent des axes actifs de progrès plutôt que des problèmes déjà résolus. Il faut toutefois noter que le gain de 23 points est mesuré en simulation randomisée; les résultats sur robot réel, évoqués sans détail chiffré précis, relèvent à ce stade d'une validation qualitative plutôt que d'une preuve de déploiement à l'échelle. PEAfowl s'inscrit dans les travaux cherchant à réduire l'écart entre démonstrations en simulation et exécution fiable en conditions réelles pour la manipulation bimanuelle, un axe également exploré par des laboratoires industriels avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. L'article, classé en catégorie "replace-cross" sur arXiv, ne précise ni affiliation institutionnelle ni partenaire industriel. Un site dédié au projet est en ligne, mais aucun calendrier de publication de code ni de pilote industriel n'est annoncé pour l'instant.

RechercheActu

1 source

4arXiv cs.RO

JAMB : la diffusion conjointe action-mouvement pour la manipulation bimanuelle

JAMB (Joint Action-Motion Diffusion for Bimanual Manipulation) est une nouvelle politique de diffusion pour la manipulation robotique à deux bras, décrite dans un article publié le 23 septembre 2026 sur arXiv (2609.25322v1). Sa particularité est de débruiter simultanément, au sein d'un même Transformer partagé, les actions bimanuelles et les trajectoires 3D futures de points de la scène, les deux hypothèses s'informant mutuellement tout au long du processus de débruitage grâce à un système de coordonnées spatiotemporelles commun. L'équipe a testé JAMB sur 16 tâches de manipulation bimanuelle dans le simulateur RoboTwin 2.0 ainsi que sur un robot réel pour 3 tâches. En simulation, JAMB atteint un taux de succès moyen de 83,4 %, soit 23,9 points de pourcentage de plus que la meilleure référence testée. En conditions réelles, il dépasse les politiques n'utilisant que l'action de 50,0 points et les méthodes de prédiction géométrique auxiliaire de 21,2 points. Le site du projet est accessible à jam-bimanual.github.io. L'enjeu identifié par les auteurs est spécifique à la bimanualité : le mouvement d'un bras modifie la scène 3D partagée et affecte donc l'autre bras, un couplage que la plupart des politiques de diffusion ignorent, se contentant de générer des actions sans modéliser leurs conséquences géométriques futures. Les approches prédictives existantes, elles, traitent l'état futur comme une simple supervision auxiliaire ou un conditionnement figé plutôt que comme un élément coévoluant avec l'action. En montrant qu'un couplage bidirectionnel actions/trajectoires améliore nettement la performance et surtout la généralisation à des scènes encombrées et des arrière-plans inédits, ce travail apporte un argument concret en faveur d'une modélisation géométrique explicite pour les politiques de type VLA appliquées à la manipulation à deux bras, un axe suivi de près par les équipes travaillant sur la robotique de manipulation fine. Le papier positionne JAMB face à des politiques action-only et à d'autres approches de prédiction géométrique auxiliaire reposant sur des représentations d'état et des objectifs d'apprentissage différents, en s'appuyant sur RoboTwin 2.0 comme benchmark de référence pour la manipulation bimanuelle simulée. Il s'agit à ce stade d'une contribution de recherche académique, validée en simulation et sur un nombre limité de tâches réelles, sans indication de déploiement industriel ni de partenaire commercial associé.

RecherchePaper

1 source