Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Mamba Policy : vers une politique de diffusion 3D efficace avec des modèles à états sélectifs hybrides
RecherchearXiv cs.RO 

Mamba Policy : vers une politique de diffusion 3D efficace avec des modèles à états sélectifs hybrides

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente Mamba Policy, une nouvelle architecture pour piloter des robots manipulateurs en 3D, décrite dans une version mise à jour de l'article arXiv:2409.07163. Les modèles de diffusion sont devenus une méthode de référence pour apprendre à prédire des trajectoires d'action en manipulation robotique, mais ils s'appuient généralement sur de lourds réseaux UNet comme backbone, difficiles à faire tourner sur du matériel contraint en ressources, comme l'électronique embarquée d'un bras robotique. Les auteurs remplacent une partie de cette architecture par des blocs Mamba, un type de modèle à état sélectif réputé pour sa faible complexité de calcul en modélisation de séquences. Le résultat, baptisé Mamba Policy, réduit le nombre de paramètres de plus de 80 % par rapport au réseau de politique original, tout en obtenant de meilleures performances. La brique technique centrale, le XMamba Block, combine les informations d'entrée avec des caractéristiques conditionnelles en mélangeant mécanismes Mamba et attention pour une extraction de features plus fine.

Pour l'industrie robotique et les équipes de recherche en manipulation, ce travail répond à une contrainte très concrète: les politiques de diffusion actuelles, aussi précises soient-elles, restent souvent trop volumineuses pour un déploiement embarqué en temps réel. Diviser le coût de calcul par cinq tout en gagnant en performance ouvre la voie à des politiques d'action utilisables sur des contrôleurs moins puissants, un enjeu clé pour les intégrateurs qui veulent sortir la manipulation robotique du laboratoire. Les auteurs mettent aussi en avant une meilleure robustesse sur les tâches à long horizon, un point faible connu des méthodes de diffusion classiques.

Ce travail s'inscrit dans la vague plus large de modèles Mamba, apparus récemment comme alternative crédible aux architectures Transformer pour le traitement de séquences longues avec moins de calcul. Les expériences ont été menées sur les bancs d'essai académiques Adroit, Dexart et MetaWorld, avec plusieurs variantes de Mamba testées au sein du framework, et complétées par des essais en conditions réelles pour valider les résultats hors simulation. Le code et les détails du projet sont publiés en open source.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

DSSP : une politique d'état de diffusion avec encodage de l'historique complet
1arXiv cs.RO 

DSSP : une politique d'état de diffusion avec encodage de l'historique complet

Une équipe de recherche a publié en mai 2026 un préprint sur arXiv (2605.14598) présentant DSSP, Diffusion State Space Policy, une nouvelle architecture de politique robotique pour la manipulation. Le principe central : conditionner la génération d'actions non plus sur une fenêtre courte d'observations récentes, comme le font la majorité des politiques diffusion existantes, mais sur l'intégralité de l'historique d'observations depuis le début de la tâche. L'encodeur d'historique repose sur des State Space Models (SSMs), qui compriment le flux complet d'observations en une représentation contextuelle compacte. Un objectif d'entraînement auxiliaire dit "dynamics-aware" optimise cet encodeur pour préserver les informations pertinentes à l'évolution future de l'état. Ce contexte de haut niveau est ensuite fusionné avec les observations récentes dans un mécanisme de conditionnement hiérarchique, et le backbone diffusion lui-même est également instancié via un SSM pour limiter la mémoire GPU. Les expériences couvrent des benchmarks en simulation et des tâches de manipulation réelles. Le problème que DSSP cherche à résoudre est structurel dans les approches actuelles : les tâches longue durée génèrent des ambiguïtés que seule la mémoire étendue permet de lever. Une pince qui répète la même séquence de sous-tâches ou qui doit adapter son comportement en fonction d'un état vu dix secondes plus tôt ne peut pas le faire si le modèle n'a accès qu'à la dernière frame ou à une fenêtre de deux secondes. Les auteurs rapportent des performances état-de-l'art avec une taille de modèle significativement inférieure aux concurrents, ce qui est un argument industriel non trivial : des modèles plus légers facilitent le déploiement sur du compute embarqué et réduisent les coûts d'inférence. L'utilisation des SSMs plutôt que des Transformers pour l'encodage de séquences longues est cohérente avec des travaux récents (Mamba, Mamba-2) montrant que cette famille d'architectures offre une complexité linéaire en longueur de séquence, là où l'attention quadratique pénalise fortement les historiques longs. Ce travail s'inscrit dans un courant actif depuis la publication de Diffusion Policy (Chi et al., Columbia/MIT, 2023), qui a établi la diffusion comme paradigme dominant pour l'imitation learning en manipulation. Des acteurs comme Physical Intelligence avec pi-0, NVIDIA avec GR00T N2, ou Figure AI avec ses architectures propriétaires ont chacun proposé leurs variantes de politiques diffusion ou VLA (Vision-Language-Action). La question de la mémoire temporelle longue reste ouverte dans l'ensemble de ces systèmes. DSSP est à ce stade un résultat de recherche académique, pas un produit déployé : les expériences réelles décrites sont des validations en laboratoire, non des pilotes industriels. La prochaine étape naturelle serait une intégration dans des frameworks open-source comme Lerobot (HuggingFace) ou une collaboration avec des fabricants pour valider le passage à l'échelle sur des tâches d'assemblage à horizons multiples.

UEImpact indirect potentiel si DSSP est intégré dans Lerobot (HuggingFace, entreprise française basée à Paris), ce qui faciliterait l'adoption par les équipes européennes de recherche en manipulation robotique longue durée.

RechercheOpinion
1 source
ISS Policy : une politique de diffusion évolutive avec supervision implicite de la scène
2arXiv cs.RO 

ISS Policy : une politique de diffusion évolutive avec supervision implicite de la scène

Des chercheurs publient une troisième version de leur article sur arXiv, présentant ISS Policy (Implicit Scene Supervision Policy), une politique de diffusion visuomotrice 3D pour la manipulation robotique. Le système repose sur une architecture DiT (Diffusion Transformer) et prédit des séquences d'actions continues à partir d'observations en nuages de points plutôt que d'images 2D classiques. Sa particularité est d'ajouter, pendant l'entraînement, un prédicteur de mouvement du robot qui relie les actions générées et l'état du robot au mouvement de l'effecteur, puis combine ce mouvement prédit avec l'intention de la pince pour anticiper l'évolution future du nuage de points de la scène. Les auteurs ajoutent un routage de gradient asymétrique séparant la régression directe du mouvement de la supervision au niveau de la scène, ainsi qu'un objectif d'équilibrage des changements pour compenser les variations d'amplitude entre scènes. Ces mécanismes n'introduisent aucune annotation supplémentaire ni module auxiliaire au moment de l'inférence. L'équipe rapporte des performances état de l'art sur les tâches de manipulation à bras unique de la suite MetaWorld et sur les tâches de manipulation dextre de la suite Adroit, complétées par des expériences réelles sur un robot à deux bras. Code et vidéos sont annoncés pour une publication future, non encore disponibles. Pour les chercheurs en apprentissage par imitation et les intégrateurs robotiques, ISS Policy cible une faiblesse connue des politiques de diffusion entraînées par simple imitation d'actions : elles ignorent souvent les conséquences géométriques réelles des gestes du robot sur la scène, ce qui nuit à la généralisation hors des démonstrations vues. En forçant le modèle à apprendre explicitement la transition entre action, mouvement et changement de scène pendant l'entraînement, sans alourdir l'inférence, les auteurs montrent qu'il est possible d'améliorer la robustesse avec seulement des démonstrations expertes, sans capteur ni annotation additionnelle. C'est un signal pertinent dans le débat sur l'écart entre démonstrations de laboratoire et déploiement réel, avec une piste purement technique plutôt que dépendante de plus de données. Il s'agit toutefois d'un preprint académique sans partenaire industriel ni site de déploiement annoncé, et les résultats « état de l'art » restent bornés aux benchmarks simulés MetaWorld et Adroit, complétés par des essais réels limités en configuration bi-bras, sans chiffres précis rendus publics dans le résumé. Ce travail s'inscrit dans la lignée des « diffusion policies », famille d'approches apparue pour générer des trajectoires robotiques via des modèles de diffusion plutôt que des réseaux de régression classiques, désormais souvent associée aux backbones transformeurs de type DiT issus de la génération d'images et de vidéo. L'usage de nuages de points en entrée, plutôt que d'images RGB, rapproche ISS Policy des travaux en manipulation 3D centrés sur la compréhension géométrique de la scène, un axe distinct des architectures vision-langage-action qui dominent la communication grand public sur les robots humanoïdes. Aucun acteur commercial ni site industriel n'est cité : la contribution reste académique, en version 3 remplaçant une publication antérieure, avec promesse de code et de vidéos sans calendrier précis. Les suites attendues sont la publication effective du code, une extension possible à des tâches plus complexes ou d'autres plateformes, et une comparaison directe avec les approches VLA généralistes qui occupent aujourd'hui l'essentiel des annonces du secteur.

RecherchePaper
1 source
ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique
3arXiv cs.RO 

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper
1 source
Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif
4arXiv cs.RO 

Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif

Des chercheurs proposent LCAM (Loss-Conditioned Activation-Moment pruning), une méthode d'élagage non structuré, sans réentraînement, pour des politiques de manipulation robotique déjà pré-entraînées. Le travail, publié sur arXiv (2610.08555), classe les connexions du réseau selon trois signaux : la contribution des poids normalisée par ligne, les moments d'activation mesurés sur des démonstrations de calibration, et la sensibilité des directions de sortie à la perte de prédiction d'action. Une procédure récursive du grossier au fin recalibre l'importance après chaque étape d'élagage grossier. Une fois passé un « genou » de sparsité, un budget fin est alloué selon la distorsion d'action hors ligne sur des données de validation. Testée sur trois suites LIBERO avec plusieurs politiques robotiques et sur OpenVLA, la méthode atteint 84,0 % de réussite sur LIBERO-Object avec OpenVLA à 50 % d'élagage non structuré, soit plus de 90 % du taux de succès de la politique dense. Les auteurs ajoutent un test réel sur une tâche de ping-pong robotisé, dont ils ne détaillent pas les chiffres dans le résumé. L'enjeu est le déploiement embarqué de modèles VLA (vision-langage-action), dont la taille pèse sur la latence, la mémoire et la consommation. Les critères d'élagage classiques sont conçus pour la classification d'images ou la vraisemblance des modèles de langage, et dégradent le comportement en boucle fermée. En ciblant directement la perte d'action et en évitant à la fois le réentraînement de récupération et les rollouts en simulateur, LCAM abaisse le coût de compression pour un intégrateur qui souhaite faire tourner une politique sur un calculateur contraint. Il faut toutefois rester prudent. L'élagage non structuré produit des matrices creuses qui n'accélèrent pas automatiquement l'inférence sur GPU ou sur les puces embarquées courantes, sauf support matériel dédié. Les gains annoncés portent sur le taux de succès, pas sur la latence mesurée. Le résultat à 84,0 % concerne une seule suite, LIBERO-Object, un benchmark de simulation relativement favorable, et le ping-pong réel reste une démonstration unique sans statistiques publiées. Ces travaux s'inscrivent dans le mouvement de compression des modèles VLA, après la montée en puissance d'OpenVLA, de Pi-0 et des approches de distillation, de quantification ou de réduction de couches. Ils prolongent des méthodes d'élagage générales comme Wanda ou SparseGPT, conçues pour les modèles de langage et ici adaptées à l'action. Les suites logiques seraient une validation sur des politiques plus grandes, un élagage structuré compatible avec les accélérateurs, et des mesures de latence sur matériel embarqué, ainsi que des tests sur des tâches de manipulation plus longues et plus variées que LIBERO. Aucun acteur européen n'est cité dans le résumé, et aucun calendrier de diffusion du code ou d'application industrielle n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source