RecherchearXiv cs.RO 15 mai 2026

DSSP : une politique d'état de diffusion avec encodage de l'historique complet

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié en mai 2026 un préprint sur arXiv (2605.14598) présentant DSSP, Diffusion State Space Policy, une nouvelle architecture de politique robotique pour la manipulation. Le principe central : conditionner la génération d'actions non plus sur une fenêtre courte d'observations récentes, comme le font la majorité des politiques diffusion existantes, mais sur l'intégralité de l'historique d'observations depuis le début de la tâche. L'encodeur d'historique repose sur des State Space Models (SSMs), qui compriment le flux complet d'observations en une représentation contextuelle compacte. Un objectif d'entraînement auxiliaire dit "dynamics-aware" optimise cet encodeur pour préserver les informations pertinentes à l'évolution future de l'état. Ce contexte de haut niveau est ensuite fusionné avec les observations récentes dans un mécanisme de conditionnement hiérarchique, et le backbone diffusion lui-même est également instancié via un SSM pour limiter la mémoire GPU. Les expériences couvrent des benchmarks en simulation et des tâches de manipulation réelles.

Le problème que DSSP cherche à résoudre est structurel dans les approches actuelles : les tâches longue durée génèrent des ambiguïtés que seule la mémoire étendue permet de lever. Une pince qui répète la même séquence de sous-tâches ou qui doit adapter son comportement en fonction d'un état vu dix secondes plus tôt ne peut pas le faire si le modèle n'a accès qu'à la dernière frame ou à une fenêtre de deux secondes. Les auteurs rapportent des performances état-de-l'art avec une taille de modèle significativement inférieure aux concurrents, ce qui est un argument industriel non trivial : des modèles plus légers facilitent le déploiement sur du compute embarqué et réduisent les coûts d'inférence. L'utilisation des SSMs plutôt que des Transformers pour l'encodage de séquences longues est cohérente avec des travaux récents (Mamba, Mamba-2) montrant que cette famille d'architectures offre une complexité linéaire en longueur de séquence, là où l'attention quadratique pénalise fortement les historiques longs.

Ce travail s'inscrit dans un courant actif depuis la publication de Diffusion Policy (Chi et al., Columbia/MIT, 2023), qui a établi la diffusion comme paradigme dominant pour l'imitation learning en manipulation. Des acteurs comme Physical Intelligence avec pi-0, NVIDIA avec GR00T N2, ou Figure AI avec ses architectures propriétaires ont chacun proposé leurs variantes de politiques diffusion ou VLA (Vision-Language-Action). La question de la mémoire temporelle longue reste ouverte dans l'ensemble de ces systèmes. DSSP est à ce stade un résultat de recherche académique, pas un produit déployé : les expériences réelles décrites sont des validations en laboratoire, non des pilotes industriels. La prochaine étape naturelle serait une intégration dans des frameworks open-source comme Lerobot (HuggingFace) ou une collaboration avec des fabricants pour valider le passage à l'échelle sur des tâches d'assemblage à horizons multiples.

Impact France/UE

Impact indirect potentiel si DSSP est intégré dans Lerobot (HuggingFace, entreprise française basée à Paris), ce qui faciliterait l'adoption par les équipes européennes de recherche en manipulation robotique longue durée.

Dans nos dossiers

Figure NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Entraînement et évaluation des politiques de diffusion avec de longs contextes

Une équipe de recherche a publié le 20 juin 2026 sur arXiv (arXiv:2606.16447) une étude systématique sur l'impact de la longueur de contexte dans l'apprentissage par imitation pour la manipulation robotique. Les politiques diffusion actuelles, celles qui apprennent des trajectoires motrices à partir d'observations RGB, ne conditionnent généralement les actions du robot que sur une courte fenêtre temporelle d'observations passées. Les auteurs ont construit un benchmark couvrant un spectre de tâches à stabilité locale et à exigences mémoire variables, en faisant varier progressivement la longueur du contexte de courte à longue, et ce dans plusieurs régimes de données. Leur résultat central : avec le bon backbone de débruitage (UNet avec cross-attention), les politiques single-task atteignent des taux de succès élevés même en scalant naïvement le contexte, y compris dans les régimes de données standards. Les chercheurs proposent également un algorithme d'entraînement qui entraîne conjointement les politiques sur plusieurs longueurs de contexte, réduisant ainsi la complexité d'échantillonnage de l'apprentissage à long contexte. Cette étude remet directement en cause un consensus répandu dans la littérature sur les VLA (Vision-Language-Action models) et les diffusion policies : l'idée que l'extension naïve du contexte serait fragile et nécessiterait des solutions architecturales spécifiques. Si ce résultat se confirme sur des benchmarks plus larges, il simplifie considérablement le pipeline de développement pour les intégrateurs robotiques, qui n'auraient plus besoin d'architectures mémoire spécialisées (LSTM, state-space models) pour résoudre des tâches séquentielles longues. C'est aussi un signal que le "memory gap" souvent invoqué pour justifier des approches complexes était peut-être surestimé, au moins dans les régimes de données courants. Les diffusion policies sont devenues un axe central de la robotique de manipulation depuis les travaux de Diffusion Policy (Chi et al., 2023) et leurs déclinaisons comme pi-0 de Physical Intelligence. La question du contexte long était jusqu'ici traitée par des approches ad hoc, recurrence, attention causale, mémoire externe. Cette étude offre la première analyse systématique à ce niveau de granularité, selon les auteurs eux-mêmes. Les prochaines étapes naturelles incluent la validation sur des tâches de manipulation industrielle réelle, la généralisation multi-tâche, et l'évaluation contre des baselines comme ACT ou des variantes de pi-0, dont les benchmarks publics permettraient une comparaison directe.

RecherchePaper

1 source

2arXiv cs.RO

ISS Policy : une politique de diffusion évolutive avec supervision implicite de la scène

Des chercheurs publient une troisième version de leur article sur arXiv, présentant ISS Policy (Implicit Scene Supervision Policy), une politique de diffusion visuomotrice 3D pour la manipulation robotique. Le système repose sur une architecture DiT (Diffusion Transformer) et prédit des séquences d'actions continues à partir d'observations en nuages de points plutôt que d'images 2D classiques. Sa particularité est d'ajouter, pendant l'entraînement, un prédicteur de mouvement du robot qui relie les actions générées et l'état du robot au mouvement de l'effecteur, puis combine ce mouvement prédit avec l'intention de la pince pour anticiper l'évolution future du nuage de points de la scène. Les auteurs ajoutent un routage de gradient asymétrique séparant la régression directe du mouvement de la supervision au niveau de la scène, ainsi qu'un objectif d'équilibrage des changements pour compenser les variations d'amplitude entre scènes. Ces mécanismes n'introduisent aucune annotation supplémentaire ni module auxiliaire au moment de l'inférence. L'équipe rapporte des performances état de l'art sur les tâches de manipulation à bras unique de la suite MetaWorld et sur les tâches de manipulation dextre de la suite Adroit, complétées par des expériences réelles sur un robot à deux bras. Code et vidéos sont annoncés pour une publication future, non encore disponibles. Pour les chercheurs en apprentissage par imitation et les intégrateurs robotiques, ISS Policy cible une faiblesse connue des politiques de diffusion entraînées par simple imitation d'actions : elles ignorent souvent les conséquences géométriques réelles des gestes du robot sur la scène, ce qui nuit à la généralisation hors des démonstrations vues. En forçant le modèle à apprendre explicitement la transition entre action, mouvement et changement de scène pendant l'entraînement, sans alourdir l'inférence, les auteurs montrent qu'il est possible d'améliorer la robustesse avec seulement des démonstrations expertes, sans capteur ni annotation additionnelle. C'est un signal pertinent dans le débat sur l'écart entre démonstrations de laboratoire et déploiement réel, avec une piste purement technique plutôt que dépendante de plus de données. Il s'agit toutefois d'un preprint académique sans partenaire industriel ni site de déploiement annoncé, et les résultats « état de l'art » restent bornés aux benchmarks simulés MetaWorld et Adroit, complétés par des essais réels limités en configuration bi-bras, sans chiffres précis rendus publics dans le résumé. Ce travail s'inscrit dans la lignée des « diffusion policies », famille d'approches apparue pour générer des trajectoires robotiques via des modèles de diffusion plutôt que des réseaux de régression classiques, désormais souvent associée aux backbones transformeurs de type DiT issus de la génération d'images et de vidéo. L'usage de nuages de points en entrée, plutôt que d'images RGB, rapproche ISS Policy des travaux en manipulation 3D centrés sur la compréhension géométrique de la scène, un axe distinct des architectures vision-langage-action qui dominent la communication grand public sur les robots humanoïdes. Aucun acteur commercial ni site industriel n'est cité : la contribution reste académique, en version 3 remplaçant une publication antérieure, avec promesse de code et de vidéos sans calendrier précis. Les suites attendues sont la publication effective du code, une extension possible à des tâches plus complexes ou d'autres plateformes, et une comparaison directe avec les approches VLA généralistes qui occupent aujourd'hui l'essentiel des annonces du secteur.

RecherchePaper

1 source

3arXiv cs.RO

Mamba Policy : vers une politique de diffusion 3D efficace avec des modèles à états sélectifs hybrides

Une équipe de recherche présente Mamba Policy, une nouvelle architecture pour piloter des robots manipulateurs en 3D, décrite dans une version mise à jour de l'article arXiv:2409.07163. Les modèles de diffusion sont devenus une méthode de référence pour apprendre à prédire des trajectoires d'action en manipulation robotique, mais ils s'appuient généralement sur de lourds réseaux UNet comme backbone, difficiles à faire tourner sur du matériel contraint en ressources, comme l'électronique embarquée d'un bras robotique. Les auteurs remplacent une partie de cette architecture par des blocs Mamba, un type de modèle à état sélectif réputé pour sa faible complexité de calcul en modélisation de séquences. Le résultat, baptisé Mamba Policy, réduit le nombre de paramètres de plus de 80 % par rapport au réseau de politique original, tout en obtenant de meilleures performances. La brique technique centrale, le XMamba Block, combine les informations d'entrée avec des caractéristiques conditionnelles en mélangeant mécanismes Mamba et attention pour une extraction de features plus fine. Pour l'industrie robotique et les équipes de recherche en manipulation, ce travail répond à une contrainte très concrète: les politiques de diffusion actuelles, aussi précises soient-elles, restent souvent trop volumineuses pour un déploiement embarqué en temps réel. Diviser le coût de calcul par cinq tout en gagnant en performance ouvre la voie à des politiques d'action utilisables sur des contrôleurs moins puissants, un enjeu clé pour les intégrateurs qui veulent sortir la manipulation robotique du laboratoire. Les auteurs mettent aussi en avant une meilleure robustesse sur les tâches à long horizon, un point faible connu des méthodes de diffusion classiques. Ce travail s'inscrit dans la vague plus large de modèles Mamba, apparus récemment comme alternative crédible aux architectures Transformer pour le traitement de séquences longues avec moins de calcul. Les expériences ont été menées sur les bancs d'essai académiques Adroit, Dexart et MetaWorld, avec plusieurs variantes de Mamba testées au sein du framework, et complétées par des essais en conditions réelles pour valider les résultats hors simulation. Le code et les détails du projet sont publiés en open source.

RecherchePaper

1 source

4arXiv cs.RO

DADP : politique de diffusion adaptative au domaine

Des chercheurs ont publié le 19 juin 2026 la troisième version de DADP (Domain Adaptive Diffusion Policy), un framework de contrôle robotique conçu pour généraliser à des dynamiques physiques inconnues sans nécessiter de réentraînement. Le problème central adressé est la capacité d'une politique apprise en simulation ou dans un environnement donné à fonctionner dans un autre contexte aux propriétés mécaniques différentes, friction, masse, compliance des articulations, ce que l'on appelle l'adaptation zéro-shot. Les auteurs identifient un défaut structurel dans les approches existantes de domain representation learning : lorsqu'un modèle extrait sa représentation du domaine à partir d'un contexte temporel adjacent à l'étape courante, il mélange involontairement des informations statiques (les constantes du domaine physique) avec des propriétés dynamiques transitoires (la vitesse ou la posture instantanée). DADP répond par deux contributions techniques : d'abord le Lagged Context Dynamical Prediction, qui conditionne l'estimation d'état futur sur un contexte historique décalé dans le temps, augmenter ce délai force le modèle à filtrer les propriétés transitoires et à extraire uniquement les invariants du domaine, sans supervision explicite. Ensuite, les représentations de domaine ainsi disentangled sont injectées directement dans le processus génératif du diffusion model, en biaisant la distribution a priori et en reformulant la cible de diffusion. Les résultats sur des benchmarks de locomotion et de manipulation dépassent les méthodes antérieures sur ces axes combinés. L'intérêt pour les intégrateurs robotiques et les équipes R&D est double. Premièrement, DADP aborde directement le sim-to-real gap en proposant une séparation non supervisée entre ce qui appartient à la physique du robot (masse, friction) et ce qui relève de la trajectoire en cours, une distinction que les approches précédentes laissaient au réseau à résoudre implicitement, avec des résultats fragiles. Deuxièmement, l'injection de la représentation domaine dans le processus de diffusion plutôt qu'en simple conditionnement de politique représente un changement architectural notable : cela signifie que la politique génère des actions dont la distribution est intrinsèquement calibrée sur le domaine courant, et non pas simplement corrigée a posteriori. Pour les équipes travaillant sur des déploiements multi-sites ou sur des flottes hétérogènes de manipulateurs industriels, cela ouvre une voie pour réduire le coût de calibration par site. Il convient de nuancer : les benchmarks présentés restent des environnements simulés standardisés (MuJoCo-type), et aucune validation hardware sur un robot physique n'est revendiquée dans l'abstract, un gap classique entre publication académique et déploiement terrain. DADP s'inscrit dans un courant de recherche actif qui cherche à combiner les diffusion policies, popularisées par les travaux de Chi et al. (2023) sur le Diffusion Policy et désormais intégrées dans des systèmes comme pi-zéro de Physical Intelligence ou les pipelines GR00T de NVIDIA, avec des mécanismes d'adaptation contextuelle au domaine physique. Les approches concurrentes incluent les méthodes de domain randomization (entraînement sur une large distribution de dynamiques) et les architectures méta-RL comme PEARL ou MAML, qui supposent un accès à quelques épisodes d'adaptation. DADP se positionne en zéro-shot sans rollouts d'adaptation, ce qui est une contrainte opérationnelle réaliste pour des déploiements industriels où le temps de mise en service est limité. La présence d'un site de visualisation dédié (outsider86.github.io/DomainAdaptiveDiffusionPolicy) et l'itération en version 3 suggèrent une réponse active à la communauté ; une validation expérimentale sur hardware physique constituerait la prochaine étape logique pour ancrer ces résultats dans la réalité industrielle.

RecherchePaper

1 source