Aller au contenu principal
Distillation neuronale de Koopman dynamique pour le contrôle robotique en temps réel par modèles de diffusionIllustration générée par IA
RecherchearXiv cs.RO 

Distillation neuronale de Koopman dynamique pour le contrôle robotique en temps réel par modèles de diffusion

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs a publié sur arXiv (2605.24924) un cadre nommé Dynamic Neural Koopman Distillation (DNKD), réduisant la latence d'inférence des politiques de diffusion robotiques à quelques millisecondes, contre des centaines pour les modèles originaux. Le problème central : les modèles de diffusion génèrent des trajectoires multimodales de qualité mais leur débruitage itératif (10 à 100 étapes) est incompatible avec la commande en boucle fermée à 50-100 Hz. La solution repose sur une couche Factorized Dynamic Koopman (FDK), qui distille ce processus en un seul passage avant via une transition latente factorisée à gains modaux dépendants de l'état. Validée sur les benchmarks D4RL MuJoCo et sur un bras Kinova physique, la méthode surpasse significativement les baselines de distillation à une étape sur les tâches de locomotion et maintient un taux de succès comparable en manipulation réelle.

L'enjeu industriel est direct : les politiques de diffusion, plébiscitées pour leur gestion des tâches ambiguës à solutions multiples, étaient jusqu'ici confinées aux systèmes tolérant la latence. Ramener l'inférence au régime milliseconde ouvre la voie aux contrôleurs embarqués sans accélérateur dédié. Pour un intégrateur ou un COO industriel, c'est un accès aux politiques génératives puissantes sans compromis sur la réactivité, paramètre critique pour la sécurité machine et la cadence de production. La méthode confirme aussi que la distillation de connaissance, technique éprouvée en NLP, est transférable aux politiques d'action multimodales.

Ce travail s'inscrit dans un courant ouvert par Diffusion Policy (Chi et al., 2023, Columbia) et industrialisé par Physical Intelligence avec pi-0. Les approches concurrentes pour l'accélération d'inférence incluent les consistency models, le rectified flow (présent dans GR00T N2 de NVIDIA) et DDIM. Le DNKD se distingue par son ancrage dans la théorie de l'opérateur de Koopman, qui linéarise la dynamique non linéaire dans un espace latent, garantie théorique absente des méthodes purement empiriques. La publication reste un preprint arXiv non évalué par les pairs, sans partenaire industriel annoncé ; les démonstrations sont disponibles sur fdkoopman.github.io.

À lire aussi

Contrôle accéléré par Koopman de la diffusion basée sur modèle pour le contrôle robotique en temps réel
Illustration générée par IA
1arXiv cs.RO 

Contrôle accéléré par Koopman de la diffusion basée sur modèle pour le contrôle robotique en temps réel

Des chercheurs du RCI Lab de l'université Kyung Hee (Coree du Sud) publient sur arXiv (2609.28920) une méthode de planification en temps réel nommée BK-MBD (bilinear Koopman model-based diffusion). Elle projette l'état du robot dans un espace de haute dimension une seule fois par pas de contrôle, puis propage tous les candidats de trajectoire par simples multiplications matrice-vecteur, évitant de resimuler la dynamique complète comme le fait le model-based diffusion classique. En simulation, chaque mise a jour tient en 14,7 ms maximum pour une période de contrôle de 50 ms, avec un objectif atteint a chaque essai, contre un échec quasi systématique pour un modèle de Koopman linéaire.

RecherchePaper
1 source
ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique
Illustration générée par IA
2arXiv cs.RO 

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE.

RecherchePaper
1 source
Micro-politiques neuronales pour un contrôle robotique sûr en temps réel
Illustration générée par IA
3arXiv cs.RO 

Micro-politiques neuronales pour un contrôle robotique sûr en temps réel

Des chercheurs publient sur arXiv (2610.08541v1) une méthode de synthèse de « Micro Neural Policies » (MNP), des politiques de contrôle neuronales minuscules, conçues pour piloter des robots en temps réel sur des microcontrôleurs aux ressources très limitées. La recherche d'une politique combine une stratégie d'évolution (Evolution Strategy, ES) et une vérification par model checking statistique (SMC). Selon les auteurs, cette combinaison réduit fortement la taille du réseau sans dégrader la sécurité ni la robustesse. L'entraînement et l'évaluation ont été menés à grande échelle sur deux tâches, le pendule inversé sur chariot (Cartpole) et le contrôle d'un quadrirotor. Les fréquences de contrôle et les architectures de réseau variaient.

RecherchePaper
1 source
Prise de contrôle adversariale en temps réel des politiques de diffusion robotique
Illustration générée par IA
4arXiv cs.RO 

Prise de contrôle adversariale en temps réel des politiques de diffusion robotique

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (réf. 2606.10371) une attaque baptisée TAKO (Test-time Adversarial Takeover), qui permet de prendre le contrôle en temps réel d'un robot opérant sous une politique de diffusion visuomotrice, sans modifier le modèle cible. La méthode repose sur un vocabulaire restreint de patches adversariaux universels et réutilisables, appris hors ligne via inférence de diffusion différentiable. À l'exécution, un opérateur humain injecte ces patches dans le flux caméra du robot et les commute dynamiquement pour composer des trajectoires de son choix.

UELes intégrateurs robotiques européens déployant des systèmes à politiques de diffusion en logistique ou industrie doivent intégrer ce vecteur d'attaque dans leur modèle de menace, en l'absence de défense standardisée disponible.

RechercheActu
1 source