Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Contrôle accéléré par Koopman de la diffusion basée sur modèle pour le contrôle robotique en temps réel
RecherchearXiv cs.RO 

Contrôle accéléré par Koopman de la diffusion basée sur modèle pour le contrôle robotique en temps réel

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du RCI Lab de l'université Kyung Hee (Coree du Sud) publient sur arXiv (2609.28920) une méthode de planification en temps réel nommée BK-MBD (bilinear Koopman model-based diffusion). Elle projette l'état du robot dans un espace de haute dimension une seule fois par pas de contrôle, puis propage tous les candidats de trajectoire par simples multiplications matrice-vecteur, évitant de resimuler la dynamique complète comme le fait le model-based diffusion classique. En simulation, chaque mise a jour tient en 14,7 ms maximum pour une période de contrôle de 50 ms, avec un objectif atteint a chaque essai, contre un échec quasi systématique pour un modèle de Koopman linéaire. Sur un manipulateur physique réel suivant une cible mobile inconnue au départ, BK-MBD est la seule méthode a la fois a suivre la cible et a tenir le délai.

Ce résultat s'attaque a un verrou connu : les méthodes de diffusion appliquées au contrôle produisent des trajectoires de qualité mais leur cout de calcul les cantonne généralement au hors-ligne, les rendant inutilisables en boucle fermée a cadence élevée. En rendant la dynamique bilinéaire plutôt que linéaire dans l'espace de Koopman, BK-MBD laisse le gain d'entrée varier avec la configuration du robot, une capacité qu'un modèle linéaire ne reproduit pas, ce qui explique l'écart de performance observe. La méthode franchit aussi un passage qu'aucune région convexe unique ne couvre, la ou un contrôleur bilinéaire convexifie échoue presque toujours. Pour les intégrateurs et chercheurs en contrôle robotique, c'est un indice que l'optimisation par diffusion peut devenir compatible avec des cadences de contrôle réelles sans attendre une accélération matérielle massive.

BK-MBD s'inscrit dans un courant de recherche récent combinant théorie de l'opérateur de Koopman et diffusion générative pour la planification robotique. L'article, classe comme nouvelle soumission arXiv, ne mentionne aucun partenaire industriel, pilote commercial ni calendrier de déploiement. Il s'agit pour l'instant d'un résultat de laboratoire, valide en simulation et sur un seul manipulateur physique, sans indication de portage vers d'autres plateformes ou vers une chaine de production ; une page projet dédiée est disponible en ligne (rcilab.khu.ac.kr/bkmbd).

Dans nos dossiers

arXiv cs.RO

À lire aussi

Distillation neuronale de Koopman dynamique pour le contrôle robotique en temps réel par modèles de diffusion
1arXiv cs.RO 

Distillation neuronale de Koopman dynamique pour le contrôle robotique en temps réel par modèles de diffusion

Une équipe de chercheurs a publié sur arXiv (2605.24924) un cadre nommé Dynamic Neural Koopman Distillation (DNKD), réduisant la latence d'inférence des politiques de diffusion robotiques à quelques millisecondes, contre des centaines pour les modèles originaux. Le problème central : les modèles de diffusion génèrent des trajectoires multimodales de qualité mais leur débruitage itératif (10 à 100 étapes) est incompatible avec la commande en boucle fermée à 50-100 Hz. La solution repose sur une couche Factorized Dynamic Koopman (FDK), qui distille ce processus en un seul passage avant via une transition latente factorisée à gains modaux dépendants de l'état. Validée sur les benchmarks D4RL MuJoCo et sur un bras Kinova physique, la méthode surpasse significativement les baselines de distillation à une étape sur les tâches de locomotion et maintient un taux de succès comparable en manipulation réelle. L'enjeu industriel est direct : les politiques de diffusion, plébiscitées pour leur gestion des tâches ambiguës à solutions multiples, étaient jusqu'ici confinées aux systèmes tolérant la latence. Ramener l'inférence au régime milliseconde ouvre la voie aux contrôleurs embarqués sans accélérateur dédié. Pour un intégrateur ou un COO industriel, c'est un accès aux politiques génératives puissantes sans compromis sur la réactivité, paramètre critique pour la sécurité machine et la cadence de production. La méthode confirme aussi que la distillation de connaissance, technique éprouvée en NLP, est transférable aux politiques d'action multimodales. Ce travail s'inscrit dans un courant ouvert par Diffusion Policy (Chi et al., 2023, Columbia) et industrialisé par Physical Intelligence avec pi-0. Les approches concurrentes pour l'accélération d'inférence incluent les consistency models, le rectified flow (présent dans GR00T N2 de NVIDIA) et DDIM. Le DNKD se distingue par son ancrage dans la théorie de l'opérateur de Koopman, qui linéarise la dynamique non linéaire dans un espace latent, garantie théorique absente des méthodes purement empiriques. La publication reste un preprint arXiv non évalué par les pairs, sans partenaire industriel annoncé ; les démonstrations sont disponibles sur fdkoopman.github.io.

RechercheActu
1 source
ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique
2arXiv cs.RO 

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper
1 source
Prise de contrôle adversariale en temps réel des politiques de diffusion robotique
3arXiv cs.RO 

Prise de contrôle adversariale en temps réel des politiques de diffusion robotique

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (réf. 2606.10371) une attaque baptisée TAKO (Test-time Adversarial Takeover), qui permet de prendre le contrôle en temps réel d'un robot opérant sous une politique de diffusion visuomotrice, sans modifier le modèle cible. La méthode repose sur un vocabulaire restreint de patches adversariaux universels et réutilisables, appris hors ligne via inférence de diffusion différentiable. À l'exécution, un opérateur humain injecte ces patches dans le flux caméra du robot et les commute dynamiquement pour composer des trajectoires de son choix. Sur quatre tâches évaluées (manipulation 2D, livraison aérienne simulée, navigation sol simulée et navigation sol en environnement physique réel), deux encodeurs visuels (ResNet-18 et EfficientNet-B0 + Transformer) et trois familles d'inférence générative (DDPM, DDIM et flow matching), les opérateurs attaquants ont atteint 100 % de succès de détournement dans l'ensemble des scénarios testés. Ce résultat interpelle directement les intégrateurs robotiques et les équipes de sécurité industrielle qui déploient des systèmes pilotés par des politiques de diffusion ou des VLA (Vision-Language-Action models). Jusqu'ici, la quasi-totalité des attaques adversariales sur robots visaient la dégradation des performances, induire un échec de tâche ou un comportement erratique. TAKO introduit une menace qualitativement différente : le robot ne s'arrête pas, il obéit à un attaquant distant. La perturbation agit sur le chemin de conditionnement visuel de la politique, et le biais introduit se propage à travers le processus de génération itératif propre aux modèles de diffusion, ce qui le rend difficile à détecter par supervision classique. Les auteurs démontrent aussi que la baseline naturelle "target-policy matching" échoue, car la politique victime ne peut pas se superviser fiablement sur des shifts hors distribution, invalidant une hypothèse de défense couramment avancée. Les politiques de diffusion pour la robotique se sont imposées comme paradigme dominant depuis 2023, portées par Diffusion Policy (Chi et al.) et intégrées dans des systèmes tels que pi0 de Physical Intelligence, les pipelines de Figure AI ou les robots de 1X Technologies. Ces architectures conditionnent l'action sur une observation visuelle, ce qui les rend structurellement vulnérables aux perturbations du flux caméra. Les pistes de défense habituelles, détection d'anomalies ou purification adversariale, restent largement expérimentales à cette échelle. L'évaluation demeure dans un cadre académique contrôlé, sans partenaire industriel ni calendrier de déploiement annoncé. Pour les équipes préparant des déploiements en logistique, livraison autonome ou manipulation industrielle, TAKO pose une question de sécurité concrète à laquelle le secteur n'a pas encore de réponse standardisée.

UELes intégrateurs robotiques européens déployant des systèmes à politiques de diffusion en logistique ou industrie doivent intégrer ce vecteur d'attaque dans leur modèle de menace, en l'absence de défense standardisée disponible.

RechercheActu
1 source
Fonctions de barrière de contrôle sémantiquement adaptatives avec modèles vision-langage pour la navigation robotique en temps réel
4arXiv cs.RO 

Fonctions de barrière de contrôle sémantiquement adaptatives avec modèles vision-langage pour la navigation robotique en temps réel

AlphaAdj, un cadre de navigation « vision vers commande » décrit dans un article arXiv (2603.21142v2), couple un modèle vision-langage (VLM) à des fonctions barrières de contrôle (CBF) pour adapter la prudence d'un robot au contexte visuel. Le VLM analyse les images RGB égocentriques et produit un signal scalaire de « prudence contextuelle ». Ce signal module le paramètre alpha de la CBF, qui règle la rapidité avec laquelle le robot est autorisé à s'approcher d'une contrainte de sécurité. Un plafond dépendant de la géométrie et de la vitesse borne l'agressivité admissible. Le signal n'est pas obtenu par génération de texte autoregressive. Il est extrait directement des probabilités au niveau des tokens, et l'inférence tourne de façon asynchrone par rapport à la boucle de contrôle. Le système tient une période de contrôle de 0,0167 s (environ 60 Hz) avec une latence moyenne aller-retour du VLM de 0,158 s. Les tests couvrent des scénarios à géométrie appariée, à humains dynamiques et à environnement encombré, plus un essai physique sur un robot Clearpath Jackal. À géométrie d'obstacle identique, AlphaAdj laisse 0,405 m de dégagement supplémentaire face à un humain par rapport à un objet inoffensif. Les baselines purement géométriques et les baselines adaptatives non visuelles ne font aucune différence entre les deux cas. Dans les scènes encombrées, toutes les baselines géométriques évaluées entrent en collision, alors qu'AlphaAdj reste sans collision. L'intérêt tient à ce que ce travail s'attaque à un compromis classique de la robotique mobile : rester sûr sans devenir trop conservateur. Une CBF ordinaire ne voit que l'état géométrique. Un carton et un piéton de même forme reçoivent donc la même marge. Ici, la sémantique ajuste la marge sans entrer dans le chemin critique : le VLM est consultatif et la garantie de sécurité reste portée par la CBF et son plafond. Pour un intégrateur, c'est un schéma plus facile à justifier en certification qu'une politique de bout en bout opaque. Il montre aussi qu'un VLM de 0,158 s de latence reste exploitable sur une boucle à 60 Hz s'il est découplé. Les réserves sont classiques : les résultats viennent surtout de simulation et d'un seul robot terrestre de petite taille, et la comparaison porte sur des baselines choisies par les auteurs. Les 0,405 m supplémentaires sont un résultat de scénarios contrôlés, non une mesure en exploitation. Ces travaux s'inscrivent dans la lignée des CBF, devenues un outil standard de filtrage de sécurité pour la navigation et la manipulation, et de l'usage croissant des VLM comme couche de raisonnement sémantique en robotique. Ils se rapprochent des approches qui injectent un contexte appris dans des contrôleurs à garanties formelles, plutôt que de laisser un VLA piloter directement les actionneurs. Les suites naturelles seraient des tests sur des plateformes plus rapides ou plus lourdes, comme des AMR d'entrepôt ou des humanoïdes, en environnements réellement peuplés, avec une analyse de la robustesse du signal VLM face aux erreurs de perception. Aucun calendrier de déploiement n'est annoncé : il s'agit d'une publication de recherche, non d'un produit.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source