RecherchearXiv cs.RO 19 août 2026

KAN We Flow ? Faire progresser la manipulation robotique grâce à l'appariement de flux 3D via KAN et RWKV

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente KAN-We-Flow, une politique de manipulation robotique fondée sur le flow matching, décrite dans un article révisé sur arXiv (identifiant 2602.01115, version 3). Le système combine deux architectures récentes: RWKV (Receptance Weighted Key Value), pour le mélange temporel et par canal du contexte de tache, et les réseaux de Kolmogorov-Arnold (KAN), via une couche GroupKAN qui applique des fonctions splines apprenables groupe par groupe pour calibrer les actions prédites. Les auteurs ajoutent une régularisation de cohérence d'action (ACR), une perte auxiliaire qui aligne les trajectoires prédites sur les démonstrations expertes par extrapolation d'Euler, afin de stabiliser l'entrainement. Resultat annonce: une réduction de 86,8% du nombre de paramètres par rapport aux architectures UNet habituelles, avec un temps d'inférence plus rapide et des scores de réussite qualifies d'état de l'art sur trois bancs d'essai de simulation en manipulation dexterale, Adroit, Meta-World et DexArt.

Les politiques visuomotrices par diffusion, devenues standard pour l'apprentissage de comportements robotiques a partir de démonstrations, souffrent d'un défaut connu: leur debruitage itératif et leurs backbones UNet lourds les rendent lentes a exécuter, un frein direct au déploiement sur du matériel embarque a ressources limitées. Le flow matching promettait déjà de réduire ce cout en apprenant un champ vectoriel résolu en une seule étape, mais les implémentations existantes conservaient des architectures encombrantes. En remplaçant le UNet par un bloc RWKV-KAN nettement plus compact, ce travail ouvre une piste concrète pour rapprocher les politiques d'apprentissage par imitation des contraintes réelles des robots, calcul embarque et latence de cycle, un enjeu suivi de près par les intégrateurs qui cherchent a faire tourner des politiques de type VLA ou diffusion sur des contrôleurs de bord plutôt que sur des serveurs déportés.

Ce travail s'inscrit dans la lignée des politiques par diffusion type Diffusion Policy et des approches de flow matching plus récentes derrière des modèles vision-langage-action tels que Pi-0, qui cherchent toutes a réduire le nombre d'étapes de génération nécessaires pour produire une action. Il ne s'agit pas d'une annonce produit ni d'un déploiement sur robot physique: les résultats publies restent circonscrits a des bancs d'essai de simulation standards en manipulation dexterale, sans précision sur un transfert sim-to-real ni sur un calendrier de mise en oeuvre industrielle. La page projet associée met a disposition code et détails supplémentaires pour la communauté de recherche, mais aucune entreprise ni intégrateur n'est cite comme partie prenante a ce stade.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

HCPG-Flow : guidage hiérarchique de progression de contact pour la manipulation robotique par politique de flux

Les chercheurs à l'origine de HCPG-Flow présentent une nouvelle méthode de sélection d'actions pour les politiques de manipulation robotique de type "flow", publiée sur arXiv (2607.17651). Le problème visé est concret : ces politiques génèrent plusieurs propositions d'actions multimodales à chaque étape de contrôle, mais le robot ne peut en exécuter qu'une seule, et le classement habituel par un critique (critic-based ranking) fausse la collecte de données lorsque les candidates sont mal représentées dans le buffer de replay. HCPG-Flow ajoute à SAC-Flow un mécanisme de guidage hiérarchique centré sur l'objet, actif au moment du rollout, sans modifier les objectifs d'acteur et de critique existants. Le système bascule d'abord sur l'approche de l'effecteur terminal, puis, une fois le contact établi, sur la progression de la tâche, en notant chaque proposition selon la réduction de premier ordre d'une distance pertinente pour la tâche, standardisée au sein de l'ensemble de candidats, avant d'exécuter une combinaison d'actions contrôlée par température. Sur dix tâches simulées, la méthode améliore le taux de succès moyen par rapport à SAC-Flow sur les deux bancs d'essai testés, avec un gain de 9,5 points de pourcentage sur Maniskill. En conditions réelles, sur quatre tâches physiques, HCPG-Flow atteint un haut taux de succès tout en réduisant de 17,4 % le nombre d'étapes nécessaires pour compléter une tâche avec succès. Pour le secteur de la robotique manipulative, ce travail s'attaque à un goulot d'étranglement bien identifié des politiques par apprentissage par renforcement à base de flow matching : la fiabilité de la sélection d'action au moment de l'exécution, distincte de la qualité de l'apprentissage lui-même. En s'appuyant sur une heuristique physique simple, le progrès de contact plutôt qu'une pure estimation de valeur, la méthode réduit la dépendance à des estimations de critique potentiellement biaisées, un point sensible pour les intégrateurs qui cherchent des politiques robustes et transférables du simulateur au réel (sim-to-real), notamment sur des tâches de manipulation fine où le contact physique conditionne la réussite. HCPG-Flow s'inscrit dans la lignée des travaux récents combinant flow policies et SAC (Soft Actor-Critic), une famille de méthodes qui a gagné en popularité pour représenter des distributions d'actions multimodales en robotique, en concurrence directe avec les approches par diffusion. Les auteurs mettent à disposition une page de projet (hitxraz.github.io/HCPG-Flow) présentant probablement code et démonstrations, sans toutefois préciser à ce stade de calendrier de déploiement industriel ni de partenariat avec des acteurs commerciaux du secteur.

RecherchePaper

1 source

2arXiv cs.RO

SUREFlow : appariement de flux résiduel adapté à l'incertitude dans l'espace d'états pour une manipulation robotique robuste

Des chercheurs publient sur arXiv (2607.10504v1) SUREFlow, une nouvelle politique de manipulation robotique fondée sur le state-space model Mamba plutôt que sur les architectures Transformer habituelles. Le nom complet, State-space Uncertainty-aware REsidual Flow matching, résume l'idée centrale: le modèle prédit conjointement les vitesses d'action et une incertitude résiduelle dépendant de l'entrée, ce qui lui permet de raffiner sélectivement les dimensions d'action jugées peu fiables, sans retour de l'environnement, tout en gardant un coût de calcul contenu. Sur le benchmark de simulation LIBERO, SUREFlow atteint un taux de réussite moyen de 92,5%, contre un score inférieur de 34,2 points pour MaIL, l'autre politique bâtie sur Mamba. Sur la variante plus difficile LIBERO-PRO, il obtient environ 49% de réussite avec seulement 179 millions de paramètres, un résultat que les auteurs présentent comme comparable à celui de grands modèles VLA (vision-langage-action) pesant entre 3 et 7 milliards de paramètres. Le code source est publié sur GitHub. L'enjeu dépassé le simple gain de score: les politiques génératives par diffusion ou flow matching, aujourd'hui dominantes pour piloter des bras robotiques à partir d'images et de langage, souffrent d'instabilité lors de rollouts longs, où de petites erreurs de vitesse s'accumulent et dégradent l'exécution. La plupart des approches existantes supposent une incertitude homogène et ne la modélisent pas explicitement pendant la génération d'action. En ciblant ce point précis, SUREFlow s'attaque directement au fossé entre démonstration en simulation et fiabilité en conditions réelles, un problème central pour les intégrateurs qui cherchent des politiques VLA robustes sans devoir recourir à des modèles massifs coûteux à faire tourner en embarqué. Le travail s'inscrit dans la lignée des politiques de manipulation compactes inspirées de Mamba, alternative aux Transformers pour réduire la complexité de calcul sur des séquences longues, après des tentatives comme MaIL. Il se positionne aussi face aux grands VLA généralistes tels que Pi-0 ou GR00T N2, en misant sur l'efficacité paramétrique plutôt que sur l'échelle. À ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation sur LIBERO et LIBERO-PRO, sans validation annoncée sur robot physique ni partenariat industriel identifié.

RechercheActu

1 source

3arXiv cs.RO

Politique CoLA-Flow : apprentissage par imitation temporellement cohérent via le flux d'actions latentes continues pour la manipulation robotique

Une équipe de chercheurs a publié sur arXiv (2501.23087, version 3 en mai 2026) CoLA-Flow Policy, un framework d'apprentissage par imitation conçu pour la manipulation robotique sur des horizons d'action longs. L'approche combine le flow matching, une technique générative plus rapide que la diffusion, avec un espace d'action latent continu dans lequel les trajectoires sont encodées avant l'apprentissage du flux. Sur bancs de simulation et sur robots réels, les expériences affichent une amélioration de la régularité des trajectoires allant jusqu'à 93,7 % et un gain de taux de succès allant jusqu'à 25 points de pourcentage par rapport aux baselines de flow matching opérant directement dans l'espace d'action brut. L'inférence s'effectue en quasi-un seul pas, soit une vitesse nettement supérieure aux politiques basées sur la diffusion, qui nécessitent plusieurs étapes de débruitage. Le principal apport de CoLA-Flow est de découpler la structure globale du mouvement du bruit de contrôle bas niveau : en encodant les séquences d'actions en trajectoires latentes temporellement cohérentes, le modèle évite les oscillations et incohérences qui affectent les politiques de flow matching en espace brut. Pour un intégrateur ou un décideur industriel, cela signifie qu'une même architecture peut traiter des tâches de manipulation complexes sans latence rédhibitoire ni comportement erratique entre les étapes. Le conditionnement par nuages de points (point cloud) et la modulation multimodale à l'exécution via des indices visuels renforcent la robustesse dans des environnements réels non contrôlés, deux exigences critiques pour tout déploiement hors laboratoire. Ce travail s'inscrit dans une compétition intense entre architectures génératives pour les politiques robotiques. Diffusion Policy (Chi et al., 2023) a établi la référence en termes d'expressivité comportementale, mais son coût computationnel freine l'usage temps réel. Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA ont validé le flow matching comme alternative viable, au prix d'une instabilité accrue sur les horizons longs, précisément le problème que CoLA-Flow tente de résoudre via l'espace latent. Le framework s'apparente conceptuellement aux approches d'action chunking (ACT), mais opère au niveau du flux plutôt que de la prédiction directe. La troisième version de l'article suggère des révisions itératives significatives depuis janvier 2026 ; aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade, et les benchmarks présentés restent limités à des environnements de manipulation contrôlés.

RechercheOpinion

1 source

4arXiv cs.RO

JoyAI-RA 0.5 : passage à l'échelle de l'apprentissage de la manipulation robotique via un double alignement d'action

JoyAI-RA 0.5 est un framework généraliste de type VLWA (Vision-Language-World-Action) pour l'apprentissage de la manipulation robotique, présenté dans un preprint arXiv (2608.05674). Le problème de départ : les données robotiques réelles sont rares, donc les politiques généralistes doivent apprendre à partir de sources hétérogènes, vidéo égocentrique humaine, simulation, robots réels, dont l'embodiment et le type de supervision diffèrent, avec des labels d'action souvent manquants ou incompatibles entre eux. Mélanger naïvement ces sources provoque un transfert négatif plutôt qu'un partage de connaissances utile. JoyAI-RA propose un « alignement d'action double » : un alignement implicite infère des actions latentes à partir des transitions visuelles, ce qui permet aux données sans label d'action (humaines, simulées, robotiques) d'entraîner un modèle du monde conditionné par ces actions latentes ; un alignement explicite ancre les trajectoires humaines et robotiques fiables dans un espace d'action physique commun, via une représentation canonique et des actions d'effecteur relatives au cadre caméra. Une phase de renforcement en double boucle combine ensuite adaptation rapide à une tâche et amélioration de la politique de base. Sur le benchmark réel AgiBot, JoyAI-RA obtient de bons résultats aussi bien sur des tâches déjà vues que sur des variations inédites. Le résultat clé concerne le passage à l'échelle : le score de tâche s'améliore de façon constante à mesure que le volume de données de pretraining vidéo humaine augmente, sans signe de plateau même au plus grand volume testé. Pour l'industrie robotique, c'est un signal important : la vidéo humaine, abondante mais faiblement labellisée, ne serait plus un simple signal auxiliaire mais pourrait devenir un axe primaire pour faire monter en compétence les politiques de manipulation. Si ce résultat se confirme à plus grande échelle, il pourrait atténuer le goulot d'étranglement des données qui freine les politiques généralistes de type VLA, puisque collecter des démonstrations sur robot réel reste lent et coûteux alors que la vidéo humaine est quasi illimitée. Cela apporte aussi un élément de réponse au débat récurrent du secteur sur la possibilité de fusionner des données d'embodiments incompatibles sans dégrader la performance, un problème jusqu'ici traité comme une source de transfert négatif plutôt que d'opportunité. Ce travail s'inscrit dans la course aux politiques généralistes de manipulation (VLA) capables de transférer leurs compétences entre plateformes et sources de données, aux côtés d'efforts comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure). La validation s'appuie sur le benchmark AgiBot, lié à l'initiative chinoise du même nom dans l'humanoïde. L'abstract ne précise pas l'organisation exacte derrière JoyAI-RA ; il s'agit pour l'instant d'un résultat de recherche en preprint, non revu par les pairs, et non d'un produit commercialisé ou d'un déploiement en usine. À surveiller : la confirmation de cette tendance sur des volumes de vidéo humaine encore plus grands, et la généralisation de la méthode au-delà du benchmark AgiBot.

RechercheActu

1 source