Aller au contenu principal
KAN We Flow ? Faire progresser la manipulation robotique grâce à l'appariement de flux 3D via KAN et RWKVIllustration générée par IA
RecherchearXiv cs.RO 

KAN We Flow ? Faire progresser la manipulation robotique grâce à l'appariement de flux 3D via KAN et RWKV

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche présente KAN-We-Flow, une politique de manipulation robotique fondée sur le flow matching, décrite dans un article révisé sur arXiv (identifiant 2602.01115, version 3). Le système combine deux architectures récentes: RWKV (Receptance Weighted Key Value), pour le mélange temporel et par canal du contexte de tache, et les réseaux de Kolmogorov-Arnold (KAN), via une couche GroupKAN qui applique des fonctions splines apprenables groupe par groupe pour calibrer les actions prédites. Les auteurs ajoutent une régularisation de cohérence d'action (ACR), une perte auxiliaire qui aligne les trajectoires prédites sur les démonstrations expertes par extrapolation d'Euler, afin de stabiliser l'entrainement. Resultat annonce: une réduction de 86,8% du nombre de paramètres par rapport aux architectures UNet habituelles, avec un temps d'inférence plus rapide et des scores de réussite qualifies d'état de l'art sur trois bancs d'essai de simulation en manipulation dexterale, Adroit, Meta-World et DexArt.

Les politiques visuomotrices par diffusion, devenues standard pour l'apprentissage de comportements robotiques a partir de démonstrations, souffrent d'un défaut connu: leur debruitage itératif et leurs backbones UNet lourds les rendent lentes a exécuter, un frein direct au déploiement sur du matériel embarque a ressources limitées. Le flow matching promettait déjà de réduire ce cout en apprenant un champ vectoriel résolu en une seule étape, mais les implémentations existantes conservaient des architectures encombrantes. En remplaçant le UNet par un bloc RWKV-KAN nettement plus compact, ce travail ouvre une piste concrète pour rapprocher les politiques d'apprentissage par imitation des contraintes réelles des robots, calcul embarque et latence de cycle, un enjeu suivi de près par les intégrateurs qui cherchent a faire tourner des politiques de type VLA ou diffusion sur des contrôleurs de bord plutôt que sur des serveurs déportés.

Ce travail s'inscrit dans la lignée des politiques par diffusion type Diffusion Policy et des approches de flow matching plus récentes derrière des modèles vision-langage-action tels que Pi-0, qui cherchent toutes a réduire le nombre d'étapes de génération nécessaires pour produire une action. Il ne s'agit pas d'une annonce produit ni d'un déploiement sur robot physique: les résultats publies restent circonscrits a des bancs d'essai de simulation standards en manipulation dexterale, sans précision sur un transfert sim-to-real ni sur un calendrier de mise en oeuvre industrielle. La page projet associée met a disposition code et détails supplémentaires pour la communauté de recherche, mais aucune entreprise ni intégrateur n'est cite comme partie prenante a ce stade.

À lire aussi

HCPG-Flow : guidage hiérarchique de progression de contact pour la manipulation robotique par politique de flux
Illustration générée par IA
1arXiv cs.RO 

HCPG-Flow : guidage hiérarchique de progression de contact pour la manipulation robotique par politique de flux

Les chercheurs à l'origine de HCPG-Flow présentent une nouvelle méthode de sélection d'actions pour les politiques de manipulation robotique de type "flow", publiée sur arXiv (2607.17651). Le problème visé est concret : ces politiques génèrent plusieurs propositions d'actions multimodales à chaque étape de contrôle, mais le robot ne peut en exécuter qu'une seule, et le classement habituel par un critique (critic-based ranking) fausse la collecte de données lorsque les candidates sont mal représentées dans le buffer de replay. HCPG-Flow ajoute à SAC-Flow un mécanisme de guidage hiérarchique centré sur l'objet, actif au moment du rollout, sans modifier les objectifs d'acteur et de critique existants. Le système bascule d'abord sur l'approche de l'effecteur terminal, puis, une fois le contact établi, sur la progression de la tâche, en notant chaque proposition selon la réduction de premier ordre d'une distance pertinente pour la tâche, standardisée au sein de l'ensemble de candidats, avant d'exécuter une combinaison d'actions contrôlée par température. Sur dix tâches simulées, la méthode améliore le taux de succès moyen par rapport à SAC-Flow sur les deux bancs d'essai testés, avec un gain de 9,5 points de pourcentage sur Maniskill. En conditions réelles, sur quatre tâches physiques, HCPG-Flow atteint un haut taux de succès tout en réduisant de 17,4 % le nombre d'étapes nécessaires pour compléter une tâche avec succès. Pour le secteur de la robotique manipulative, ce travail s'attaque à un goulot d'étranglement bien identifié des politiques par apprentissage par renforcement à base de flow matching : la fiabilité de la sélection d'action au moment de l'exécution, distincte de la qualité de l'apprentissage lui-même. En s'appuyant sur une heuristique physique simple, le progrès de contact plutôt qu'une pure estimation de valeur, la méthode réduit la dépendance à des estimations de critique potentiellement biaisées, un point sensible pour les intégrateurs qui cherchent des politiques robustes et transférables du simulateur au réel (sim-to-real), notamment sur des tâches de manipulation fine où le contact physique conditionne la réussite. HCPG-Flow s'inscrit dans la lignée des travaux récents combinant flow policies et SAC (Soft Actor-Critic), une famille de méthodes qui a gagné en popularité pour représenter des distributions d'actions multimodales en robotique, en concurrence directe avec les approches par diffusion. Les auteurs mettent à disposition une page de projet (hitxraz.github.io/HCPG-Flow) présentant probablement code et démonstrations, sans toutefois préciser à ce stade de calendrier de déploiement industriel ni de partenariat avec des acteurs commerciaux du secteur.

RecherchePaper
1 source
SUREFlow : appariement de flux résiduel adapté à l'incertitude dans l'espace d'états pour une manipulation robotique robuste
Illustration générée par IA
2arXiv cs.RO 

SUREFlow : appariement de flux résiduel adapté à l'incertitude dans l'espace d'états pour une manipulation robotique robuste

Des chercheurs publient sur arXiv (2607.10504v1) SUREFlow, une nouvelle politique de manipulation robotique fondée sur le state-space model Mamba plutôt que sur les architectures Transformer habituelles. Le nom complet, State-space Uncertainty-aware REsidual Flow matching, résume l'idée centrale: le modèle prédit conjointement les vitesses d'action et une incertitude résiduelle dépendant de l'entrée, ce qui lui permet de raffiner sélectivement les dimensions d'action jugées peu fiables, sans retour de l'environnement, tout en gardant un coût de calcul contenu. Sur le benchmark de simulation LIBERO, SUREFlow atteint un taux de réussite moyen de 92,5%, contre un score inférieur de 34,2 points pour MaIL, l'autre politique bâtie sur Mamba. Sur la variante plus difficile LIBERO-PRO, il obtient environ 49% de réussite avec seulement 179 millions de paramètres, un résultat que les auteurs présentent comme comparable à celui de grands modèles VLA (vision-langage-action) pesant entre 3 et 7 milliards de paramètres. Le code source est publié sur GitHub. L'enjeu dépassé le simple gain de score: les politiques génératives par diffusion ou flow matching, aujourd'hui dominantes pour piloter des bras robotiques à partir d'images et de langage, souffrent d'instabilité lors de rollouts longs, où de petites erreurs de vitesse s'accumulent et dégradent l'exécution. La plupart des approches existantes supposent une incertitude homogène et ne la modélisent pas explicitement pendant la génération d'action. En ciblant ce point précis, SUREFlow s'attaque directement au fossé entre démonstration en simulation et fiabilité en conditions réelles, un problème central pour les intégrateurs qui cherchent des politiques VLA robustes sans devoir recourir à des modèles massifs coûteux à faire tourner en embarqué. Le travail s'inscrit dans la lignée des politiques de manipulation compactes inspirées de Mamba, alternative aux Transformers pour réduire la complexité de calcul sur des séquences longues, après des tentatives comme MaIL. Il se positionne aussi face aux grands VLA généralistes tels que Pi-0 ou GR00T N2, en misant sur l'efficacité paramétrique plutôt que sur l'échelle. À ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation sur LIBERO et LIBERO-PRO, sans validation annoncée sur robot physique ni partenariat industriel identifié.

RechercheActu
1 source
PACE : manipulation robotique cohérente par étapes sur de longs horizons grâce à un contexte aligné sur la progression
Illustration générée par IA
3arXiv cs.RO 

PACE : manipulation robotique cohérente par étapes sur de longs horizons grâce à un contexte aligné sur la progression

Des chercheurs proposent PACE (Progress-Aligned Context for Execution), une méthode destinée aux politiques robotiques conditionnées par démonstration, dans le cadre de la manipulation longue durée. Le problème visé porte le nom de « stage confusion » : lorsque des états visuellement proches reviennent à différentes étapes d'une tâche, ou lorsque la démonstration et l'exécution n'avancent pas à la même vitesse, la politique perd le fil et se trompe d'étape. PACE compresse la démonstration complète en jetons de prompt multimodaux ordonnés, et s'appuie, pendant l'entraînement uniquement, sur une supervision d'attention « à double arête » (dual-edge) pour faire apparaître la structure latente des étapes. À l'exécution, une mémoire à poids rapides (fast-weight), propre à l'épisode, encode de façon causale les transitions action-observation réellement effectuées et module la cross-attention sur le prompt. Un expert d'action unifié, basé sur la diffusion, reçoit ainsi un contexte aligné sur la progression, sans étiquettes d'étape au test ni politiques spécifiques à chaque étape. Sur LIBERO-Gen, le taux de réussite passe de 88,9 % à 94,0 % sur Goal Chain, et de 79,1 % à 83,3 % sur Spatial Combination. Sur les tâches Block Routing en deux étapes, il bondit de 33,3 % à 73,3 %. L'intérêt tient moins au gain sur les benchmarks LIBERO, déjà proches de la saturation et modestes (+5,1 et +4,2 points), qu'au diagnostic posé : une part notable des échecs des politiques VLA et des politiques à diffusion sur les tâches séquentielles viendrait d'une mauvaise localisation dans la tâche, et non d'un déficit de dextérité ou de perception. Le doublement du succès sur Block Routing, où les états se répètent entre les étapes, va dans ce sens, et l'analyse d'échecs des auteurs indique que l'alignement structuré de la démonstration et la mémoire causale contribuent conjointement. Pour les intégrateurs, la promesse est de spécifier un comportement par une démonstration unique sans réentraîner de politique par étape, ce qui réduit le coût de mise en production d'enchaînements d'assemblage ou de tri. Les réserves sont nettes : les résultats proviennent de simulation, d'une seule version préprint, sans validation sur robot réel ni mesure de latence ajoutée par la mémoire. Le gain sur Block Routing part en outre d'une base très basse, ce qui en amplifie l'effet apparent. PACE s'inscrit dans la lignée des politiques généralistes de type VLA (Pi-0, GR00T, Helix) et des approches par imitation conditionnée sur démonstration, qui peinent sur les horizons longs faute de mémoire d'exécution explicite. Il rejoint les travaux sur les mémoires épisodiques et les couches à poids rapides pour la robotique. Les auteurs ne citent pas de déploiement industriel ni de calendrier. Les prochaines étapes logiques sont des tests sur robots physiques, des comparaisons directes avec les grands VLA du marché et une évaluation sur des tâches plus longues que deux étapes. Aucun acteur français ou européen n'est mentionné dans cette publication.

RecherchePaper
1 source
A³-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

A³-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique

A³-VLA, un cadre d'entraînement décrit dans le preprint arXiv 2611.06447, vise à corriger un défaut connu des modèles Vision-Language-Action (VLA), ces systèmes qui s'appuient sur un modèle vision-langage pour convertir images et instructions textuelles en actions de manipulation. Les auteurs constatent que l'objectif de prédiction d'actions ne fournit aucune supervision perceptive fine propre à la tâche. Le modèle apprend alors des raccourcis visuels sans rapport avec la tâche, et son attention s'écarte des objets cibles et des zones d'interaction. A³-VLA génère d'abord, à partir des changements visuels provoqués par l'interaction, des régions candidates heuristiques pour les objets cibles et pour le robot. Un modèle de segmentation les affine ensuite hors ligne. Ces régions servent de guidage via deux pertes complémentaires. La première, une perte d'allocation d'attention, force le modèle à se concentrer sur les zones critiques lorsque les tokens de langage ou d'état du robot interrogent l'entrée visuelle. La seconde, une perte contrastive, rapproche les représentations des régions cibles de l'instruction langagière et les éloigne des régions non pertinentes. Testé en simulation et sur des tâches réelles, le cadre améliore plusieurs architectures VLA, avec un gain moyen de taux de réussite de 6,5 % à 25,2 % selon les benchmarks. L'intérêt tient à la méthode plus qu'au chiffre. Le guidage est dérivé automatiquement du processus de manipulation lui-même, sans annotation humaine supplémentaire, et il s'ajoute à l'entraînement sans changer l'architecture. Cela en fait une brique potentiellement réutilisable par les équipes qui affinent des VLA sur leurs propres démonstrations. Le résultat renforce l'hypothèse selon laquelle une part notable des échecs en manipulation vient d'un mauvais ancrage perceptif, et non d'une insuffisance de capacité du modèle ou de volume de données. Pour un intégrateur, c'est un argument en faveur de la robustesse face aux variations de scène, qui reste le point faible des déploiements. La fourchette de gains, très large (6,5 % à 25,2 %), suggère toutefois que l'effet dépend fortement du backbone et du benchmark, et le résumé ne précise ni les architectures, ni les taux de départ, ni le nombre d'essais réels. Ces éléments conditionnent la portée réelle du résultat. Ce travail s'inscrit dans une série de recherches visant à rendre les VLA plus fiables, après la généralisation de modèles de type Pi-0, OpenVLA ou GR00T, dont la dépendance aux corrélations parasites de l'image est régulièrement pointée. D'autres approches traitent le problème par l'ajout de données, de supervision auxiliaire en segmentation ou en détection, ou de raisonnement intermédiaire. A³-VLA se distingue en produisant ce signal de façon autonome à partir des différences visuelles liées à l'interaction. Il s'agit d'un preprint en première version (v1), sans validation par les pairs, et aucun déploiement industriel n'est annoncé. Les prochaines étapes à surveiller sont la publication du code, des comparaisons sur des benchmarks standards et des évaluations sur des scènes encombrées ou des objets inédits, où la robustesse de l'heuristique de régions candidates sera réellement mise à l'épreuve.

RecherchePaper
1 source