Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
FEWT : transformeur en ondelettes à fréquence améliorée pour la manipulation bimanuelle sur roues multimodale
RecherchearXiv cs.RO 

FEWT : transformeur en ondelettes à fréquence améliorée pour la manipulation bimanuelle sur roues multimodale

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche présente FEWT (Frequency-Enhanced Wavelet-based Transformer), un framework léger d'apprentissage par imitation destiné à la manipulation bimanuelle robotisée. Les données de démonstration sont collectées via une plateforme mobile à roues équipée de deux bras et pilotée par téléopération de type exosquelette, une méthode qui permet un contrôle intuitif et une capture fidèle de gestes anthropomorphes. FEWT combine deux modules, l'attention multi-échelle FE-EMA (Frequency-Enhanced Efficient Multi-Scale Attention) et la transformée en ondelettes discrète temporelle TS-DWT, pour aligner la sémantique visuelle spatiale avec la dynamique physique locale à haute fréquence. Pour les déploiements réels, les auteurs y ajoutent un tissu tactile intelligent maison, le Smart Tactile Fabric (STF), intégré aux effecteurs terminaux, qui capte la contrainte de contact locale en complément des signaux proprioceptifs et de mouvement du châssis.

Sur des tâches d'insertion bimanuelle simulées, l'architecture FEWT améliore significativement le taux de réussite par rapport à la référence courante Action Chunking with Transformers (ACT), notamment dans les phases les plus délicates, là où se concentrent la plupart des échecs. En conditions réelles, sur des tâches de manipulation mobile et de bureau, le système complet intégrant le capteur STF s'adapte à des perturbations dynamiques microscopiques et améliore nettement les performances. Le résultat illustre un enjeu clé pour l'apprentissage par imitation en robotique : la vision seule peine à capturer les micro-ajustements de force nécessaires aux tâches de contact fin, ce qu'une modalité tactile locale permet de corriger.

FEWT s'inscrit dans une tendance de fond en robotique de manipulation, celle d'utiliser la téléopération par exosquelette pour collecter à moindre coût des démonstrations humaines de qualité et entraîner des politiques d'apprentissage par imitation sur des plateformes bimanuelles. Les auteurs se comparent explicitement à ACT, devenue une référence de facto dans ce domaine. Publiée sur arXiv (référence 2509.11109, quatrième version), l'étude reste à ce stade une contribution académique : aucune indication de déploiement industriel, de partenariat commercial ni de calendrier de commercialisation n'est fournie pour la plateforme robotique ou le capteur STF développés en interne par les auteurs.

Dans nos dossiers

ExosquelettesarXiv cs.RO

À lire aussi

MoE-ACT : passage à l'échelle de la manipulation bimanuelle multitâche avec des transformeurs à mélange d'experts conditionnés par tâche
1arXiv cs.RO 

MoE-ACT : passage à l'échelle de la manipulation bimanuelle multitâche avec des transformeurs à mélange d'experts conditionnés par tâche

Des chercheurs ont publié sur arXiv (2603.15265, version 2) l'article décrivant MoE-ACT, un framework de manipulation bimanuelle combinant mixture-of-experts et action chunking transformer. Le système insère des couches MoE éparses dans l'encodeur d'ACT, qui redirigent dynamiquement les tokens image vers des experts sélectionnés selon le contexte de la tâche, les observations visuelles et l'état proprioceptif des bras. Le décodeur d'action ajoute une modulation FiLM conditionnée à la tâche et une attention croisée multi-échelle pour ancrer précisément chaque geste dans l'espace. Sur le benchmark de simulation RoboTwin 2.0, couvrant 16 tâches bimanuelles complexes, MoE-ACT atteint un taux de réussite moyen de 62,0%, soit 17,4 points de plus que la version standard d'ACT. Avec seulement 195 millions de paramètres activés, le modèle dépasse de 5,1 points le modèle fondation Pi-0, qui compte 3,24 milliards de paramètres, seize fois plus. Des expériences complémentaires sur un robot réel à deux bras confirment ces résultats en conditions physiques, même si l'essentiel des chiffres cités provient du benchmark simulé. Code et documentation sont publiés en open source. Le résultat intéresse d'abord les intégrateurs cherchant à déployer des politiques multi-tâches sans la facture de calcul des grands modèles fondation. La manipulation bimanuelle multi-tâche bute régulièrement sur l'interférence entre tâches: une politique unique entraînée sur plusieurs tâches dégrade ses performances par rapport à des politiques spécialisées, phénomène connu comme le négative transfer. En routant dynamiquement le traitement visuel vers des experts spécialisés, MoE-ACT attaque ce problème sans multiplier les paramètres actifs à l'inférence, un argument pour l'embarque sur du matériel contraint en calcul et en énergie. Battre Pi-0, seize fois plus gros, alimente le débat sur la pertinence de la course à l'échelle en robotique généraliste: la spécialisation architecturale via MoE pourrait offrir un meilleur compromis performance/coût que le simple gonflement des foundation models, du moins sur des tâches bimanuelles bien délimitées. MoE-ACT prolonge ACT (Action Chunking Transformer), architecture d'imitation learning devenue référence pour le contrôle de bras robotiques, en y greffant le principe du mixture-of-experts déjà popularisé dans les grands modèles de langage. Il se positionne face aux modèles fondation vision-language-action comme Pi-0 (Physical Intelligence), dans un paysage où GR00T N2 (NVIDIA) ou Helix (Figure AI) visent aussi la manipulation généraliste. Marqué comme une version de remplacement sur arXiv, le travail reste un résultat de recherche validé sur benchmark simulé et un banc bimanuel réel, sans annonce de déploiement industriel ni partenariat commercial à ce stade.

RecherchePaper
1 source
DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle
2arXiv cs.RO 

DeltaWAM : modèles delta monde-action pour la manipulation bimanuelle

Des chercheurs du AIGeeksGroup publient DeltaWAM (Delta World Action Models), une nouvelle architecture pour piloter des bras robotiques bimanuels via l'apprentissage vidéo, détaillée dans un article arXiv (2609.28811v1) diffusé fin septembre 2026, avec code et démonstrations disponibles sur GitHub. Les modèles World-Action (WAM) classiques transfèrent les connaissances visuelles et de mouvement de générateurs vidéo préentraînés vers le contrôle robotique, mais ils prédisent à chaque étape des images futures complètes, ce qui recalcule inutilement du contenu inchangé et ralentit la génération d'actions en temps réel. DeltaWAM sépare le flux en trois composantes, une ancre dense, un delta visuel épars et un flux d'actions, déclinées en trois architectures selon le partage de calcul et de représentation. Le système ajoute une Streaming Delta Memory (SDM) qui met à jour un contexte d'ancrage en cache à partir des seuls changements observés, évitant de repasser par le lourd module vidéo à chaque pas. Sur le benchmark RoboTwin, DeltaWAM avec SDM porte le taux de réussite moyen de 81,3% à 85,4% en conditions standard, et de 75,8% à 83,9% avec randomisation visuelle, par rapport à la référence Fast-WAM. Les trois architectures réduisent le coût de calcul à l'entraînement de 17,78 à 23,77%, tandis que la SDM abaisse la latence d'inférence de 36,57% et le calcul associé de 31,55%. Pour l'industrie robotique, ce travail cible un goulot d'étranglement concret: les modèles génératifs vidéo, puissants pour transférer des priors de mouvement, restent trop lourds pour du contrôle en quelques pas de temps, un frein direct pour des manipulations bimanuelles réactives en usine ou en logistique. En découplant la dynamique liée à l'action des variations d'apparence parasites, DeltaWAM répond à un doute récurrent sur les architectures VLA à grande échelle: leur capacité à généraliser sans reconstruire l'intégralité de la scène à chaque inférence. Les gains annoncés en conditions réelles restent toutefois évalués par les auteurs eux-mêmes, face à un nombre limité de politiques concurrentes, sans validation indépendante à ce stade. L'article s'inscrit dans la lignée des WAM apparus pour exploiter les générateurs vidéo comme source de priors physiques, avec Fast-WAM comme point de comparaison direct explicitement cité. Aucun acteur industriel ni équipe européenne n'est mentionné, le travail restant à ce stade une contribution académique avec code ouvert, sans annonce de déploiement matériel ni de partenariat commercial.

RechercheActu
1 source
PEAfowl : action vision-langage multi-vue à perception renforcée pour manipulation bimanuelle
3arXiv cs.RO 

PEAfowl : action vision-langage multi-vue à perception renforcée pour manipulation bimanuelle

Une équipe de recherche a publié sur arXiv, en version 2, un article décrivant PEAfowl, une architecture vision-langage-action (VLA) pour la manipulation bimanuelle en environnement encombré. Le modèle prédit des distributions de profondeur par token, effectue un relèvement 3D différentiable et fusionne les vues caméra par agrégation locale de voisins, au lieu de la simple concaténation de tokens des approches existantes. Pour l'ancrage des instructions, il remplace le conditionnement global du langage par une lecture de type Perceiver appliquée aux features CLIP gelées, avec accumulation itérative des indices visuels pertinents. Une distillation de profondeur, réalisée uniquement à l'entraînement via un modèle enseignant préexistant, affine les priors géométriques sans coût supplémentaire à l'inférence, ce qui compense le bruit et les trous typiques des capteurs RGB-D grand public. Sur le benchmark RoboTwin 2.0, en configuration à randomisation de domaine, PEAfowl améliore le taux de réussite de 23 points de pourcentage par rapport à la meilleure référence testée, un gain que les auteurs disent confirmé par des essais complémentaires sur robot physique. Ce travail cible deux limites connues des modèles VLA actuels: une fusion multi-vue trop grossière, qui fragilise la perception sous occlusion ou changement de point de vue, et un ancrage du langage jugé imprécis quand l'instruction sert de simple conditionnement global. Pour les intégrateurs qui évaluent des politiques VLA face à des références comme Pi-0, GR00T N2 ou Helix, ce résultat montre que la robustesse spatiale et la précision de l'ancrage linguistique restent des axes actifs de progrès plutôt que des problèmes déjà résolus. Il faut toutefois noter que le gain de 23 points est mesuré en simulation randomisée; les résultats sur robot réel, évoqués sans détail chiffré précis, relèvent à ce stade d'une validation qualitative plutôt que d'une preuve de déploiement à l'échelle. PEAfowl s'inscrit dans les travaux cherchant à réduire l'écart entre démonstrations en simulation et exécution fiable en conditions réelles pour la manipulation bimanuelle, un axe également exploré par des laboratoires industriels avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. L'article, classé en catégorie "replace-cross" sur arXiv, ne précise ni affiliation institutionnelle ni partenaire industriel. Un site dédié au projet est en ligne, mais aucun calendrier de publication de code ni de pilote industriel n'est annoncé pour l'instant.

RechercheActu
1 source
TOPS : remodeler la source et le transport du flux pour la manipulation robotique multitâche
4arXiv cs.RO 

TOPS : remodeler la source et le transport du flux pour la manipulation robotique multitâche

TOPS (Task-Oriented Priors and Schedules), publié sur arXiv par une équipe de recherche, propose d'adapter deux composantes des politiques robotiques à base de flow matching sans toucher à l'architecture du réseau: la distribution source du bruit et le calendrier d'interpolation vers les actions expertes. Les politiques actuelles de manipulation multi-tâches conditionnées par le langage partagent en général un prior gaussien unique et un chemin de transport linéaire commun à toutes les tâches. TOPS construit à la place des sources multimodales propres à chaque tâche, issues de séquences d'actions expertes « inversées », ce qui permet à l'instruction en langage naturel de choisir le point de départ de la génération. Guidé par l'écart de covariance entre source et cible, le calendrier ralentit la transition vers les actions expertes au début du débruitage, puis l'accélère plus tard dans les directions qui demandent une expansion. Sous un modèle d'extrémité gaussien, les auteurs montrent que cet ajustement abaisse une borne supérieure du risque de prédiction de vitesse. Sur LIBERO-10, avec une seule étape d'intégration, le taux de succès passe de 53,44 % à 69,67 % face au Flow Matching standard à dix étapes, pour un temps d'inférence réduit à environ un sixième. En conditions réelles, l'ouverture du tiroir supérieur passe de 20 % à 80 % de réussite. Pour les équipes qui déploient des politiques VLA (vision-langage-action), l'intérêt est double: la méthode améliore la fiabilité et divise le coût d'inférence, deux contraintes centrales pour des robots qui doivent tourner en temps réel sur du matériel embarqué. Elle suggère aussi qu'une part des échecs des politiques généralistes vient moins de la capacité du réseau que du choix du point de départ et de la trajectoire de génération, un levier peu coûteux puisqu'il ne demande aucun changement d'architecture. Les gains ont été mesurés sur LIBERO, LIBERO-Plus (perturbations) et CALVIN (changement d'environnement), avec une meilleure efficacité en données, et ils se transfèrent à la politique à grande échelle π0.5 dans les quatre configurations testées. Il faut toutefois rester prudent: ce sont des benchmarks de simulation, le comparatif avec un FM à dix étapes met en regard des budgets de calcul différents, et le test réel, impressionnant en relatif (20 % à 80 %), porte sur une tâche isolée dont le nombre d'essais n'est pas précisé dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée en puissance des politiques génératives à base de flow matching, popularisées par la famille π0 de Physical Intelligence, qui ont remplacé en partie la diffusion pour la commande d'actions. Les benchmarks LIBERO et CALVIN sont devenus des références pour comparer les politiques multi-tâches, au prix d'une saturation progressive qui pousse vers des variantes plus exigeantes comme LIBERO-Plus. TOPS rejoint un courant qui cherche à améliorer ces politiques par des priors et des schedules mieux adaptés plutôt que par davantage de paramètres ou de données. La suite logique serait une validation sur davantage de tâches réelles, des plateformes variées et des modèles plus récents, ainsi qu'une évaluation de la robustesse quand la tâche demandée sort de la distribution d'entraînement.

RecherchePaper
1 source