RecherchearXiv cs.RO 3 août 2026

GPA-RAM : attention Mamba pré-entraînée à la préhension pour l'apprentissage de tâches spatiales

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente GPA-RAM (Grasp-Pretraining Augmented Robotic Attention Mamba), une méthode combinant pré-entraînement de saisie et modélisation d'état pour la manipulation robotique fine. Le composant GPA (Grasp-Pretraining Augmentation) intègre des a priori de saisie issus des démonstrations de tâches dans les politiques d'imitation, sans données ni annotations supplémentaires sur les poses de préhension. Appliqué à RVT2, GPA fait passer le taux de réussite moyen sur le benchmark RLBench de 79,3% à 84,2%. Appliqué à ACT, il fait grimper la réussite sur les tâches ALOHA de transfert de cube et d'insertion bimanuelle de 86% et 16% à 98% et 38% respectivement. Pour compenser le coût de calcul additionnel, les chercheurs ont développé RAM (Robotic Attention Mamba), qui combine extraction de caractéristiques spatiales par attention et modélisation d'état pour capturer les dépendances à longue portée de façon efficace. Le framework complet, testé sur quatre plateformes dont des bras physiques UR5 et ARX R5, atteint 87,5% de réussite moyenne sur RLBench, devançant RVT2 de 8,2 points et ARP+ de 2,6 points. Sur ALOHA, il atteint 98% en transfert de cube et 56% en insertion bimanuelle, soit des gains de 12 et 40 points par rapport à ACT, tout en tournant à environ 71 images par seconde.

La manipulation fine échoue souvent à cause d'une saisie initiale imprécise, dont l'erreur se propage et impose des corrections de pose complexes en aval. En intégrant des a priori de saisie directement dans l'apprentissage par imitation, sans capteurs ni annotations supplémentaires, GPA s'attaque à ce goulot d'étranglement à moindre coût d'ingénierie, un enjeu concret pour qui déploie des politiques VLA ou d'imitation en production. Le gain le plus parlant concerne l'insertion bimanuelle, une tâche réputée difficile car elle exige une précision millimétrique et une coordination à deux bras: faire passer ce taux de 16% à 38% avec ACT, puis à 56% avec GPA-RAM, illustre que le principal frein n'était pas la politique de contrôle elle-même mais la qualité de la saisie initiale. Le fonctionnement à 71 images par seconde sur robots physiques est également significatif: beaucoup de méthodes combinant attention et grands modèles restent trop lentes pour un contrôle temps réel, et RAM montre qu'un compromis efficace entre précision spatiale et latence reste atteignable sans sacrifier les performances.

GPA-RAM s'inscrit dans la lignée des travaux récents sur l'apprentissage par imitation pour la manipulation robotique, en particulier RVT2 et ACT (Action Chunking Transformer), deux politiques de référence utilisées comme base de comparaison, ainsi qu'ARP+, méthode concurrente sur RLBench. La publication, une version mise à jour d'un article déjà soumis sur arXiv, valide ses résultats sur quatre plateformes distinctes, combinant simulation (RLBench, ALOHA) et robots physiques (UR5, ARX R5), une démarche qui renforce la crédibilité des chiffres annoncés au-delà des vidéos sélectionnées habituelles. Le code est mis à disposition sur gpa-ram.github.io, un choix qui permettra à la communauté de reproduire et d'étendre les résultats. L'évaluation reste toutefois académique et n'implique pour l'instant aucun déploiement industriel ni partenaire commercial; la prochaine étape naturelle serait une adaptation à des tâches manipulatoires plus complexes ou à des environnements moins contrôlés que ceux des benchmarks utilisés ici.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de la préhension pour atteindre des poses 6D générales avec un objet en main

Des chercheurs ont publié sur arXiv (2609.13761) un système nommé POISE, pour Palm-relative Object reaching In SE(3), qui permet à une main robotique multi-doigts de déplacer un objet déjà saisi vers une pose cible en position et orientation, soit six degrés de liberté, sans le relâcher ni le regripper. L'architecture combine apprentissage par renforcement sim-to-real, initialisation par prises stables diversifiées, contrôle conditionné par la géométrie de l'objet et curriculum adaptatif de cibles 6D. En simulation, diversifier les prises initiales fait grimper la réussite sur des prises inédites de 40,1% à 51,5%, et la récupération après chute d'objet de 33,8% à 72,9%; le curriculum porte la réussite sur l'ensemble des poses possibles de 6,2% à 59,5%. Sur le robot physique, la récompense de maintien de prise fait passer la réussite d'une séquence de trois cibles de 20% à 80%; le système atteint ensuite des cibles 6D successives sans réinitialisation manuelle, sur plusieurs objets et orientations de poignet, en récupérant de perturbations externes. Ce travail comble un manque des méthodes de manipulation dextre actuelles, souvent limitées à la rotation continue ou à la translation isolée plutôt qu'au contrôle conjoint de position et d'orientation depuis une prise existante. Pour les intégrateurs industriels, cette capacité peut réduire les cycles de reprise de prise et les déplacements de bras lors du repositionnement de pièces en assemblage fin ou en logistique. L'écart entre 6,2% et 59,5% selon la présence du curriculum montre toutefois que le sim-to-real reste fragile sur cette tâche 6D complète. Il s'agit d'une prépublication non évaluée par les pairs, testée en laboratoire, sans main robotique commerciale nommée ni volume ou prix annoncés. La recherche s'inscrit dans le champ de la manipulation dextre multi-doigts, où les démonstrations publiques se limitent souvent à la réorientation par rotation ou à des repositionnements grossiers, plutôt qu'au contrôle simultané des six degrés de liberté. Elle se distingue des politiques génériques de type VLA, telles que celles associées aux modèles Pi-0 ou GR00T N2, en ciblant spécifiquement la sous-tâche de repositionnement en main plutôt qu'un contrôle de bout en bout. Les auteurs annoncent la publication du code sur un site dédié au projet, sans calendrier de pilote industriel ni partenaire matériel précisé, et aucun acteur français ou européen n'apparaît dans cette publication.

RecherchePaper

1 source

2arXiv cs.RO

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

UEImpact indirect limité : ANYbotics (Suisse) est citée comme plateforme cible type, mais le travail est un preprint académique sans affiliation institutionnelle européenne identifiée ni déploiement opérationnel.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper

1 source

4arXiv cs.RO

Aero Hand Open : une main tendineuse prête pour la simulation, dédiée à l'apprentissage de la préhension dextérique

Des chercheurs ont publié sur arXiv (référence 2608.28578) une main robotique anthropomorphe à actionnement par tendons, baptisée Aero Hand Open, diffusée en version prête pour la simulation. Dans ce type de main, les moteurs sont déportés hors des articulations et transmettent leur force par câbles, ce qui autorise des moteurs plus petits et moins chers et permet à un seul moteur d'actionner plusieurs articulations. Les auteurs publient quatre éléments ensemble: la conception mécanique complète, un modèle de simulation reproduisant la transmission par câble, une carte d'actionnement identifiée reliant ce modèle aux commandes moteur dans les deux sens, incluant le couplage à trois voies du pouce, et un package d'apprentissage par renforcement pour entraîner des politiques sur la main, avec toute la pile de déploiement. L'enjeu tient au fossé classique entre simulation et réel: le sous-actionnement qui rend les mains à tendons moins chères à fabriquer est aussi ce qui les rend difficiles à modéliser fidèlement, et les articulations reliées par un même câble ne se commandent pas indépendamment, ce qui complique l'apprentissage de la manipulation fine. Les auteurs affirment qu'une politique entraînée entièrement en simulation avec Aero Hand Open tourne ensuite sur la main physique sans réglage fin ni estimation d'état, ce qui, si le résultat se confirme au-delà de leurs propres essais, lèverait un obstacle connu des intégrateurs visant une manipulation fine à coût réduit sans renoncer aux gains de l'apprentissage simulé qui alimente les modèles vision-langage-action des humanoïdes. Le choix du tendon plutôt que de l'entraînement direct, où chaque articulation embarque son propre moteur, reste privilégié par plusieurs fabricants de mains robotiques cherchant à réduire coût et poids en bout de bras, au prix d'une commande plus complexe. En publiant ensemble le design mécanique, le modèle physique de la transmission et l'environnement d'entraînement plutôt qu'une simple démonstration vidéo, les auteurs s'inscrivent dans un mouvement de recherche ouverte permettant à d'autres laboratoires de vérifier indépendamment le transfert simulation-vers-réel. Aucune date de commercialisation ni partenaire industriel n'est mentionné à ce stade.

RecherchePaper

1 source