RecherchearXiv cs.RO 3 août 2026

GPA-RAM : attention Mamba pré-entraînée à la préhension pour l'apprentissage de tâches spatiales

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente GPA-RAM (Grasp-Pretraining Augmented Robotic Attention Mamba), une méthode combinant pré-entraînement de saisie et modélisation d'état pour la manipulation robotique fine. Le composant GPA (Grasp-Pretraining Augmentation) intègre des a priori de saisie issus des démonstrations de tâches dans les politiques d'imitation, sans données ni annotations supplémentaires sur les poses de préhension. Appliqué à RVT2, GPA fait passer le taux de réussite moyen sur le benchmark RLBench de 79,3% à 84,2%. Appliqué à ACT, il fait grimper la réussite sur les tâches ALOHA de transfert de cube et d'insertion bimanuelle de 86% et 16% à 98% et 38% respectivement. Pour compenser le coût de calcul additionnel, les chercheurs ont développé RAM (Robotic Attention Mamba), qui combine extraction de caractéristiques spatiales par attention et modélisation d'état pour capturer les dépendances à longue portée de façon efficace. Le framework complet, testé sur quatre plateformes dont des bras physiques UR5 et ARX R5, atteint 87,5% de réussite moyenne sur RLBench, devançant RVT2 de 8,2 points et ARP+ de 2,6 points. Sur ALOHA, il atteint 98% en transfert de cube et 56% en insertion bimanuelle, soit des gains de 12 et 40 points par rapport à ACT, tout en tournant à environ 71 images par seconde.

La manipulation fine échoue souvent à cause d'une saisie initiale imprécise, dont l'erreur se propage et impose des corrections de pose complexes en aval. En intégrant des a priori de saisie directement dans l'apprentissage par imitation, sans capteurs ni annotations supplémentaires, GPA s'attaque à ce goulot d'étranglement à moindre coût d'ingénierie, un enjeu concret pour qui déploie des politiques VLA ou d'imitation en production. Le gain le plus parlant concerne l'insertion bimanuelle, une tâche réputée difficile car elle exige une précision millimétrique et une coordination à deux bras: faire passer ce taux de 16% à 38% avec ACT, puis à 56% avec GPA-RAM, illustre que le principal frein n'était pas la politique de contrôle elle-même mais la qualité de la saisie initiale. Le fonctionnement à 71 images par seconde sur robots physiques est également significatif: beaucoup de méthodes combinant attention et grands modèles restent trop lentes pour un contrôle temps réel, et RAM montre qu'un compromis efficace entre précision spatiale et latence reste atteignable sans sacrifier les performances.

GPA-RAM s'inscrit dans la lignée des travaux récents sur l'apprentissage par imitation pour la manipulation robotique, en particulier RVT2 et ACT (Action Chunking Transformer), deux politiques de référence utilisées comme base de comparaison, ainsi qu'ARP+, méthode concurrente sur RLBench. La publication, une version mise à jour d'un article déjà soumis sur arXiv, valide ses résultats sur quatre plateformes distinctes, combinant simulation (RLBench, ALOHA) et robots physiques (UR5, ARX R5), une démarche qui renforce la crédibilité des chiffres annoncés au-delà des vidéos sélectionnées habituelles. Le code est mis à disposition sur gpa-ram.github.io, un choix qui permettra à la communauté de reproduire et d'étendre les résultats. L'évaluation reste toutefois académique et n'implique pour l'instant aucun déploiement industriel ni partenaire commercial; la prochaine étape naturelle serait une adaptation à des tâches manipulatoires plus complexes ou à des environnements moins contrôlés que ceux des benchmarks utilisés ici.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de la préhension pour atteindre des poses 6D générales avec un objet en main

Des chercheurs ont publié sur arXiv (2609.13761) un système nommé POISE, pour Palm-relative Object reaching In SE(3), qui permet à une main robotique multi-doigts de déplacer un objet déjà saisi vers une pose cible en position et orientation, soit six degrés de liberté, sans le relâcher ni le regripper. L'architecture combine apprentissage par renforcement sim-to-real, initialisation par prises stables diversifiées, contrôle conditionné par la géométrie de l'objet et curriculum adaptatif de cibles 6D. En simulation, diversifier les prises initiales fait grimper la réussite sur des prises inédites de 40,1% à 51,5%, et la récupération après chute d'objet de 33,8% à 72,9%; le curriculum porte la réussite sur l'ensemble des poses possibles de 6,2% à 59,5%. Sur le robot physique, la récompense de maintien de prise fait passer la réussite d'une séquence de trois cibles de 20% à 80%; le système atteint ensuite des cibles 6D successives sans réinitialisation manuelle, sur plusieurs objets et orientations de poignet, en récupérant de perturbations externes. Ce travail comble un manque des méthodes de manipulation dextre actuelles, souvent limitées à la rotation continue ou à la translation isolée plutôt qu'au contrôle conjoint de position et d'orientation depuis une prise existante. Pour les intégrateurs industriels, cette capacité peut réduire les cycles de reprise de prise et les déplacements de bras lors du repositionnement de pièces en assemblage fin ou en logistique. L'écart entre 6,2% et 59,5% selon la présence du curriculum montre toutefois que le sim-to-real reste fragile sur cette tâche 6D complète. Il s'agit d'une prépublication non évaluée par les pairs, testée en laboratoire, sans main robotique commerciale nommée ni volume ou prix annoncés. La recherche s'inscrit dans le champ de la manipulation dextre multi-doigts, où les démonstrations publiques se limitent souvent à la réorientation par rotation ou à des repositionnements grossiers, plutôt qu'au contrôle simultané des six degrés de liberté. Elle se distingue des politiques génériques de type VLA, telles que celles associées aux modèles Pi-0 ou GR00T N2, en ciblant spécifiquement la sous-tâche de repositionnement en main plutôt qu'un contrôle de bout en bout. Les auteurs annoncent la publication du code sur un site dédié au projet, sans calendrier de pilote industriel ni partenaire matériel précisé, et aucun acteur français ou européen n'apparaît dans cette publication.

RecherchePaper

1 source

2arXiv cs.RO

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

UEImpact indirect limité : ANYbotics (Suisse) est citée comme plateforme cible type, mais le travail est un preprint académique sans affiliation institutionnelle européenne identifiée ni déploiement opérationnel.

RecherchePaper

1 source

3arXiv cs.RO

Spark-0 : passage à l'échelle du pré-entraînement tactile aligné spatialement pour la manipulation dextre des robots

Spark-0, présenté sur arXiv (2610.22342) par l'équipe derrière xsparkai.com, est un modèle vision-toucher-langage-action (VTLA) conçu pour la manipulation dextre riche en contacts. Son principe repose sur un usage double du tactile. Pendant le pré-entraînement, des cartes de contact projetées dans l'espace image, issues de gants tactiles, ainsi que des caractéristiques d'un modèle « enseignant » 3D figé, supervisent les tokens visuels. Ces objectifs sont retirés à l'inférence. En parallèle, une voie tactile encode l'historique des forces par région et l'état 3D des taxels (capteurs tactiles individuels) pour conditionner l'« action expert », le module qui génère les commandes. Un seul checkpoint fonctionne donc en mode vision seule comme en mode tactile. Pour alimenter cette supervision, les auteurs ont constitué HumanTouch, un jeu de 1 000 heures de manipulation humaine avec gant tactile couvrant toute la main, combiné à de la vidéo égocentrique, des données robot et de la simulation. Ils publient aussi SparkArena, un banc d'essai associant des tâches simulées en vision seule et des tâches réelles avec tactile sur un même robot à main dextre. Spark-0 obtient le meilleur taux de succès moyen sur les deux volets et se classe premier sur les huit métriques agrégées de l'Ego Humanoid Manipulation Benchmark. Le résultat le plus parlant est une ablation à données et calcul identiques : conserver le toucher des 1 000 heures plutôt que le jeter fait passer le succès en vision seule sur Ego Humanoid de 52,5 % à 71,7 %, et le succès sur SparkArena-Real, où le tactile sert aussi au déploiement, de 44,0 % à 52,0 %. Pour les intégrateurs, l'enseignement est que le tactile n'est pas seulement une entrée supplémentaire coûteuse à câbler sur chaque robot : il peut servir de supervision à grande échelle et profiter à des machines déployées sans capteurs tactiles. Cela remet en question l'hypothèse selon laquelle le pré-entraînement purement visuel suffirait aux tâches où force, compliance et glissement naissant sont invisibles sur image. Il faut toutefois relativiser. Le gain en conditions réelles est modeste (+8 points, à 52 % de succès absolu), loin d'un niveau exploitable en production. Les benchmarks sont en partie introduits par les auteurs eux-mêmes, avec une seule plateforme dextre pour le volet réel, et aucun déploiement industriel ni temps de cycle n'est annoncé. Il s'agit d'un travail de recherche, pas d'un produit livré. Ce travail s'inscrit dans la lignée des modèles VLA généralistes (Pi-0, GR00T, Helix), très dépendants de la vision, et de la montée des données humaines égocentriques comme source bon marché de démonstrations. Le goulot restait l'absence de données tactiles à grande échelle, que les gants de capture comme HumanTouch cherchent à lever. La concurrence viendra des laboratoires et industriels qui misent déjà sur la dextérité, de Figure et Tesla aux acteurs asiatiques de la main tactile, sans qu'un acteur européen ne soit cité ici. Les suites logiques sont la publication des données et du code, la reproduction par des tiers sur d'autres mains robotiques, et l'extension à des tâches industrielles longues. Les auteurs ne communiquent à ce stade ni calendrier de pilotes ni partenaires de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Souviens-toi d'où tu passes : apprentissage d'une mémoire spatiale pour l'exploration de bout en bout par robot à pattes

Des chercheurs proposent une nouvelle architecture de mémoire pour l'apprentissage par renforcement, la Local Spatial Matrix Memory (LSMM), conçue spécifiquement pour la navigation de robots à pattes, humanoïdes compris. Elle repose sur la mémoire de Hadamard et attribue à chaque position de l'espace des cellules de mémoire dédiées, où l'agent peut stocker des informations génériques utiles à sa tâche. Les auteurs l'évaluent sur l'exploration autonome de labyrinthes, en la comparant à des politiques dotées de réseaux récurrents de type LSTM et à des approches à historique fini. Le résultat principal est que la LSMM atteint la même couverture du labyrinthe que ces références solides, mais reste la seule architecture à mémoriser réellement la configuration du labyrinthe, avec une erreur de reconstruction divisée par trois. L'étude est un travail de recherche publié sur arXiv. Elle ne décrit aucun déploiement sur robot réel, ni de chiffres de payload, de temps de cycle ou de coût. L'enjeu touche un point faible connu des politiques entraînées de bout en bout. Un robot mobile doit souvent se souvenir de ce qui est sorti de son champ de vision et qui ne redevient utile que bien plus tard : une impasse déjà explorée, un passage repéré, un obstacle contourné. Les LSTM, couramment intégrés aux politiques de reinforcement learning, tendent à perdre cette information sur de longs horizons. Le résultat est donc instructif : une couverture équivalente peut masquer une mémoire très différente. Un agent peut bien explorer sans retenir la carte, ce qui le rend fragile dès qu'il doit revenir sur ses pas ou réutiliser ce qu'il a vu. Pour les intégrateurs et les équipes qui développent la navigation de humanoïdes en entrepôt ou en inspection, l'approche suggère qu'une mémoire ancrée dans l'espace pourrait remplacer ou compléter les cartes SLAM explicites, en restant apprise de bout en bout. Les limites sont nettes : l'évaluation porte sur des labyrinthes, probablement en simulation, et rien ne prouve encore un transfert vers des environnements réels, bruités et dynamiques. Ce travail s'inscrit dans l'effort plus large pour doter les politiques apprises, notamment les modèles vision-langage-action (VLA), d'une mémoire fiable à long terme, alors que la plupart des démonstrations actuelles de humanoïdes reposent sur des horizons courts ou des cartes construites séparément. Il se positionne face aux architectures récurrentes classiques et aux fenêtres d'historique, que les auteurs prennent pour références, plutôt que face à des systèmes industriels. Les suites logiques seraient des tests sur des tâches de navigation plus riches, puis sur du matériel réel. Aucun pilote ni calendrier n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source