Sensibilisation bimanuelle avec 8 Go de mémoire :…

1arXiv cs.RO

GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre

GOTT, publié sur arXiv (2610.03861, version 2), propose un cadre de manipulation dextre en trois temps, « reach-acquire-move », construit autour d'une unique primitive d'acquisition de contact valable d'un robot à l'autre. Le système prend en entrée une trajectoire d'objet indépendante du robot et une spécification d'approche (reach). Il amène d'abord la main près d'une zone de contact pertinente pour la tâche. Une primitive en boucle fermée, partagée entre les plateformes, établit ensuite un contact stable à partir de cette initialisation approximative. Un contrôleur conditionné par la pose de l'objet suit enfin le mouvement désiré. La spécification d'approche peut venir d'une planification anticipant la suite de la tâche, de modèles externes ou de démonstrations humaines. La primitive et le suivi restent identiques dans tous les cas. Les expériences, en simulation et sur robots réels, couvrent des objets variés, plusieurs combinaisons bras-main et des morphologies de main vues ou non pendant la conception. Le texte disponible ne donne ni taux de succès chiffrés, ni liste de plateformes, ni nombre d'essais. L'enjeu est de combler un maillon manquant. Les modèles de fondation et les grands jeux de données humaines fournissent beaucoup d'intentions de manipulation, mais leur traduction en comportements de mains multi-doigts reste fragile. Les mains dextres n'ont pas de primitive bas niveau réutilisable pour établir le contact. Chaque système réinvente donc sa phase de saisie, souvent en boucle ouverte. Les auteurs affirment que GOTT améliore de façon constante le succès de bout en bout par rapport à l'exécution de prises en boucle ouverte. Si cela tient hors laboratoire, la couche de contact deviendrait un module découplé des politiques de haut niveau, comme des VLA (modèles vision-langage-action) ou des pipelines de téléopération. Cela réduirait le travail de réglage pour chaque nouvelle main. La généralisation à des morphologies inconnues est l'argument le plus intéressant pour un intégrateur, car les parcs de mains dextres restent très hétérogènes. Le résumé ne précise toutefois ni l'ampleur du gain, ni la difficulté des objets, ni la part des résultats obtenus sur matériel réel. Ces points sont décisifs pour juger la portée du travail. Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. Elle s'inscrit dans le courant de la manipulation centrée sur l'objet et du transfert de l'humain vers le robot, où la tâche se décrit par le mouvement de l'objet plutôt que par celui de la main. Ce courant cherche à dépasser les politiques propres à un seul robot. Le problème reste ouvert : on ne dispose pas encore d'une couche de contact standard pour les mains dextres, et plusieurs approches concurrentes de saisie apprise ou de retargeting de mains coexistent. Le passage à la version 2 indique un document révisé, mais le texte fourni ne dit pas ce qui a changé. La suite logique serait une validation sur des tâches longues, des objets déformables ou articulés et des mains industrielles, avec des métriques détaillées et du code ouvert.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

UniFlowWAM : un modèle unifié du monde et de l'action, fondé sur la sémantique visuelle et la géométrie 4D

UniFlowWAM, un modèle publié sur arXiv (2610.30991) par une équipe de recherche, traite le flot de scène 3D, c'est-à-dire le suivi de points 3D de la scène dans le temps, comme une troisième modalité à part entière, au même niveau que la vision et l'action. Il s'agit d'un diffusion transformer avec un expert par modalité, les trois échangeant via une attention conjointe. L'entraînement repose sur une grille de dix objectifs où chaque modalité reçoit l'un de trois rôles: cible, condition ou absente. Un même modèle peut ainsi servir de politique, de dynamique directe ou inverse, et de prédicteur de caractéristiques visuelles futures ou de flot 3D. Les tests couvrent trois benchmarks en simulation et quatre tâches bimanuelles réelles. Sur RoboCasa-GR1, le taux de succès passe de 52,1 % à 56,4 % par rapport au modèle de base sans flot. Sur LIBERO, il reste à 98,1 % en distribution, et atteint 87,7 % en zero-shot sur LIBERO-Plus. Sur robot réel, la moyenne atteint 87,0 %, contre 68,5 % pour la meilleure référence. L'intérêt tient à la place donnée à la géométrie 4D. Les démonstrations robotiques enregistrent ce que le robot voit et fait, mais pas la manière dont le monde 3D évolue entre les deux. Jusqu'ici, le flot servait de prédiction intermédiaire convertie en actions par un autre modèle, d'a priori injecté à l'inférence, ou de sortie auxiliaire apprise avec l'action. Dans tous les cas il restait extérieur à la politique. Le gain de 4,3 points en simulation est modeste, et celui du robot réel (+18,5 points) est le résultat le plus marquant, mais il repose sur seulement quatre tâches, sans indication ici sur le nombre d'essais, la nature des baselines ni la variance. Le score de 98,1 % sur LIBERO confirme surtout que ce benchmark est saturé, alors que LIBERO-Plus, qui introduit des perturbations, est plus discriminant. Pour un intégrateur, il s'agit d'un résultat de recherche et non d'un produit, sans données de temps de cycle, de coût ni de déploiement. Ce travail s'inscrit dans la vague des modèles monde-action, qui prolongent les politiques vision-langage-action (VLA) en leur adjoignant une prédiction de l'avenir, et dans la lignée des méthodes exploitant le flot comme signal intermédiaire. Il se positionne face aux approches où le flot reste un module séparé, et face aux VLA généralistes qui s'appuient uniquement sur l'image et l'action. La formulation à rôles interchangeables laisse envisager un modèle unique réutilisable pour la planification, la simulation et le contrôle. Les prochaines étapes à surveiller sont la validation sur davantage de tâches réelles, la mise à l'échelle des données et une évaluation indépendante, car l'article n'annonce ni pilote ni calendrier de déploiement.

RecherchePaper

1 source

3arXiv cs.RO

Modélisation directe de la variété d'actions pour une manipulation bimanuelle efficace et robuste

Des chercheurs proposent DMAT (Direct Manifold Action Transformer), une politique visuomotrice pour la manipulation bimanuelle qui remplace la génération d'actions par diffusion ou flow matching par une prédiction directe en une seule étape. Le modèle prend en entrée la vision (avec une géométrie 3D locale servant d'ancrage spatial) et la proprioception, puis prédit directement des séquences d'actions (« action chunks ») propres dans l'espace articulaire, à partir d'interpolants stochastiques. Un module baptisé State-Consistent Spectral-Time Refinement (STR) réconcilie les séquences prédites avec l'état proprioceptif du robot et supprime les résidus haute fréquence. Sur 567 essais par méthode, répartis entre conditions standard et hors distribution (OOD), DMAT affiche un taux de succès agrégé supérieur de 129,1 % à celui d'Improved 3D Diffusion Policy (IDP3) et de 95,7 % à celui de DiTFlow3D. Il génère aussi ses séquences 2,06 fois et 1,34 fois plus vite, et reste robuste face à des interventions répétées de 50 N. L'enjeu est la latence et le décalage d'exécution qu'imposent les politiques génératives actuelles, qui exigent un débruitage itératif ou une intégration numérique à chaque séquence d'actions. L'hypothèse défendue est que, pour des démonstrations bimanuelles, les actions se concentrent dans une région structurée de l'espace articulaire, dépendante de l'observation : il serait donc plus simple de modéliser directement la cible que le processus génératif. Si elle se confirmait au-delà de ce banc d'essai, cela remettrait en cause l'idée que la multimodalité des actions impose forcément la diffusion, et offrirait aux intégrateurs une inférence plus légère et plus prévisible sur du matériel embarqué. Des réserves s'imposent toutefois. Les gains relatifs, exprimés en pourcentage, dépendent fortement de taux de base qui ne sont pas détaillés dans le résumé. Le gain de vitesse face à DiTFlow3D reste modeste (1,34x). Le nombre de tâches, la plateforme robotique, le nombre de démonstrations et la validation en conditions réelles ne sont pas précisés, et la robustesse n'est testée que sur des perturbations de 50 N. Ce travail s'inscrit dans la lignée des politiques de diffusion (Diffusion Policy, 3D Diffusion Policy et sa variante améliorée IDP3) puis des approches par flow matching, devenues la base de nombreux modèles vision-langage-action (VLA) récents. Ces approches ont gagné en précision mais au prix d'un coût d'inférence, que la communauté tente de réduire par distillation ou par des procédures de redressement de trajectoires. DMAT prend le contraire : supprimer le processus itératif lui-même. Il s'agit d'une préprint arXiv (v1), sans évaluation par les pairs ni code annoncé dans le résumé. Les prochaines étapes à surveiller sont une réplication sur d'autres plateformes bimanuelles, des comparaisons avec des politiques one-step distillées, et un test sur des tâches longues à forte multimodalité, où la prédiction directe est la plus susceptible de montrer ses limites.

RecherchePaper

1 source

4arXiv cs.RO

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier. Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Sensibilisation bimanuelle avec 8 Go de mémoire : détection à copie nulle et ACT quantifié sur un Jetson d'entrée de gamme

À lire aussi

GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre

UniFlowWAM : un modèle unifié du monde et de l'action, fondé sur la sémantique visuelle et la géométrie 4D

Modélisation directe de la variété d'actions pour une manipulation bimanuelle efficace et robuste

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)