RecherchearXiv cs.RO 12 octobre 2026

GOTT : manipulation dextre centrée sur l'objet, avec une primitive réutilisable d'une morphologie de robot à l'autre

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

GOTT, publié sur arXiv (2610.03861, version 2), propose un cadre de manipulation dextre en trois temps, « reach-acquire-move », construit autour d'une unique primitive d'acquisition de contact valable d'un robot à l'autre. Le système prend en entrée une trajectoire d'objet indépendante du robot et une spécification d'approche (reach). Il amène d'abord la main près d'une zone de contact pertinente pour la tâche. Une primitive en boucle fermée, partagée entre les plateformes, établit ensuite un contact stable à partir de cette initialisation approximative. Un contrôleur conditionné par la pose de l'objet suit enfin le mouvement désiré. La spécification d'approche peut venir d'une planification anticipant la suite de la tâche, de modèles externes ou de démonstrations humaines. La primitive et le suivi restent identiques dans tous les cas. Les expériences, en simulation et sur robots réels, couvrent des objets variés, plusieurs combinaisons bras-main et des morphologies de main vues ou non pendant la conception. Le texte disponible ne donne ni taux de succès chiffrés, ni liste de plateformes, ni nombre d'essais.

L'enjeu est de combler un maillon manquant. Les modèles de fondation et les grands jeux de données humaines fournissent beaucoup d'intentions de manipulation, mais leur traduction en comportements de mains multi-doigts reste fragile. Les mains dextres n'ont pas de primitive bas niveau réutilisable pour établir le contact. Chaque système réinvente donc sa phase de saisie, souvent en boucle ouverte. Les auteurs affirment que GOTT améliore de façon constante le succès de bout en bout par rapport à l'exécution de prises en boucle ouverte. Si cela tient hors laboratoire, la couche de contact deviendrait un module découplé des politiques de haut niveau, comme des VLA (modèles vision-langage-action) ou des pipelines de téléopération. Cela réduirait le travail de réglage pour chaque nouvelle main. La généralisation à des morphologies inconnues est l'argument le plus intéressant pour un intégrateur, car les parcs de mains dextres restent très hétérogènes. Le résumé ne précise toutefois ni l'ampleur du gain, ni la difficulté des objets, ni la part des résultats obtenus sur matériel réel. Ces points sont décisifs pour juger la portée du travail.

Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. Elle s'inscrit dans le courant de la manipulation centrée sur l'objet et du transfert de l'humain vers le robot, où la tâche se décrit par le mouvement de l'objet plutôt que par celui de la main. Ce courant cherche à dépasser les politiques propres à un seul robot. Le problème reste ouvert : on ne dispose pas encore d'une couche de contact standard pour les mains dextres, et plusieurs approches concurrentes de saisie apprise ou de retargeting de mains coexistent. Le passage à la version 2 indique un document révisé, mais le texte fourni ne dit pas ce qui a changé. La suite logique serait une validation sur des tâches longues, des objets déformables ou articulés et des mains industrielles, avec des métriques détaillées et du code ouvert.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

SimToolReal : une politique centrée sur l'objet pour la manipulation dextérique d'outils sans apprentissage préalable

Des chercheurs publient SimToolReal, une politique d'apprentissage par renforcement (RL) sim-to-real conçue pour manipuler des outils avec une main dextre sans entraînement spécifique à l'objet ni à la tâche. Au lieu de modéliser un outil et de régler une fonction de récompense pour chaque usage, l'équipe génère de façon procédurale de nombreuses primitives d'objets en forme d'outil en simulation. Elle entraîne ensuite une seule politique avec un objectif universel : amener chaque objet vers des poses cibles aléatoires. Les auteurs annoncent un gain de 37 % face aux méthodes de retargeting et de prise fixe, et une performance équivalente à celle de politiques RL spécialisées, entraînées sur un objet et une tâche précis. L'évaluation en conditions réelles porte sur 120 essais couvrant 24 tâches, 12 instances d'objets et 6 catégories d'outils. Le résumé de l'article ne précise ni le modèle de main, ni le bras, ni la définition exacte du taux de réussite. L'enjeu est la dextérité, qui reste l'un des principaux freins au déploiement des humanoïdes et des manipulateurs. Utiliser un outil exige de saisir des objets fins, de les faire pivoter dans la main et d'exercer des forces, trois comportements que la téléopération capture mal. La collecte de données par démonstration, dont dépendent les approches VLA (vision-langage-action), est donc difficile pour cette classe de tâches. Le RL en simulation devient une alternative crédible, à condition de ne plus exiger un travail d'ingénierie par outil. Une politique centrée sur l'objet, qui traite l'outil comme un corps à amener vers une pose cible, réduit ce coût. Le résultat nuance l'idée que le sim-to-real exigerait un réglage spécifique à chaque tâche. Il faut toutefois relativiser. Il s'agit d'un preprint, et 120 essais sur 12 objets restent un échantillon modeste, loin d'un environnement industriel avec ses variations d'éclairage, d'usure et de cadence. Le résumé ne donne pas non plus de temps de cycle, et la nature des tâches (usage réel d'outil ou simple mise en pose) reste à vérifier dans l'article complet. Ces travaux prolongent la lignée du sim-to-real appliqué à la main dextre, de la manipulation de cube d'OpenAI aux politiques de rotation d'objet en main, qui s'appuyaient surtout sur des objets simples ou sur un entraînement dédié. Ils s'opposent aux approches de retargeting de démonstrations humaines et aux politiques à prise fixe, qui servent ici de références. Ils visent la même généralité que les modèles fondation de manipulation, comme Pi-0 ou GR00T, mais par une voie fondée sur la simulation plutôt que sur les données de téléopération. La mention « v3 » indique que le papier a été révisé plusieurs fois. Les prochaines étapes à surveiller sont le passage à des tâches de contact plus exigeantes, des évaluations indépendantes et une éventuelle intégration sur des mains d'humanoïdes commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

VidAct : apprendre la manipulation à partir de vidéos réelles grâce à une perception 3D centrée sur les objets

VidAct est un framework « vidéo vers robot » décrit dans un préprint arXiv (2609.36870v1) qui apprend des politiques de manipulation à partir d'une seule vidéo monoculaire par tâche, puis les déploie sur un robot réel en zero-shot. Le système repose sur trois briques. La première reconstruit le maillage des objets et leur mouvement à partir de vidéos quelconques, puis exprime ce mouvement dans le repère statique de l'objet. Cela évite tout retargeting spécifique à l'embodiment (le passage d'une main humaine à une pince) et accepte des points de vue de caméra variés. La deuxième brique, un transfert de trajectoire résiduel, adapte le mouvement reconstruit à de nouvelles configurations d'objets en conservant la forme de la trajectoire. La troisième, au cœur de l'apprentissage, demande à la politique de prédire à chaque image le nuage de points complet de l'objet, fourni en privilège par la simulation, comme tâche auxiliaire. Le déploiement reste en RGB seul. Les expériences couvrent des vidéos humaines, robotiques, générées et issues d'internet. Le résumé ne donne aucun chiffre de taux de réussite, de nombre de tâches ni de plateforme robotique. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la réduction du coût de la donnée. La téléopération reste l'étalon de la collecte de démonstrations, mais elle est chère et peu extensible. Apprendre à partir d'une vidéo par tâche, y compris générée, déplace le goulot d'étranglement de la collecte vers la reconstruction 3D. L'approche traite aussi deux limites connues des méthodes de reconstruction : la dépendance à des caméras contraintes et la déformation des trajectoires face à un nouvel agencement d'objets. La supervision par nuage de points complet par image suggère que la conscience de la géométrie 3D des objets, souvent absente des politiques RGB, améliore la généralisation et le transfert simulation-réel. Ces conclusions restent à confirmer : les auteurs affirment des gains, mais l'abstract ne les quantifie pas. Les résultats viennent de tâches de laboratoire, sans indication de robustesse en environnement industriel ni de comparaison publiée avec des VLA généralistes. Ce travail s'inscrit dans une lignée qui cherche à remplacer la démonstration robotique par de la vidéo, en concurrence avec la collecte téléopérée à grande échelle et les modèles fondation type VLA, qui misent sur le volume de données plutôt que sur la reconstruction explicite. Il s'agit d'un préprint en première version, sans code, produit ni déploiement annoncé à ce stade. Les prochaines étapes à surveiller sont la publication des taux de réussite détaillés, la diffusion du code et, surtout, une validation sur des tâches longues, contraintes ou déformables, où la reconstruction monoculaire est la plus fragile.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà de la sémantique liée aux points : champs sémantiques centrés sur l'objet pour une manipulation généralisable

Un nouvel article publié sur arXiv (référence 2607.03163v1) propose une méthode pour améliorer la manipulation robotique generalisable en dotant les nuages de points 3D d'une compréhension sémantique stable des parties fonctionnelles d'un objet, poignées, têtes d'outils, ouvertures, zones de préhension. Les nuages de points bruts capturent la géométrie mais pas la sémantique, et l'échantillonnage varie selon le point de vue, le capteur ou l'instance d'objet observée. Les auteurs introduisent un champ sémantique continu et centré sur l'objet, entraîné à partir de modèles d'objets annotés par parties, qui associe à toute position 3D interrogée un embedding sémantique conscient de la fonction de la partie concernée. Une fois entraîné, ce champ est figé et sert à générer des nuages de points sémantiques utilisés comme conditionnement au niveau de l'objet pour des politiques de manipulation. Les tests, menés sur les tâches de simulation RoboTwin ainsi que sur de la manipulation bimanuelle réelle, montrent une amélioration des performances par rapport aux approches de référence: nuage de points brut, lifting de features 2D vers la 3D, et features ponctuelles 3D discrètes. L'enjeu dépasse le simple gain de précision. Pour l'industrie de la manipulation robotique et les concepteurs de politiques de type VLA (vision-language-action), le vrai problème n'est pas de reconnaître un objet mais de savoir où et comment le saisir de façon fiable, quel que soit l'angle de vue ou l'exemplaire précis rencontré. En rendant la sémantique indépendante de l'échantillonnage observé, cette approche s'attaque directement à un point faible connu des pipelines actuels: la fragilité des indices sémantiques ponctuels quand la scène ou le capteur changent. C'est un argument de plus dans le débat sur la généralisation réelle des politiques de manipulation, un enjeu central alors que le secteur cherche à dépasser les démonstrations en environnement contrôlé. Ce travail s'inscrit dans la lignée des efforts pour enrichir la perception 3D en robotique, après les méthodes de projection de features 2D issues de modèles de vision-langage et les représentations ponctuelles 3D discrètes, deux approches dont l'article démontre les limites en comparaison directe. RoboTwin, la plateforme de simulation utilisée, sert de banc d'essai standard pour ce type d'évaluation comparative dans la communauté. Les auteurs mettent à disposition une page projet dédiée, laissant présager la publication du code et des modèles pour permettre une réplication et une adoption plus large par la communauté de recherche en manipulation robotique.

RecherchePaper

1 source

4arXiv cs.RO

Glissement d'objets par manipulation des pieds sur un robot bipède à roues avec contrôle hiérarchique

Des chercheurs ont publié sur arXiv (arXiv:2606.19233, juin 2026) un framework de contrôle hiérarchique permettant à des robots bipèdes à roues d'effectuer des tâches de manipulation d'objets au sol à l'aide de leurs membres inférieurs motorisés, une capacité baptisée "pédimanipulation mobile". Le système repose sur un contrôleur prédictif non linéaire (NMPC) construit sur un modèle dynamique simplifié à trois corps rigides (TRB), intégrant explicitement le degré de liberté en roulis de hanche et plusieurs modes de contact roue-sol. En expérimentation réelle, le robot a récupéré un objet de 1 kg coincé sous un bureau et déplacé latéralement un objet de 4 kg sur une distance de 0,228 m via une motion de type "scooting". Deux primitives de mouvement ont été validées sur hardware : scooting (poussée frontale par rotation des roues) et lateral sliding (déplacement latéral par pas de côté). L'intérêt industriel de cette approche réside dans sa réutilisation du train roulant comme effecteur de manipulation, sans bras supplémentaire ni outil dédié. Le NMPC régule simultanément la locomotion et les forces d'interaction, ce qui signifie que le robot maintient son équilibre tout en exerçant un effort contrôlé sur l'objet, un problème de couplage non trivial. Le planificateur de trajectoire intègre les transitions adhérence-glissement (stick-slip) dans le contact sol-objet, un phénomène souvent ignoré dans les démos en simulation mais critique en conditions réelles. C'est un résultat concret qui réduit le demo-to-reality gap sur la manipulation au sol, habituellement dominée par les manipulateurs à bras. Les robots bipèdes à roues constituent une architecture émergente entre AMR classiques et humanoïdes complets : Agility Robotics (Digit), Boston Dynamics (Spot avec extension roues dans certaines configs), et des plateformes académiques comme le Cassie de l'Oregon State University ont popularisé cette morphologie. Ce travail s'inscrit dans un courant de recherche sur la pédimanipulation, utiliser les jambes comme manipulateurs, que l'on retrouve aussi sur quadrupèdes (ANYmal, Go2). La prochaine étape probable est l'extension à des objets non rigides ou à des surfaces non planes, ainsi que l'intégration de perception pour fermer la boucle en environnement non structuré.

RecherchePaper

1 source