RecherchearXiv cs.RO 2 novembre 2026

Interface d'imitation du contact : transférer des compétences dextériques en montrant le déroulement du contact

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent CIMI (Contact Imitation Interface), un cadre qui vise à transférer des compétences de manipulation dextre d'humains vers des mains robotiques sans que le démonstrateur ait besoin d'un robot. L'ensemble comprend deux briques: une interface de démonstration et une interface d'apprentissage. La première associe une géométrie de contact partagée et des vues RGB au niveau des bouts de doigts, avec un retargeting qui privilégie l'alignement des contacts et une reprojection de vues plus larges de la scène. La seconde repose sur une politique hiérarchique: un planificateur de surfaces de contact prédit des trajectoires relatives de ces surfaces, puis un contrôleur coordonne les commandes du poignet et des doigts pour affiner l'alignement. Testé sur six paires main-tâche avec les mains LEAP et Wuji, CIMI améliore le taux de réussite moyen à l'étape finale d'au moins 50 points de pourcentage face aux politiques de référence. Les plans matériels et le code sont publics.

L'enjeu porte sur le goulot d'étranglement principal de la manipulation dextre: la donnée. La téléopération avec robot reste lente et coûteuse, alors que les démonstrations humaines sans robot passent bien mieux à l'échelle. Leur faiblesse tient à l'écart de morphologie entre main humaine et main robotique, qui fait perdre l'information utile, à savoir où et comment le contact se produit. En ancrant observations et actions dans le contact plutôt que dans la pose des articulations, CIMI propose une représentation indépendante de la main, ce qui pourrait faciliter la réutilisation des données d'une main à l'autre. Il faut toutefois rester prudent: le gain de 50 points est mesuré face à des références choisies par les auteurs, sur seulement six paires main-tâche, sans que le résumé précise la nature des tâches ni les taux absolus. La robustesse hors laboratoire, sur des objets et scènes inédits, reste à démontrer.

Ce travail s'inscrit dans la vague des interfaces de collecte portables, héritées des gants et des pinces tenues à la main, qui cherchent à contourner la téléopération pour nourrir les politiques vision-langage-action et les politiques de type diffusion. Il se concentre ici sur les mains à plusieurs doigts, plus difficiles que les pinces parallèles. LEAP est une main open source largement utilisée en recherche, tandis que Wuji correspond à une main dextre plus récente. La publication du matériel et du logiciel permettra à d'autres laboratoires de reproduire les résultats, étape décisive pour juger de leur portée. Il s'agit d'une préversion arXiv, sans déploiement industriel annoncé: la suite logique serait des tests multi-mains à plus grande échelle et une comparaison directe avec les approches fondées sur la téléopération.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transférer le contact, pas seulement le mouvement : préhension souple entre mains dextériques

Des chercheurs ont publié mi-juin 2026 sur arXiv (réf. 2606.15516) une méthode de transfert de politiques de préhension dextre entre mains robotiques hétérogènes. L'approche introduit une interface force-position cross-embodiment : le mouvement est encodé dans un espace latent de pose de main commun à toutes les plateformes, tandis que les efforts de chaque main sont calibrés par identification système en couples articulaires physiques exprimés en N.m, puis convertis en forces au bout des doigts et en descripteurs compacts de charge par doigt. Une politique visuomoteur entraînée par flow matching combine vision, proprioception et contact calibré ; un masquage visuel structuré pousse la politique à s'appuyer sur la force lorsque les contacts sont occultés. Le même contrôleur hybride force-position sert à la collecte de démonstrations et à l'exécution, assurant la cohérence des cibles de force entre entraînement et déploiement. L'enjeu est réel : la préhension dextre stable exige la régulation du contact, pas seulement le suivi de trajectoire. Quand un doigt glisse, se déforme ou sort du champ visuel, c'est le retour de force qui maintient la charge appropriée sur l'objet. Les architectures cross-embodiment existantes unifient le mouvement via des poses retargetées ou des actions latentes, mais laissent le signal de force lié au hardware de chaque main, bloquant le transfert. En calibrant ce signal dans une unité physique commune (N.m), les auteurs rendent la boucle de régulation de contact comparable entre plateformes structurellement différentes. Pour un intégrateur qui déploie plusieurs modèles de mains sur une même cellule, cela ouvre la perspective de bibliothèques de skills partagées plutôt que de politiques ad hoc par hardware. Les expériences montrent que des primitives apprises sont réemployables dans des pipelines de manipulation longue portée, test de généralisation nettement plus exigeant qu'une démonstration isolée. La publication s'inscrit dans le sillage des architectures cross-embodiment post-GR00T N2 et pi0, où l'effort de la communauté vise la réutilisation de politiques entre robots sans retraining complet. Elle répond directement aux limites de travaux comme DexMV ou AnyGrasp, qui normalisent le mouvement mais ignorent la physique du contact. Fait inhabituel : l'abstract ne mentionne ni institution ni auteurs explicites, ce qui peut indiquer une soumission industrielle anonymisée ou un groupe en cours de dévoilement. Le travail reste à ce stade un résultat expérimental de laboratoire sans déploiement annoncé ; la prochaine étape naturelle serait une validation sur des mains commerciales comme la Shadow Hand ou l'Ability Hand dans des scénarios industriels réels.

RechercheOpinion

1 source

2arXiv cs.RO

Allocation de bases guidée par la raideur d'interaction dans les primitives de mouvement dynamiques pour un transfert de compétences efficace

Des chercheurs proposent SC-DMPs (Stage-Criticality-Guided Dynamic Movement Primitives), une variante des Dynamic Movement Primitives destinée à l'apprentissage de compétences robotiques où certaines phases exigent une précision supérieure aux autres. Les DMPs classiques représentent une trajectoire par un système dynamique stable, modulé par une somme de fonctions de base dont la disposition est fixée à l'avance, en général uniformément sur la phase canonique. SC-DMPs remplace cette grille rigide par une allocation adaptative. Un indice de criticité par étape est construit en combinant deux signaux : la raideur d'interaction entre l'opérateur et le robot pendant la démonstration, et un indice de cohérence de trajectoire, dérivé de la variabilité dans l'espace tâche entre plusieurs démonstrations. Les centres des fonctions de base sont ensuite redistribués dans le temps normalisé par une inversion de la criticité cumulée, puis reportés sur la phase canonique. Leurs largeurs sont également ajustées pour moduler le support d'approximation local. Les articles concernés sont validés sur des trajectoires d'écriture manuscrite et trois tâches sur robot réel, dont l'arXiv ne détaille pas ici les plateformes ni les tâches précises. Pour les intégrateurs et les équipes qui transfèrent des savoir-faire par démonstration, l'enjeu est une meilleure utilisation de la capacité du modèle sans l'alourdir. Une grille uniforme gaspille des fonctions de base sur les segments simples, comme les approches en espace libre, et en manque dans les zones à fort enjeu : insertion, contact, passage de contraintes géométriques. Selon les auteurs, la criticité inférée se concentre bien dans les régions géométriquement exigeantes et contraintes par la tâche. Les comparaisons avec DMP, ProMP, ProDMP, GP-MP et KMP montrent une meilleure reproduction de trajectoire, une meilleure généralisation du point final et une meilleure précision aux étapes critiques, tout en conservant un modèle compact et la structure stable des DMPs classiques. À noter : il s'agit d'un préprint sans relecture par les pairs, et les gains chiffrés, les marges et les conditions expérimentales ne figurent pas dans le résumé, ce qui limite l'évaluation de l'ampleur réelle de l'amélioration. Ces travaux s'inscrivent dans la lignée des primitives de mouvement, apparues avec les DMPs d'Ijspeert et Schaal, puis étendues par les approches probabilistes (ProMP), leur variante ProDMP, les processus gaussiens (GP-MP) et les méthodes à noyaux (KMP). Ces alternatives gagnent en expressivité statistique, souvent au prix d'une stabilité moins directe ou d'un modèle plus lourd. SC-DMPs prend le parti inverse : conserver la garantie de stabilité des DMPs et redistribuer intelligemment les ressources. Ce courant reste distinct des politiques VLA et de l'apprentissage par imitation de bout en bout, qui dominent la course humanoïde, mais il répond à un besoin concret en manipulation de précision, où la donnée de démonstration est rare. Les suites probables incluent des validations sur des tâches industrielles plus variées et une publication en revue, aucune date ni aucun partenaire industriel n'étant annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

PanTact : enseigner la dextérité du corps entier avec une interface de contact portable

PanTact est un système de recherche décrit dans l'article arXiv 2610.12558, qui apprend à un humanoïde à manipuler avec n'importe quelle surface adaptée de son corps, et non plus seulement avec ses mains. Les données viennent de démonstrations humaines sans robot. Le dispositif de collecte est portable et combine une vision égocentrique, des pinces UMI bimanuelles et des patchs de contact modulaires répartis sur le corps. Ces patchs enregistrent la position et l'état des contacts. Une politique visuomotrice, conçue pour réduire l'écart d'observation propre à la vue égocentrique, prédit ensuite des objectifs de contact pour tout le corps. Des formulations de contrôle du corps entier sensibles au contact les exécutent avec les surfaces du robot qui conviennent. L'équipe a déployé l'ensemble sur un Unitree G1, sans capteur de contact supplémentaire sur le robot. Elle démontre quatre types de comportements: appui corporel, poussée, balayage et partage de charge. L'extrait disponible ne donne ni taux de réussite, ni temps de cycle, ni nombre de démonstrations. Les performances chiffrées restent donc à vérifier dans l'article complet et sur le site du projet. L'intérêt tient au choix du contact comme représentation commune entre l'humain et le robot. La plupart des travaux de loco-manipulation sur humanoïdes limitent la manipulation aux mains et évitent les autres contacts avec l'environnement, alors que ces robots disposent de nombreux degrés de liberté et de surfaces utilisables. Ici, les positions et les instants de contact décrivent ce qu'il faut accomplir. Le robot choisit lui-même, selon ses contraintes physiques, comment coordonner son corps pour y parvenir. Cette séparation entre l'intention et le mouvement évite de retargeter les poses humaines vers un squelette différent, étape souvent source d'erreurs. Elle supprime aussi la téléopération de robots, coûteuse en temps et en matériel. Pour les intégrateurs, la perspective est de tâches qu'un humanoïde ne sait pas faire avec deux mains seules: pousser un chariot avec le torse, caler une charge contre le corps ou la porter à plusieurs surfaces. Il s'agit toutefois d'un résultat de laboratoire sur un seul robot. Il n'est pas un produit ni un déploiement, et rien n'indique encore une robustesse à l'échelle d'un site industriel. Le travail prolonge la lignée des interfaces UMI (Universal Manipulation Interface), qui ont montré qu'on pouvait collecter des démonstrations avec une pince portable, sans robot, et les transférer à des bras. PanTact étend cette logique du poignet au corps entier. Le choix du Unitree G1 reflète sa position de plateforme de recherche humanoïde abordable et très répandue dans les laboratoires. Les approches concurrentes reposent plutôt sur la téléopération en réalité virtuelle, le suivi de mouvement humain (motion capture) ou l'apprentissage par renforcement en simulation pour le contrôle du corps entier, et les modèles VLA généralistes se concentrent surtout sur les mains. Les suites logiques seraient une évaluation sur d'autres morphologies, des tâches plus longues et des environnements moins contrôlés. L'absence de capteurs de contact sur le robot laisse aussi ouverte la question de la fiabilité du contrôle en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

ART-Glove : un gant tactile articulé pour capturer les interactions dextériques en contact

Des chercheurs ont publié sur arXiv (arXiv:2606.16370) les spécifications de l'ART-Glove (Articulated Tactile Glove), un gant instrumenté conçu pour capturer des démonstrations de manipulation dextère en préservant la mobilité naturelle de la main humaine. Le système intègre 16 surfaces rigides fonctionnelles couvrant les doigts, le pouce et la paume, reliées par 22 articulations anatomiquement alignées qui suivent le mouvement de la main en temps réel. La capture repose sur deux modalités complémentaires : un encodeur mécanique pour les positions articulaires et une matrice de capteurs piézorésistifs pour les contacts cutanés. Le résultat est une acquisition synchronisée à 120 Hz de 22 degrés de liberté (DoF) articulaires et de 2 048 taxels tactiles, soit une résolution spatiale du contact parmi les plus denses publiées pour ce type de dispositif portable. L'enjeu technique que cible ART-Glove est le goulet d'étranglement de la collecte de données pour l'apprentissage dextère des robots. Les approches actuelles de téléopération ou de capture de mouvement peinent à enregistrer simultanément la géométrie du contact et la cinématique de la main, deux informations pourtant indispensables pour qu'un réseau de politique (notamment les VLA, Vision-Language-Action models) puisse reproduire des manipulations fines comme saisir un objet fragile ou assembler un connecteur. En rendant la géométrie de contact explicite plutôt qu'inférée, le gant vise à réduire le fossé sim-to-real dans les pipelines d'imitation learning pour mains robotiques, un problème notoire qui freine le passage à l'échelle industrielle. Le contexte de ce travail s'inscrit dans une dynamique intense autour de la manipulation dextère : des projets comme DEXTAH (MIT), DexPilot (NVIDIA) ou les gants de capture de Shadow Robot ont montré l'intérêt de l'instrumentation côté opérateur humain, mais aucun ne combine à cette résolution les deux canaux cinématique et tactile sur des surfaces rigides géométriquement définies. Le papier reste pour l'heure un preprint sans validation industrielle annoncée ni partenaire commercial identifié. Les prochaines étapes naturelles seraient des expériences de transfert direct vers des mains robotiques comme la LEAP Hand ou la Dexterous Hand d'Allegro, et une évaluation des politiques apprises sur des tâches de manipulation contact-riche en dehors du laboratoire.

RecherchePaper

1 source