Aller au contenu principal
RecherchearXiv cs.RO 

La fonction avant la forme : correspondance fonctionnelle pour la génération de prises dextériques inter-morphologies

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent FunCo-Grasp, un cadre de génération de préhensions dextres « cross-embodiment », c'est-à-dire transférable d'une main robotique à l'autre. Il est décrit dans un préprint arXiv (v1, non évalué par les pairs). Le principe est d'établir des « correspondances fonctionnelles » entre des mains aux géométries, topologies et cinématiques très différentes. Deux alignements y contribuent. Le Functional Part Alignment associe chaque lien physique de la main à une partie fonctionnelle commune, selon son rôle dans la saisie. Le Canonical Frame Alignment exprime ensuite ces parties dans des repères locaux canoniques. Un modèle de diffusion, conditionné par cette représentation et par la géométrie de l'objet, génère l'agencement spatial cible des parties fonctionnelles. Cet agencement est ensuite converti en configuration articulaire exécutable. Pour une main inédite, il suffit de fournir ses modèles géométrique et cinématique, plus une annotation fonctionnelle légère faite une seule fois. Aucune donnée de préhension sur la main cible, aucun fine-tuning et aucun retargeting appris ne sont nécessaires. En simulation, sur des objets exclus de l'entraînement dans le CMapDataset filtré, le taux de succès moyen atteint 92,40 % sur trois mains vues à l'entraînement et 74,02 % sur quatre mains inédites. En conditions réelles, le même modèle réussit 76,00 % des essais sur deux mains inédites, sans entraînement supplémentaire.

L'intérêt tient à l'obstacle que ces travaux visent. Aujourd'hui, chaque nouvelle main dextre oblige souvent à recollecter des données ou à réentraîner, ce qui freine les intégrateurs qui comparent ou changent d'effecteur. Ici, le coût d'adaptation se réduit à une annotation unique. Cela rend plausible un modèle de préhension réutilisable d'une main à l'autre. L'écart de 18 points entre mains vues et inédites en simulation montre cependant que le transfert est loin d'être résolu. Le chiffre réel de 76 % repose sur seulement deux mains, et l'article ne donne ici ni le nombre d'objets, ni le nombre d'essais, ni les conditions de test. Il décrit de plus des préhensions statiques, pas de la manipulation en main, ce qui reste loin des exigences d'une ligne de production. Le résultat va néanmoins dans le sens d'une hypothèse du secteur : une représentation structurée par la fonction généralise mieux que l'apprentissage de motifs propres à chaque main.

Le travail s'inscrit dans une série de méthodes cross-embodiment pour la dextérité. Les approches précédentes s'appuient souvent sur des représentations spécifiques à chaque main ou sur du retargeting appris, ce qui limite la généralisation. Les mains multi-doigts se multiplient pourtant, des modèles à quatre doigts jusqu'aux mains humanoïdes à plus de vingt degrés de liberté. Le préprint n'annonce ni code, ni pilote industriel, ni calendrier. Les prochaines étapes logiques seraient un test sur un éventail plus large de mains, la prise en compte de la manipulation dynamique et une évaluation sur des objets non rigides ou en environnement encombré.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

À lire aussi

Correspondance de flux équivariante morphologiquement pour la manipulation mobile bimanuelles
1arXiv cs.RO 

Correspondance de flux équivariante morphologiquement pour la manipulation mobile bimanuelles

Des chercheurs ont publié en mai 2026 (arXiv:2605.12228) une méthode d'apprentissage par imitation qui exploite la symétrie bilatérale des robots bimanuels mobiles pour améliorer leur efficacité d'entraînement et leur généralisation. L'approche, baptisée C₂-equivariant flow matching, formalise la symétrie réflective inhérente aux robots bimanuels autour de leur plan sagittal (le plan vertical séparant le côté gauche du côté droit) et l'intègre directement dans l'architecture de la politique de contrôle. Deux mécanismes d'application sont proposés : une perte d'entraînement régularisée ou un réseau de vitesse intrinsèquement équivariant. La méthode est évaluée sur des tâches de manipulation planaires et en 6 degrés de liberté (6-DoF), puis validée en conditions réelles sur un robot TIAGo++ de PAL Robotics (Barcelone, Espagne). L'intérêt de cette contribution tient à une observation structurelle peu exploitée : savoir accomplir une tâche dans une configuration donnée détermine mécaniquement la solution pour sa configuration en miroir. Pourtant, la quasi-totalité des méthodes d'imitation learning actuelles (ACT, Diffusion Policy, et leurs dérivés) ignorent cette contrainte. En l'intégrant comme biais inductif, les auteurs montrent que les politiques résultantes sont ambidextres et généralisent à zéro-shot vers des configurations en miroir absentes des données d'entraînement. Concrètement, cela réduit le volume de démonstrations nécessaires et supprime le besoin de collecter symétriquement les trajectoires des deux côtés. Pour un intégrateur ou un opérateur industriel déployant un système bimanuel, c'est un levier direct sur le coût de téléopération et de labellisation des données, deux postes majeurs dans le déploiement de la robotique généraliste. Le flow matching est une alternative aux modèles de diffusion : il apprend un champ de vitesse qui transporte une distribution simple vers la distribution cible des actions, avec une formulation plus directe et un entraînement souvent plus stable. Son efficacité en apprentissage robotique a déjà été démontrée par Physical Intelligence avec pi0, qui en fait le coeur de sa politique généraliste. La contribution ici complète ce cadre en y injectant une contrainte de symétrie morphologique, un biais générique potentiellement applicable à toute architecture équivariante. Face aux approches concurrentes de Stanford (Mobile ALOHA), CMU ou des équipes de Boston Dynamics, la méthode se distingue par son caractère généraliste : les auteurs suggèrent que la symétrie exploitée est extensible à d'autres classes de robots présentant des propriétés géométriques analogues, au-delà des seuls humanoïdes bimanuels.

UELa validation en conditions réelles sur le TIAGo++ de PAL Robotics (Barcelone) positionne un acteur européen au cœur d'une avancée en imitation learning bimanuel généraliste, directement applicable par les intégrateurs EU déployant des systèmes bimanuels.

RecherchePaper
1 source
AFUN : vers un modèle fondation d'affordances pour la compréhension fonctionnelle
2arXiv cs.RO 

AFUN : vers un modèle fondation d'affordances pour la compréhension fonctionnelle

Une équipe de recherche a publié le 2 juin 2026 sur arXiv (réf. 2606.02551) un modèle baptisé AFUN, conçu pour la compréhension fonctionnelle des affordances en robotique. À partir d'une unique observation RGB-D et d'une instruction en langage naturel, AFUN produit simultanément deux sorties : un masque fonctionnel conditionné par la tâche (où interagir) et une courbe de mouvement 3D post-contact (comment interagir). Les auteurs ont construit un pipeline de données standardisé à grande échelle, fusionnant des sources hétérogènes : données robotiques, humaines, issues de simulations et de scans réels, converties en un schéma d'affordance commun incluant des labels de langue, des masques et des mouvements 3D centrés sur les objets. Sur 8 jeux de test issus de 4 benchmarks, AFUN surpasse tous les modèles de référence avec un gain de +23,9 / +26,3 en gIoU/cIoU moyen pour la segmentation d'affordances, une amélioration du hit-rate de 12,7 à 61,3 % pour la prédiction du point de contact, et les meilleures performances sur les trois jeux de test pour la prédiction de mouvement 3D. L'enjeu dépasse la performance brute. Le verrou historique en manipulation robotique n'est pas le bras mais la décision : savoir où poser la pince et comment la déplacer ensuite dans un environnement non structuré. Les approches existantes traitent ces deux problèmes séparément, soit en localisant une région d'intérêt sans spécifier le geste, soit en prédisant un mouvement avec une généralisation limitée. AFUN adresse les deux en une seule passe, et surtout le fait sans finetuning spécifique à l'embodiment cible, ce qui constitue un argument fort pour des intégrateurs cherchant à déployer sur plusieurs plateformes matérielles. Le déploiement zero-shot en environnement réel démontré dans le papier soulage une contrainte d'adaptation qui représente souvent plusieurs semaines d'ingénierie. Le problème de l'affordance est étudié depuis les années 1980 (Gibson), mais sa formalisation computationnelle pour la robotique reste un chantier ouvert. Dans l'écosystème actuel, des modèles comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) intègrent des capacités d'affordance dans des pipelines VLA (Vision-Language-Action) plus larges, tandis que des travaux académiques comme AnyGrasp ou UniDexGrasp 3.0 ciblent la préhension spécifiquement. AFUN se positionne comme fondation explicable et modulaire, avec une page projet publique, mais reste à ce stade un preprint non encore évalué par les pairs : les métriques annoncées devront être validées sur des plateformes robotiques variées et en conditions industrielles avant de conclure à une percée opérationnelle.

UELes équipes R&D et intégrateurs européens travaillant sur des déploiements multi-plateformes pourraient bénéficier de la capacité zero-shot d'AFUN, mais aucun acteur français ou européen n'est impliqué.

RechercheOpinion
1 source
Main dans la boucle : améliorer les modèles VLA dextériques via correction interventionnelle transparente
3arXiv cs.RO 

Main dans la boucle : améliorer les modèles VLA dextériques via correction interventionnelle transparente

Une équipe de chercheurs a publié sur arXiv (réf. 2605.15157) une méthode baptisée Hand-in-the-Loop (HandITL), conçue pour corriger en temps réel les dérives des modèles Vision-Language-Action (VLA) lors de manipulation dextère bimanuelle à haute dimension. Le problème est structurel : dans des espaces d'action à grand nombre de degrés de liberté (DOF), les petites déviations de politique s'amplifient sur des horizons longs jusqu'à provoquer des défaillances en cascade. L'apprentissage par imitation interactive (IIL) permettait déjà d'affiner les politiques via des prises de contrôle humaines, mais son application aux mains robotiques multi-DOF se heurtait à un écart de commande critique : au moment où l'opérateur reprend la main, la configuration courante de la politique et celle de la téléopération divergent, générant des sauts de geste ("gesture jumps") brusques et déstabilisants. HandITL résout ce problème en interpolant de façon fluide l'intention corrective de l'opérateur avec l'exécution autonome en cours. Les chiffres publiés sont nets : réduction de 99,8 % du jitter lors des interventions, 87,5 % de défaillances de préhension en moins, temps moyen de complétion réduit de 19,1 %, et politiques affinées avec les données HandITL surpassant celles issues de la télé-opération standard de 19 % en moyenne sur trois tâches longues horizon. L'enjeu pour les équipes R&D et les intégrateurs est direct. Les VLA représentent aujourd'hui une piste sérieuse pour la généralisation des manipulateurs, mais leur déploiement opérationnel bute précisément sur l'accumulation d'erreurs dans les tâches contact-rich et multi-étapes, phénomène souvent désigné comme le "demo-to-reality gap". En rendant les interventions humaines non perturbantes, HandITL permet de collecter des données correctives de qualité pour le fine-tuning sans interrompre ni dégrader la trajectoire en cours. Cela modifie concrètement le rapport coût-utilité du human-in-the-loop pour des tâches de coordination bimanuelle ou d'utilisation d'outils nécessitant une précision millimétrique. La manipulation dextère à haute DOF reste l'un des défis les plus ouverts de la robotique généraliste. Des systèmes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) ont démontré la viabilité des VLA sur des préhenseurs standards, mais les benchmarks sur mains à multiples doigts restent rares. HandITL s'inscrit dans un courant qui vise à étendre ces résultats aux architectures de mains complexes, où les DOF supplémentaires multiplient les capacités mais aussi les modes d'échec. Des approches comme HITL-TAMP ou les travaux sur residual policy correction ont exploré un terrain proche, sans toutefois cibler la manipulation bimanuelle dextère dans sa dimension la plus contrainte. L'article ne mentionne aucun partenaire industriel ni déploiement terrain, ce qui maintient ce travail dans le registre de la preuve de concept académique. Les suites naturelles seraient une validation sur des plateformes commerciales comme l'Allegro Hand ou la LEAP Hand, ainsi qu'une intégration dans des boucles d'entraînement continu pour des tâches d'assemblage de précision.

RechercheOpinion
1 source
Modèles du monde à opérateurs de graphe pour la généralisation morphologie-paramètres en contrôle continu
4arXiv cs.RO 

Modèles du monde à opérateurs de graphe pour la généralisation morphologie-paramètres en contrôle continu

Une équipe de recherche publie sur arXiv (référence 2608.20936v1, soumission en cross-list) une nouvelle architecture baptisée Graph-Operator World Models, ou GraphOp-WM, destinée au contrôle continu de robots articulés. Le principe consiste à représenter le corps du robot et ses relations cinématiques sous forme de graphe attribué, puis à factoriser chaque transition dynamique en deux parties : une base de dynamique locale indépendante de la morphologie, et un opérateur structuré conditionné par la morphologie. Cet opérateur combine trois mécanismes : une modulation locale au niveau de chaque nœud, un couplage le long de l'arbre cinématique, et une correction globale de rang faible. Le modèle s'appuie aussi sur une séparation architecturale de l'information, une normalisation de la base de dynamique, et une supervision par paires de morphologies différentes, pour forcer la dépendance à la morphologie à transiter uniquement par le canal de l'opérateur. Une lecture au niveau du graphe et des représentations d'action par arête fournissent une interface compatible avec le calcul de récompense, de valeur et la planification de type TD-MPC. Les auteurs définissent des scénarios de test contrôlés sous MuJoCo, couvrant interpolation, extrapolation et compositions inédites de paramètres de géométrie des liaisons, de masse, d'amortissement et d'actionnement, sur trois environnements classiques : Hopper, Walker2d et HalfCheetah. Le problème visé est concret pour l'industrie robotique : les modèles du monde entraînés pour un système physique fixe se dégradent dès que des paramètres de morphologie connus, comme la longueur des liaisons, la masse, l'amortissement ou l'actionnement, changent, même légèrement. Or ces variations sont la norme en production, entre unités d'une même gamme, après usure mécanique, ou lors du passage d'un prototype à une variante commerciale. En séparant explicitement ce qui reste réutilisable de ce qui doit s'adapter à la morphologie, GraphOp-WM propose une piste pour réduire le réentraînement spécifique à chaque robot et généraliser au sein d'une famille de robots articulés apparentés, plutôt que de traiter chaque configuration matérielle comme un cas isolé. C'est un signal utile pour les intégrateurs et les équipes de R&D en apprentissage par renforcement qui gèrent des flottes hétérogènes ou des lignes de produits évolutives, même si l'article ne fournit à ce stade aucune validation sur robot réel. Ce travail reste, à ce stade, une contribution de recherche fondamentale, publiée en preprint sur arXiv sans laboratoire ni entreprise identifié dans le résumé, et validée uniquement en simulation via le moteur physique MuJoCo, un standard académique pour le contrôle continu, et non sur du matériel déployé. Il s'inscrit dans la lignée des modèles du monde couplés à la planification, dans la famille TD-MPC, et dans le courant plus large de recherche sur la généralisation inter-morphologies et le contrôle multi-corps, qui cherche à dépasser l'entraînement d'un modèle par robot spécifique. Aucun pilote industriel, aucune date de déploiement ni aucun partenaire commercial n'est mentionné : les prochaines étapes attendues sont la revue par les pairs et, potentiellement, l'extension des tests au-delà des trois environnements simulés Hopper, Walker2d et HalfCheetah vers des familles de robots plus larges ou vers un transfert sur matériel réel.

RecherchePaper
1 source