RecherchearXiv cs.RO 30 juin 2026

Reconnaissance gestuelle tactile par capteurs articulaires intégrés pour robots industriels

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2508.12435) une étude démontrant qu'un robot industriel peut reconnaître des gestes tactiles humains en exploitant uniquement ses capteurs articulaires intégrés, sans aucun capteur externe. Implémentée sur un bras Franka Emika Research (7 DOF), l'approche s'appuie sur des architectures CNN évaluées sur un dataset collecté spécifiquement pour l'expérience. Deux méthodes ont atteint plus de 95 % de précision en détection de contact et classification de gestes : STFT2DCNN, qui applique une transformée de Fourier à court terme pour générer des spectrogrammes 2D, et STT3DCNN, qui exploite des représentations temps-fréquence tridimensionnelles. La variable déterminante n'est pas le choix d'architecture CNN mais la représentation des données : passer des séries temporelles brutes aux spectrogrammes fait bondir les performances de façon significative.

L'implication industrielle est directe. Équiper un robot d'une peau tactile ou de caméras supplémentaires pour détecter l'intention humaine coûte cher, complexifie l'intégration et fragilise la maintenance. Prouver que les couples et positions articulaires déjà remontés par le contrôleur suffisent à atteindre 95 % de précision ouvre une voie de déploiement à coût quasi nul pour la collaboration homme-robot dans les cellules existantes. Les modèles spectraux montrent également une meilleure généralisation à de nouvelles configurations articulaires, ce qui est un signal positif pour des applications où le robot change fréquemment de posture de travail. Cela dit, les performances sont mesurées en laboratoire sur un seul modèle de robot et un dataset maison dont la taille et la diversité ne sont pas précisées dans l'abstract, ce qui invite à la prudence avant de conclure à une généralisation industrielle immédiate.

La reconnaissance tactile sans peau robotique est un chantier actif depuis plusieurs années, notamment dans les labos qui travaillent sur la conformance mécanique (robots cobots comme le Franka, UR, ou le Kinova). Des approches concurrentes s'appuient sur des capteurs de force-couple au poignet (ATI, Robotiq FT300), des peaux à électrodes capacitives, ou la vision RGB-D pour inférer l'intention de contact, chacune avec un surcoût matériel substantiel. Ce travail positionne les signaux proprioceptifs comme une alternative viable et souligne que le verrou n'est pas hardware mais algorithmique. Les prochaines étapes probables : validation sur d'autres plateformes (UR10, KUKA iiwa), extension à des gestes plus complexes, et tests en conditions industrielles réelles avec bruit vibratoire ambiant.

Impact France/UE

La validation s'appuie sur un bras Franka Emika (plateforme allemande dominante dans les labos et cellules cobots européens) : si confirmée sur d'autres plateformes, cette approche offrirait aux intégrateurs EU une voie de déploiement HRI à coût quasi nul sans capteurs supplémentaires.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Calibration des offsets articulaires des membres inférieurs par contraintes de contact pour robots humanoïdes

Une méthode de calibration des décalages d'encodeurs articulaires pour les jambes de robots humanoïdes, sans capture de mouvement externe ni cibles fiduciaires, est détaillée dans un preprint arXiv (2609.02306v2, version corrigée). Le système utilise uniquement les encodeurs embarques et une IMU montée sur le bassin lors de phases d'appui bipodal statique, pieds fixes au sol. La dispersion posturale de la transformation cinématique entre les pieds est minimisée via un problème de moindres carres non linéaires sur 12 paramètres de décalage. Une analyse de la structure du Hessien montre que les axes de tangage parallèles induisent un couplage rotationnel, observable uniquement via la somme des décalages de tangage. Testee par simulation et par injection réelle sur deux plateformes, A2 et A3, la méthode réduit l'erreur RMS de hauteur du pied de 8,03 a 1,43 mm sur A2 et de 4,26 a 2,20 mm sur A3, résultat confirme par une référence LiDAR-inertielle indépendante. Cette contribution vise un verrou pratique du déploiement industriel des humanoïdes: la calibration cinématique des jambes, aujourd'hui dépendante d'infrastructures de capture de mouvement couteuses et confinées au laboratoire. Une méthode auto-suffisante, ne requérant que quelques postures d'appui bipodal, pourrait réduire le temps et le cout de mise en service de flottes déployées hors labo, chez un intégrateur ou sur site industriel. Elle illustre surtout que la fiabilité des humanoïdes repose sur des briques d'ingénierie peu visibles, loin des démonstrations de marche mises en avant par les fabricants. Les auteurs restent transparents sur les limites: dans la chaine de tangage faiblement observable, les décalages individuels restent dépendants d'un a priori impose au genou, non entièrement résolus par la seule excitation des mouvements. Les méthodes existantes de calibration des membres inférieurs s'appuient généralement sur des systèmes optiques ou des marqueurs externes, couteux et difficiles a déployer hors environnement contrôle. Les auteurs exploitent l'ordre cinématique spécifique de la hanche sur la plateforme A3, tangage puis roulis puis lacet, et montrent que l'excitation des axes de roulis et de lacet réduit le couplage avec le tangage de hanche. Publie en version corrigée sur arXiv, le travail relève de la recherche académique plutôt que de l'annonce commerciale, sans partenaire industriel ni calendrier de déploiement précise. Il s'inscrit dans les efforts visant a fiabiliser la locomotion bipède, alors que des acteurs comme Figure, Tesla ou Unitree cherchent a faire passer les humanoïdes de la démonstration au déploiement a grande échelle.

RecherchePaper

1 source

2arXiv cs.RO

Cinématique inverse intégrant actionneurs et limites articulaires pour robots redondants commandés en couple

Une équipe de recherche propose, dans un preprint arXiv (2605.31436) publié fin mai 2026, une méthode de cinématique inverse (IK) adaptée aux robots redondants commandés en couple, sous contraintes de butées articulaires. Le point de départ est un constat souvent ignoré dans les pipelines classiques : lorsqu'un contrôleur opère au niveau du couple (torque-level controller) plutôt qu'à celui de la vitesse, la commande de vitesse articulaire émise par le module IK n'est pas exécutée telle quelle. Un petit résidu de tâche commandé ne se traduit donc pas forcément par un mouvement effectif. La méthode reformule le problème comme un programme quadratique convexe dont la variable de décision est la vitesse articulaire "requise" plutôt que simplement "commandée". Les contraintes de butées sont imposées via des bornes de style Control Barrier Function (CBF), tandis que la tâche cartésienne est gérée par une variable de relâchement pénalisée. La redondance est résolue par un objectif de compatibilité avec le contrôleur aval, qui tient compte de la cohérence avec la commande précédente et de la capacité en couple de chaque actionneur. Les expériences sont conduites sur un exosquelette de membre supérieur à sept degrés de liberté, contrôlé par décomposition virtuelle (VDC). Le problème adressé est concret pour quiconque déploie des robots à commande en couple : les méthodes IK standard (pseudo-inverse jacobienne, QP de préservation de tâche) supposent implicitement que les vitesses commandées sont suivies fidèlement, ce qui n'est vrai qu'en commande en vitesse pure. En commande en couple, le contrôleur peut saturer, filtrer ou modifier la trajectoire articulaire, rendant les sorties IK classiques sous-optimales voire contre-productives. Les résultats montrent une réduction des commandes poussant les butées articulaires, des vitesses requises bornées dans la plage admissible, et un comportement de tâche réalisé amélioré, sans modifier le contrôleur aval. Pour les intégrateurs d'exosquelettes ou de robots collaboratifs torque-contrôlés, cela offre une couche IK intermédiaire drop-in, indépendante du contrôleur bas niveau. La cinématique inverse pour robots redondants est un problème canonique en robotique, avec des décennies de littérature autour de la pseudo-inverse de Jacobi et des QP sous contraintes. L'essor des robots à commande en couple, privilégiés pour la sécurité en interaction humain-robot, a mis en évidence la limite des pipelines IK hérités. L'utilisation des CBF pour la gestion des contraintes articulaires s'inscrit dans une tendance de recherche active depuis 2015, popularisée notamment par les travaux de l'École des Mines et de Georgia Tech. Du côté industriel, les applications directes concernent les exosquelettes de rééducation (Wandercraft en France avec l'Atalante, Ekso Bionics aux États-Unis) et les bras robotiques collaboratifs à sept axes (Franka, Kuka iiwa). Le travail reste un preprint non encore évalué par les pairs ; aucun déploiement ou partenariat industriel n'est annoncé à ce stade.

UELa méthode est directement applicable à Wandercraft (Atalante, France) et aux intégrateurs de cobots européens sur bras à commande en couple (Kuka iiwa), offrant une couche IK intermédiaire drop-in sans modifier le contrôleur bas niveau.

RecherchePaper

1 source

3arXiv cs.RO

Reconnaissance gestuelle multimodale interprétable pour la téléopération de drones et robots mobiles par fusion de rapports de vraisemblance

Une équipe de recherche a publié sur arXiv (réf. 2602.23694, troisième révision) un framework de reconnaissance gestuelle multimodale destiné à la téléopération sans contact physique de robots mobiles et de drones en environnements dangereux. Le système combine des données inertielles issues d'Apple Watches portées aux deux poignets -- accéléromètre, gyroscope et orientation -- avec des signaux de capacitance provenant de gants instrumentés développés spécifiquement pour l'étude. L'architecture repose sur une fusion tardive fondée sur le rapport de vraisemblance logarithmique (log-likelihood ratio, LLR), appliquée à un vocabulaire de 20 gestes distincts inspirés des signaux de balisage utilisés par les marshalls aéroportuaires. Les chercheurs publient simultanément un dataset synchronisant vidéo RGB, données IMU et capteurs capacitifs pour l'ensemble de ces 20 gestes. L'intérêt principal de cette approche réside dans sa robustesse face aux conditions qui font défaillir les systèmes purement visuels : occultations, variations d'éclairage, arrière-plans encombrés -- autant de contraintes courantes sur les sites industriels ou en zone de catastrophe. Les résultats expérimentaux indiquent des performances comparables à une baseline vision state-of-the-art, avec une empreinte computationnelle, une taille de modèle et un temps d'entraînement significativement réduits, ce qui le rend compatible avec du contrôle robotique temps réel. Le mécanisme LLR apporte également une propriété d'interprétabilité rare dans ce domaine : il quantifie la contribution de chaque modalité à la décision finale, ce qui peut intéresser les intégrateurs soumis à des exigences de traçabilité ou de certification. La téléopération par gestes fait l'objet d'une compétition active, notamment entre les approches EMG (électromyographie), les interfaces cerveau-machine et la reconnaissance visuelle pure. Ce travail positionne la fusion IMU-capacitance comme une alternative robuste et légère, sans nécessiter de caméra orientée vers l'opérateur. Il s'agit pour l'instant d'un preprint non encore évalué par les pairs, sans déploiement annoncé sur du matériel de production. Aucun partenaire industriel n'est mentionné, et les prochaines étapes logiques seraient une validation sur des robots commerciaux (AMR, drones quadrotors) dans des conditions terrain réelles, ainsi qu'une intégration avec des middlewares robotiques standards tels que ROS 2.

RecherchePaper

1 source

4arXiv cs.RO

GelNeuro : un système tactile neuromorphique intégrant détection et calcul pour la reconnaissance de textures

Une équipe de recherche a présenté GelNeuro, un système tactile neuromorphique entièrement intégré combinant un capteur optique GelSight Mini avec la puce neuromorphique Speck2f. Contrairement aux systèmes existants qui dépendent d'un ordinateur hôte pour lire, prétraiter ou relayer les données avant inférence, GelNeuro traite tout directement sur puce : les mouvements des marqueurs induits par le contact sont capturés sous forme d'événements par un capteur de vision dynamique (DVS), puis acheminés via le réseau embarqué vers un classificateur à réseau de neurones convolutif à impulsions (SCNN). Pour limiter la perte de précision lors du déploiement en 8 bits, les chercheurs ont introduit une stratégie de bridage des poids adaptée au matériel (hardware-aware weight clamping). Testé en conditions réelles sur puce physique pour une tâche de reconnaissance de 15 classes de textures naturelles, le système atteint 96,3% de précision avec une fenêtre d'inférence de seulement 80 millisecondes, tout en ne consommant que 19,6 mW de puissance active au niveau carte. Cette consommation représente plus de trois ordres de grandeur de moins que les architectures CPU/GPU classiques évaluées sur le même benchmark, ce qui change la donne pour l'intégration de perception tactile fine sur des plateformes embarquées à budget énergétique serré, comme les mains robotiques, les préhenseurs ou les capteurs distribués sur des robots mobiles. Le résultat appuie une thèse plus large du secteur neuromorphique : que le traitement événementiel de bout en bout, du capteur à la puce, peut remplacer les pipelines classiques gourmands en calcul sans sacrifier la précision, du moins sur des tâches de classification tactile bien définies. GelNeuro montre aussi une bonne généralisation face à des profondeurs de contact non vues à l'entraînement, un point clé pour une utilisation en conditions réelles variables. Ce travail s'inscrit dans la lignée des efforts récents pour rapprocher capteur et calcul, un axe déjà exploré par les puces Speck de SynSense et les capteurs optiques tactiles GelSight, tous deux largement utilisés dans la recherche en robotique manipulatrice. La prochaine étape naturelle serait une validation sur des tâches de manipulation en boucle fermée plutôt que sur la seule classification de textures, ainsi qu'une intégration physique complète dans une main ou un doigt robotique.

RecherchePaper

1 source