RecherchearXiv cs.RO3h

Reconnaissance gestuelle tactile par capteurs articulaires intégrés pour robots industriels

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2508.12435) une étude démontrant qu'un robot industriel peut reconnaître des gestes tactiles humains en exploitant uniquement ses capteurs articulaires intégrés, sans aucun capteur externe. Implémentée sur un bras Franka Emika Research (7 DOF), l'approche s'appuie sur des architectures CNN évaluées sur un dataset collecté spécifiquement pour l'expérience. Deux méthodes ont atteint plus de 95 % de précision en détection de contact et classification de gestes : STFT2DCNN, qui applique une transformée de Fourier à court terme pour générer des spectrogrammes 2D, et STT3DCNN, qui exploite des représentations temps-fréquence tridimensionnelles. La variable déterminante n'est pas le choix d'architecture CNN mais la représentation des données : passer des séries temporelles brutes aux spectrogrammes fait bondir les performances de façon significative.

L'implication industrielle est directe. Équiper un robot d'une peau tactile ou de caméras supplémentaires pour détecter l'intention humaine coûte cher, complexifie l'intégration et fragilise la maintenance. Prouver que les couples et positions articulaires déjà remontés par le contrôleur suffisent à atteindre 95 % de précision ouvre une voie de déploiement à coût quasi nul pour la collaboration homme-robot dans les cellules existantes. Les modèles spectraux montrent également une meilleure généralisation à de nouvelles configurations articulaires, ce qui est un signal positif pour des applications où le robot change fréquemment de posture de travail. Cela dit, les performances sont mesurées en laboratoire sur un seul modèle de robot et un dataset maison dont la taille et la diversité ne sont pas précisées dans l'abstract, ce qui invite à la prudence avant de conclure à une généralisation industrielle immédiate.

La reconnaissance tactile sans peau robotique est un chantier actif depuis plusieurs années, notamment dans les labos qui travaillent sur la conformance mécanique (robots cobots comme le Franka, UR, ou le Kinova). Des approches concurrentes s'appuient sur des capteurs de force-couple au poignet (ATI, Robotiq FT300), des peaux à électrodes capacitives, ou la vision RGB-D pour inférer l'intention de contact, chacune avec un surcoût matériel substantiel. Ce travail positionne les signaux proprioceptifs comme une alternative viable et souligne que le verrou n'est pas hardware mais algorithmique. Les prochaines étapes probables : validation sur d'autres plateformes (UR10, KUKA iiwa), extension à des gestes plus complexes, et tests en conditions industrielles réelles avec bruit vibratoire ambiant.

Impact France/UE

La validation s'appuie sur un bras Franka Emika (plateforme allemande dominante dans les labos et cellules cobots européens) : si confirmée sur d'autres plateformes, cette approche offrirait aux intégrateurs EU une voie de déploiement HRI à coût quasi nul sans capteurs supplémentaires.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Cinématique inverse intégrant actionneurs et limites articulaires pour robots redondants commandés en couple

Une équipe de recherche propose, dans un preprint arXiv (2605.31436) publié fin mai 2026, une méthode de cinématique inverse (IK) adaptée aux robots redondants commandés en couple, sous contraintes de butées articulaires. Le point de départ est un constat souvent ignoré dans les pipelines classiques : lorsqu'un contrôleur opère au niveau du couple (torque-level controller) plutôt qu'à celui de la vitesse, la commande de vitesse articulaire émise par le module IK n'est pas exécutée telle quelle. Un petit résidu de tâche commandé ne se traduit donc pas forcément par un mouvement effectif. La méthode reformule le problème comme un programme quadratique convexe dont la variable de décision est la vitesse articulaire "requise" plutôt que simplement "commandée". Les contraintes de butées sont imposées via des bornes de style Control Barrier Function (CBF), tandis que la tâche cartésienne est gérée par une variable de relâchement pénalisée. La redondance est résolue par un objectif de compatibilité avec le contrôleur aval, qui tient compte de la cohérence avec la commande précédente et de la capacité en couple de chaque actionneur. Les expériences sont conduites sur un exosquelette de membre supérieur à sept degrés de liberté, contrôlé par décomposition virtuelle (VDC). Le problème adressé est concret pour quiconque déploie des robots à commande en couple : les méthodes IK standard (pseudo-inverse jacobienne, QP de préservation de tâche) supposent implicitement que les vitesses commandées sont suivies fidèlement, ce qui n'est vrai qu'en commande en vitesse pure. En commande en couple, le contrôleur peut saturer, filtrer ou modifier la trajectoire articulaire, rendant les sorties IK classiques sous-optimales voire contre-productives. Les résultats montrent une réduction des commandes poussant les butées articulaires, des vitesses requises bornées dans la plage admissible, et un comportement de tâche réalisé amélioré, sans modifier le contrôleur aval. Pour les intégrateurs d'exosquelettes ou de robots collaboratifs torque-contrôlés, cela offre une couche IK intermédiaire drop-in, indépendante du contrôleur bas niveau. La cinématique inverse pour robots redondants est un problème canonique en robotique, avec des décennies de littérature autour de la pseudo-inverse de Jacobi et des QP sous contraintes. L'essor des robots à commande en couple, privilégiés pour la sécurité en interaction humain-robot, a mis en évidence la limite des pipelines IK hérités. L'utilisation des CBF pour la gestion des contraintes articulaires s'inscrit dans une tendance de recherche active depuis 2015, popularisée notamment par les travaux de l'École des Mines et de Georgia Tech. Du côté industriel, les applications directes concernent les exosquelettes de rééducation (Wandercraft en France avec l'Atalante, Ekso Bionics aux États-Unis) et les bras robotiques collaboratifs à sept axes (Franka, Kuka iiwa). Le travail reste un preprint non encore évalué par les pairs ; aucun déploiement ou partenariat industriel n'est annoncé à ce stade.

UELa méthode est directement applicable à Wandercraft (Atalante, France) et aux intégrateurs de cobots européens sur bras à commande en couple (Kuka iiwa), offrant une couche IK intermédiaire drop-in sans modifier le contrôleur bas niveau.

RecherchePaper

1 source

2arXiv cs.RO

Reconnaissance gestuelle multimodale interprétable pour la téléopération de drones et robots mobiles par fusion de rapports de vraisemblance

Une équipe de recherche a publié sur arXiv (réf. 2602.23694, troisième révision) un framework de reconnaissance gestuelle multimodale destiné à la téléopération sans contact physique de robots mobiles et de drones en environnements dangereux. Le système combine des données inertielles issues d'Apple Watches portées aux deux poignets -- accéléromètre, gyroscope et orientation -- avec des signaux de capacitance provenant de gants instrumentés développés spécifiquement pour l'étude. L'architecture repose sur une fusion tardive fondée sur le rapport de vraisemblance logarithmique (log-likelihood ratio, LLR), appliquée à un vocabulaire de 20 gestes distincts inspirés des signaux de balisage utilisés par les marshalls aéroportuaires. Les chercheurs publient simultanément un dataset synchronisant vidéo RGB, données IMU et capteurs capacitifs pour l'ensemble de ces 20 gestes. L'intérêt principal de cette approche réside dans sa robustesse face aux conditions qui font défaillir les systèmes purement visuels : occultations, variations d'éclairage, arrière-plans encombrés -- autant de contraintes courantes sur les sites industriels ou en zone de catastrophe. Les résultats expérimentaux indiquent des performances comparables à une baseline vision state-of-the-art, avec une empreinte computationnelle, une taille de modèle et un temps d'entraînement significativement réduits, ce qui le rend compatible avec du contrôle robotique temps réel. Le mécanisme LLR apporte également une propriété d'interprétabilité rare dans ce domaine : il quantifie la contribution de chaque modalité à la décision finale, ce qui peut intéresser les intégrateurs soumis à des exigences de traçabilité ou de certification. La téléopération par gestes fait l'objet d'une compétition active, notamment entre les approches EMG (électromyographie), les interfaces cerveau-machine et la reconnaissance visuelle pure. Ce travail positionne la fusion IMU-capacitance comme une alternative robuste et légère, sans nécessiter de caméra orientée vers l'opérateur. Il s'agit pour l'instant d'un preprint non encore évalué par les pairs, sans déploiement annoncé sur du matériel de production. Aucun partenaire industriel n'est mentionné, et les prochaines étapes logiques seraient une validation sur des robots commerciaux (AMR, drones quadrotors) dans des conditions terrain réelles, ainsi qu'une intégration avec des middlewares robotiques standards tels que ROS 2.

RecherchePaper

1 source

3arXiv cs.RO

Cadre de détection et reconnaissance des interactions humain-humain pour robots mobiles de service

Des chercheurs ont publié sur arXiv (référence 2602.22346) un framework de perception sociale destiné aux robots de service mobiles autonomes, comme les robots tondeuses ou les robots nettoyeurs opérant dans des espaces fréquentés par des humains. Le système repose sur une architecture en deux étapes : une première phase identifie les paires d'individus susceptibles d'interagir en s'appuyant uniquement sur des indices géométriques et de mouvement (positions relatives, trajectoires, orientations corporelles), puis une seconde phase classe le type d'interaction à l'aide d'un réseau relationnel (relation network). L'approche a été évaluée sur le dataset JRDB, benchmark de référence pour la perception sociale en robotique, ainsi que sur le Collective Activity Dataset (CAD) et, en évaluation zero-shot, sur un jeu de données collecté directement par une tondeuse autonome en conditions réelles. L'enjeu est concret pour les intégrateurs de robots de service : détecter qu'un groupe de personnes interagit entre elles, qu'il s'agisse d'une discussion, d'un attroupement ou d'une interaction dynamique, permet au robot de planifier une trajectoire socialement acceptable sans interrompre ni gêner ces échanges. Les approches existantes reposent souvent sur des modèles de reconnaissance d'activité de groupe qui mobilisent des réseaux d'analyse visuelle coûteux en calcul, inadaptés aux plateformes embarquées à ressources limitées. Ce framework démontre que des indices géométriques simples suffisent à obtenir des performances compétitives tout en réduisant significativement la taille du modèle et le coût computationnel. Ce résultat remet en question l'hypothèse largement répandue selon laquelle l'analyse visuelle par apparence serait indispensable pour ce type de tâche de perception sociale. Ce travail s'inscrit dans le champ de la navigation socialement consciente (socially aware navigation), où des frameworks comme SARL, CrowdNav ou ORCA constituent les références historiques. Le dataset JRDB, produit par Stanford, reste le principal benchmark pour ce type de tâche en environnement robotique réel. Le code est publié en open source, ce qui facilitera son intégration dans des pipelines ROS existants. La limite notable est que l'évaluation porte sur des interactions coarse-grained, c'est-à-dire des catégories comportementales larges plutôt que des gestes fins, ce qui suffit pour la navigation mais exclut les applications nécessitant une compréhension sociale plus granulaire. La prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes réelles déployées en environnements semi-publics, comme des aéroports, des centres commerciaux ou des entrepôts à occupation mixte.

RecherchePaper

1 source

4arXiv cs.RO

Système de capteurs tactiles capacitifs conçu pour les robots compagnons

Des chercheurs ont publié sur arXiv (référence 2606.25348) un système de captation tactile à capacitance propre (self-capacitance) conçu pour les robots humanoïdes compagnons. L'architecture repose sur une unique couche de tissu conducteur avec un réseau de fils conducteurs, sans nécessiter de gravure d'électrodes complexe. La faisabilité a été démontrée par la fabrication d'un réseau de 100 points de mesure sur un circuit imprimé flexible (FPC). Les tests menés à différentes fréquences d'échantillonnage établissent que 10 Hz sont insuffisants et ratent les événements transitoires, alors que 100 Hz et 1 000 Hz permettent de distinguer fidèlement quatre types d'interactions : toucher léger, tapotement lent, tapotement rapide et impact. Un classifieur à arbre de décision est exécuté directement sur un FPGA, déchargeant le Raspberry Pi 4 embarqué de toute inférence temps réel, avec une latence minimale et une consommation électrique négligeable. Le système est dimensionné pour le robot HIRO-chan. L'intérêt technique de cette approche réside dans sa réponse directe aux trois verrous classiques de la peau artificielle : la complexité de fabrication (structures multicouches, câblage dense), le coût unitaire et l'incapacité à passer à l'échelle vers une couverture corporelle complète. En déléguant l'inférence au FPGA plutôt qu'au processeur principal, les auteurs résolvent également le problème de charge de calcul qui freine l'intégration tactile dans les plateformes à ressources contraintes. Pour les intégrateurs, la démonstration d'un tableau 100 points sur FPC souple est un signal concret : la fabrication de peaux tactiles denses devient accessible sans processus de photolithographie fin. HIRO-chan est un robot humanoïde compagnon d'origine japonaise, positionné sur les usages de proximité sociale plutôt que sur la manipulation industrielle. L'article reste un preprint académique et ne constitue pas une annonce produit ni un déploiement commercial. Le domaine de la peau artificielle voit plusieurs approches en compétition : capteurs piézoélectriques (BioTac, SynTouch), réseaux de capteurs optiques (MIT CSAIL, Meta FAIR), et systèmes à base de matériaux conducteurs élastiques comme celui proposé ici. La capacitance propre se distingue par sa simplicité de lecture mais reste sensible aux interférences électromagnétiques en environnement industriel. Les prochaines étapes logiques seraient une validation sur couverture corporelle partielle et des tests en conditions d'utilisation réelle avec des utilisateurs humains.

RecherchePaper

1 source