Aller au contenu principal
RecherchearXiv cs.RO 

Estimation de la pose d'un robot quadrupède par rapport à la caméra à partir d'images séquentielles

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent QuadPose, une méthode qui estime la pose complète d'un robot quadrupède à partir d'une simple vidéo monoculaire, et QuadSyn, présenté comme le premier benchmark public dédié à l'estimation de pose caméra-vers-robot quadrupède. QuadPose reconstruit 18 degrés de liberté: la pose de la base (6 DOF) et les angles des 12 articulations des pattes. Sur QuadSyn, le système atteint 92,18 % de PCK@2,5 px (part de points clés localisés à moins de 2,5 pixels de la vérité terrain), 95,54 % de PCK-AUC, 85,94 % d'ADD@20 cm (erreur moyenne de position du modèle 3D sous 20 cm), 66,98 % d'ADD-AUC et une erreur moyenne de 3,65 degrés sur les angles articulaires, à environ 33 images par seconde, soit une cadence compatible avec le temps réel.

L'enjeu est très concret pour les exploitants de robots à pattes déployés en inspection d'installations ou en intervention après sinistre. Dans ces environnements, la supervision par caméra externe sert à vérifier que le robot se comporte comme prévu, à diagnostiquer une chute ou un blocage, et à suivre sa posture sans dépendre uniquement de ses capteurs embarqués, qui peuvent être défaillants ou faussés. Le problème est plus difficile que pour un objet rigide: les pattes bougent, se ressemblent par symétrie et se masquent entre elles, ce qui rend l'association des points clés ambiguë. Il faut toutefois rester prudent: QuadSyn étant synthétique d'après son nom, et ses résultats provenant des auteurs eux-mêmes, rien ne dit encore comment la méthode se comporte avec des caméras réelles, un éclairage dégradé, de la poussière ou de la fumée. L'écart entre simulation et réalité reste donc la vraie question. Le seuil d'ADD à 20 cm est aussi assez tolérant, et le score ADD-AUC de 66,98 % montre que la précision fine de la position reste nettement moins bonne que celle des points clés dans l'image.

Ce travail comble un manque: faute de jeu de données public, les approches existantes ne pouvaient pas être comparées quantitativement, et la littérature sur la pose de robots articulés se concentrait surtout sur les bras manipulateurs. Les quadrupèdes industriels comme Spot de Boston Dynamics, ANYmal d'ANYbotics (Suisse) ou les modèles d'Unitree ont multiplié les déploiements d'inspection, ce qui rend ce type de suivi externe de plus en plus utile. La suite logique serait une validation sur des séquences réelles, avec plusieurs plateformes et plusieurs caméras, avant toute intégration dans des outils de supervision. Aucun calendrier de pilote ni de publication du code n'est mentionné à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

À lire aussi

Estimation des états dynamiques d'un robot à continuum souple à partir de ses limites
1arXiv cs.RO 

Estimation des états dynamiques d'un robot à continuum souple à partir de ses limites

Des chercheurs en robotique publient une nouvelle méthode d'estimation d'état pour les robots à corps continu souples, dans une version révisée (v3) d'un article déposé sur arXiv. Le problème traité : ces robots ont des états (poses, déformations, efforts internes, vitesses) intrinsèquement de dimension infinie du fait de leur déformabilité continue, alors que les capteurs ne fournissent que des mesures discrètes. Une méthode récente, l'observateur de frontière (boundary observer), utilise la théorie des tiges de Cosserat pour reconstruire l'ensemble de ces états à partir de la vitesse mesurée en bout de robot, captée en général par un système de capture de mouvement externe. L'équipe propose ici une conception duale : plutôt que la vitesse en bout, elle mesure l'effort interne (wrench) à la base du robot, avec un simple capteur de force/couple. Les deux familles d'observateurs, fondées sur des principes de dissipation d'énergie, peuvent être combinées. Une analyse basée sur la théorie de Lyapunov montre que la vitesse de convergence s'améliore puis se dégrade quand les gains de l'observateur augmentent, une tendance convexe qui permet un réglage efficace des paramètres. Les auteurs identifient aussi des cas où états linéaires et angulaires se déterminent mutuellement, réduisant encore le besoin de capteurs. Les essais, en simulation et sur un robot continu actionné par tendons, valident la convergence en mouvements dynamiques rapides, l'existence de gains optimaux, la robustesse au bruit de mesure, aux forces externes et aux incertitudes de modèle, ainsi que des performances de calcul temps réel. Pour l'industrie de la robotique souple, l'apport pratique est concret : remplacer un système de capture de mouvement externe, coûteux, encombrant et limité à un espace calibré, par un simple capteur de force/couple embarqué à la base réduit le coût et la complexité d'installation, et ouvre la voie à des déploiements hors laboratoire, en environnement industriel confiné, en chirurgie mini-invasive ou en inspection. C'est aussi une réponse à un doute récurrent du secteur : peut-on estimer en continu et en temps réel l'état complet d'un robot souple sans instrumentation lourde. Les résultats, avec règle de réglage de gain systématique et calcul temps réel démontré, suggèrent que oui, au moins pour cette classe de robots à tendons, même si l'étude reste validée en simulation et sur un seul prototype expérimental, loin d'un système intégré prêt à l'emploi. Ces travaux prolongent directement l'observateur de frontière initial, qui s'appuyait déjà sur la théorie des tiges de Cosserat mais imposait une mesure de vitesse en bout de robot, donc un dispositif de capture de mouvement externe. En proposant une version duale reposant sur un capteur de force/couple à la base, les auteurs suppriment cette contrainte et élargissent le champ d'application aux configurations où un mocap est impraticable. L'article ne mentionne aucun partenariat industriel ni calendrier de transfert vers un produit commercial ; pour ce type de travaux académiques, les suites attendues sont l'extension à des robots multi-segments ou à actionnement pneumatique, et des essais en conditions réelles au-delà du banc de laboratoire.

RecherchePaper
1 source
Estimation de la pose 6-DOF d'un objet à partir d'un seul contact tactile
2arXiv cs.RO 

Estimation de la pose 6-DOF d'un objet à partir d'un seul contact tactile

Une équipe de recherche publie sur arXiv (réf. 2606.28899) YOTO, pour "You Only Touch Once", un système d'estimation de pose 6-DoF fondé exclusivement sur le toucher. Contrairement aux approches visuelles classiques, YOTO reconstruit la position et l'orientation complète d'un objet à partir d'une seule paire de contacts tactiles simultanés, sans nécessiter d'historique de manipulation. Chaque contact est modélisé comme un nuage de points 3D local, puis localisé sur la surface de l'objet par un réseau coarse-to-fine. Les deux contacts localisés, combinés aux poses calibrées des capteurs, alimentent un solveur SVD en forme fermée, conscient des normales de surface, qui restitue la pose 6-DoF en une seule passe. Le réseau est préentraîné sur des patches tactiles virtuels générés depuis le modèle 3D de l'objet, puis affiné avec un petit nombre de contacts réels, réduisant significativement les besoins en données terrain. Les expériences portent sur quatre objets aux géométries variées avec des capteurs GelSight, et incluent une évaluation comparative entre reconstructions issues de scans mobiles grand public et modèles CAO de référence. Ce travail s'attaque à un angle mort bien documenté de la manipulation robotique : les méthodes visuelles de pose estimation échouent systématiquement en cas d'occlusion, d'éclairage défavorable, ou face à des surfaces réfléchissantes et transparentes, conditions courantes en environnement industriel réel. L'approche à contact unique sans historique constitue un avantage pratique majeur, car elle élimine les séquences d'exploration multi-contacts et s'intègre dans des boucles de manipulation courtes. YOTO surpasse les baselines visuelles et géométriques testées dans les scénarios où la perception visuelle est dégradée. La compatibilité avec des scans mobiles plutôt que des modèles CAO précis abaisse la barrière d'intégration pour des objets non catalogués, un point non négligeable pour les intégrateurs industriels. L'estimation de pose par capteurs tactiles de type GelSight est un axe de recherche actif depuis les travaux pionniers du MIT et de l'entreprise éponyme GelSight Inc. Les méthodes antérieures nécessitaient généralement plusieurs contacts successifs ou un historique de manipulation pour converger ; YOTO rompt avec cette contrainte. Sur le plan compétitif, les pipelines visuels basés sur des modèles de fondation (MegaPose, FoundPose, benchmarks BOP) restent dominants en conditions nominales, mais leur robustesse aux surfaces dégradées est limitée, c'est précisément là que le toucher devient complémentaire. Le code, les modèles entraînés et le jeu de données GelSight seront publiés à l'acceptation de l'article. À ce stade, il s'agit d'un preprint arXiv sans déploiement annoncé ni partenaire industriel identifié.

RecherchePaper
1 source
Estimation de pose 3D in situ par capteurs magnétiques et fusion IMU pour un robot continu modulaire souple à câbles
3arXiv cs.RO 

Estimation de pose 3D in situ par capteurs magnétiques et fusion IMU pour un robot continu modulaire souple à câbles

Une équipe de chercheurs propose, dans un preprint arXiv (2609.39950v1), une méthode de capteurs embarqués pour estimer la configuration 3D d'un robot continu souple à câbles (tendon-driven) et modulaire, sans caméra externe. Le système associe des centrales inertielles (IMU) et des champs magnétiques actifs. Les mesures angulaires des IMU sont fusionnées avec les références magnétiques afin d'affiner l'orientation locale de chaque segment et de limiter la dérive qui s'accumule en cours d'usage. L'estimation tourne à 16,7 Hz, une cadence suffisante pour un retour en temps réel. La validation repose sur une boucle fermée : la configuration estimée sert à maintenir l'effecteur à une position cible pendant qu'il interagit avec un objet. Le résumé ne donne ni précision de position, ni erreur angulaire, ni nombre de segments, ni comparaison chiffrée avec un système de capture de mouvement. Il s'agit d'un résultat de laboratoire, pas d'un produit ni d'un déploiement. L'enjeu est un verrou connu des robots continus : leur déformation continue rend la configuration difficile à reconstruire, et l'on compte d'ordinaire sur la vision externe, qui devient inutilisable dès que la scène est occultée. C'est le cas en chirurgie mini-invasive, en inspection de cavités ou en manipulation dans des espaces encombrés. Une proprioception intégrée au corps du robot, sans infrastructure de suivi, rapprocherait ces systèmes d'un usage hors laboratoire. La modularité compte aussi, car des capteurs répartis peuvent suivre l'ajout ou le retrait de segments. Deux réserves s'imposent. 16,7 Hz reste modeste pour des mouvements rapides ou des contacts dynamiques. Et les champs magnétiques actifs sont sensibles aux perturbations de leur environnement, notamment les pièces ferromagnétiques et les moteurs : c'est un point à vérifier hors d'un banc d'essai contrôlé, par exemple en atelier industriel ou en bloc opératoire. Ce travail s'inscrit dans une littérature déjà large sur l'estimation de forme des robots souples, qui s'appuie sur des fibres optiques à réseaux de Bragg (FBG), des capteurs résistifs ou capacitifs souples, des aimants avec magnétomètres, ou de la vision. Chaque approche a ses limites : coût et fragilité pour les fibres, dérive et hystérésis pour les capteurs souples, occultation pour la caméra. L'IMU seule dérive, notamment en lacet, et la référence magnétique sert précisément à corriger ce défaut. Les prochaines étapes à surveiller sont une validation chiffrée contre une référence externe, des essais sur des trajectoires plus rapides et sous perturbation magnétique, puis une intégration dans des applications médicales ou d'inspection. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Système de téléopération à contrôle partagé par vision pour le bras robotique d'un robot quadrupède
4arXiv cs.RO 

Système de téléopération à contrôle partagé par vision pour le bras robotique d'un robot quadrupède

Des chercheurs ont publié sur arXiv (identifiant 2508.14994, troisième révision) un système de téleopération à contrôle partagé pour un robot quadrupède équipé d'un bras manipulateur, ciblant les environnements dangereux ou inaccessibles. Le principe : une caméra externe couplée à un modèle d'apprentissage automatique détecte la position du poignet de l'opérateur en temps réel, puis traduit ces mouvements en commandes directes pour le bras robotique. Un planificateur de trajectoire intégré assure la sécurité en détectant et bloquant les collisions potentielles avec les obstacles environnants, ainsi que les auto-collisions entre le bras et le châssis du robot. Le système a été validé sur un robot physique réel, pas uniquement en simulation. Il s'agit d'un preprint académique, pas d'un produit commercialisé. Ce travail adresse un verrou connu dans l'intégration industrielle des robots à pattes : les interfaces joystick ou manette exigent un niveau d'expertise élevé et génèrent une charge cognitive importante pour l'opérateur, augmentant le risque de collision dans des espaces confinés ou dynamiques. En mappant directement les gestes naturels du bras humain vers le bras du robot, l'approche réduit la barrière à l'entrée et pourrait accélérer le déploiement de plateformes comme le Boston Dynamics Spot ARM ou l'ANYmal d'ANYbotics dans des scénarios d'inspection ou de maintenance à risque. La solution revendique un faible coût d'implémentation, ne nécessitant qu'une caméra standard plutôt qu'un équipement de capture de mouvement dédié ou un retour haptique coûteux. La téleopération de robots locomoteurs reste un champ en compétition dense. Les approches concurrentes incluent la commande par réalité virtuelle (Boston Dynamics, Apptronik), les exosquelettes (Sarcos, Shadow Robot) et les interfaces à vision stéréo immersive. Du côté académique, les modèles Visual-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent à réduire ou éliminer la téleopération au profit de l'autonomie embarquée. Ce travail se positionne dans une niche différente : augmenter la sécurité et l'intuitivité du contrôle humain plutôt que de le remplacer. Les prochaines étapes, non détaillées dans le preprint, concerneraient typiquement des tests de robustesse en conditions dégradées (faible luminosité, poussière) et une évaluation comparative des temps de cycle opérateur face aux interfaces existantes.

RecherchePaper
1 source