Aller au contenu principal
Reconstruction de robots à structure continue par recalage de forme sans marqueurs à partir d'images, via un modèle cinématiqueIllustration générée par IA
RecherchearXiv cs.RO 

Reconstruction de robots à structure continue par recalage de forme sans marqueurs à partir d'images, via un modèle cinématique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un algorithme de reconstruction de forme pour robots continus, décrit dans une version mise à jour d'un article déposé sur arXiv (arXiv:2405.15336v2), reconstruit la courbe tridimensionnelle du squelette de ces manipulateurs souples directement à partir d'images, sans marqueurs physiques. La méthode ajuste une courbe paramétrique aux pixels du robot détectés dans un pipeline photogrammétrique classique, sans connaître a priori sa position dans l'image. Sur la majorité des configurations testées, l'écart entre la reconstruction et la vérité terrain reste inférieur à 1 mm, soit 0,67% de la longueur du robot. Sur des robots continus réels à tubes concentriques, les résultats concordent avec dix mesures manuelles de référence prises sur 18 configurations différentes, et le pipeline automatisé traite chaque configuration en environ 0,5 seconde.

Cette avancée cible un problème concret pour les concepteurs de robots continus, utilisés en aérospatiale, en inspection industrielle et en chirurgie mini-invasive: les modèles physiques seuls prédisent mal la déformation réelle du squelette, ce qui oblige à mesurer précisément la forme obtenue pour valider ces modèles et constituer des jeux de données de référence. Remplacer une procédure manuelle et lente par un pipeline automatisé de l'ordre de la demi-seconde par configuration accélère significativement les cycles de validation en laboratoire, sans nécessiter de marqueurs qui seraient difficiles à poser ou à observer dans des espaces confinés et courbes, typiques de ces applications. Il s'agit toutefois d'un résultat de recherche mesuré en conditions contrôlées, pas d'un produit commercial déployé.

Les robots continus, structures fines et flexibles inspirées des tentacules ou des trompes, gagnent du terrain face aux manipulateurs rigides classiques précisément parce qu'ils naviguent dans des environnements encombrés inaccessibles autrement, notamment via des robots à tubes concentriques insérés par de petites incisions en chirurgie. Les approches historiques de mesure de forme reposent sur des capteurs embarqués, des fibres optiques ou un suivi manuel par marqueurs, chacune avec ses limites de coût, d'encombrement ou d'occlusion. Publié sans affiliation industrielle ni site de déploiement mentionnés, ce travail s'adresse aux laboratoires de robotique et de dispositifs médicaux en quête d'outils de validation plus rapides, sans annonce de pilote ni de calendrier de transfert vers l'industrie.

Dans nos dossiers

À lire aussi

Estimation de pose 3D in situ par capteurs magnétiques et fusion IMU pour un robot continu modulaire souple à câbles
Illustration générée par IA
1arXiv cs.RO 

Estimation de pose 3D in situ par capteurs magnétiques et fusion IMU pour un robot continu modulaire souple à câbles

Une équipe de chercheurs propose, dans un preprint arXiv (2609.39950v1), une méthode de capteurs embarqués pour estimer la configuration 3D d'un robot continu souple à câbles (tendon-driven) et modulaire, sans caméra externe. Le système associe des centrales inertielles (IMU) et des champs magnétiques actifs. Les mesures angulaires des IMU sont fusionnées avec les références magnétiques afin d'affiner l'orientation locale de chaque segment et de limiter la dérive qui s'accumule en cours d'usage. L'estimation tourne à 16,7 Hz, une cadence suffisante pour un retour en temps réel. La validation repose sur une boucle fermée : la configuration estimée sert à maintenir l'effecteur à une position cible pendant qu'il interagit avec un objet. Le résumé ne donne ni précision de position, ni erreur angulaire, ni nombre de segments, ni comparaison chiffrée avec un système de capture de mouvement. Il s'agit d'un résultat de laboratoire, pas d'un produit ni d'un déploiement. L'enjeu est un verrou connu des robots continus : leur déformation continue rend la configuration difficile à reconstruire, et l'on compte d'ordinaire sur la vision externe, qui devient inutilisable dès que la scène est occultée. C'est le cas en chirurgie mini-invasive, en inspection de cavités ou en manipulation dans des espaces encombrés. Une proprioception intégrée au corps du robot, sans infrastructure de suivi, rapprocherait ces systèmes d'un usage hors laboratoire. La modularité compte aussi, car des capteurs répartis peuvent suivre l'ajout ou le retrait de segments. Deux réserves s'imposent. 16,7 Hz reste modeste pour des mouvements rapides ou des contacts dynamiques. Et les champs magnétiques actifs sont sensibles aux perturbations de leur environnement, notamment les pièces ferromagnétiques et les moteurs : c'est un point à vérifier hors d'un banc d'essai contrôlé, par exemple en atelier industriel ou en bloc opératoire. Ce travail s'inscrit dans une littérature déjà large sur l'estimation de forme des robots souples, qui s'appuie sur des fibres optiques à réseaux de Bragg (FBG), des capteurs résistifs ou capacitifs souples, des aimants avec magnétomètres, ou de la vision. Chaque approche a ses limites : coût et fragilité pour les fibres, dérive et hystérésis pour les capteurs souples, occultation pour la caméra. L'IMU seule dérive, notamment en lacet, et la référence magnétique sert précisément à corriger ce défaut. Les prochaines étapes à surveiller sont une validation chiffrée contre une référence externe, des essais sur des trajectoires plus rapides et sous perturbation magnétique, puis une intégration dans des applications médicales ou d'inspection. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

RecherchePaper
1 source
CLAM : modèles d'action latente continue pour l'apprentissage robotique à partir de démonstrations non étiquetées
Illustration générée par IA
2arXiv cs.RO 

CLAM : modèles d'action latente continue pour l'apprentissage robotique à partir de démonstrations non étiquetées

Un nouveau papier arXiv (2505.04999v2, version révisée) présente CLAM, pour Continuous Latent Action Models, une méthode d'apprentissage de politiques de contrôle robotique qui se passe des démonstrations à actions étiquetées, coûteuses à collecter en téléopération. Le principe : à partir de simples séquences d'observations (sans étiquette d'action), un modèle infère des actions latentes continues entre deux images consécutives via une prédiction de dynamique auto-supervisée. Pour transformer ces actions latentes en commandes moteur réellement exécutables, les chercheurs entraînent conjointement un décodeur d'actions sur un petit volume de données dites "de jeu" (play data), c'est-à-dire des interactions non ciblées sur une tâche précise mais qui, elles, comportent des actions étiquetées. Les tests couvrent la locomotion sur DMControl, la manipulation sur MetaWorld, et des tâches réelles sur un bras robotique WidowX. Résultat annoncé : un taux de réussite moyen multiplié par 2 à 3 par rapport aux précédentes méthodes à actions latentes, avec des performances qui se rapprochent du behavior cloning entraîné sur des actions expertes complètes, la référence "privilégiée" du domaine. L'enjeu dépasse la seule performance technique : le goulot d'étranglement de l'apprentissage par imitation reste la collecte de démonstrations étiquetées, un processus lent et onéreux en téléopération. Si des politiques efficaces peuvent être apprises depuis de simples vidéos ou séquences d'observations, cela ouvre la voie à des jeux de données bien plus larges et moins chers à constituer, en combinant une masse de démonstrations non étiquetées avec un minimum de données annotées. Il faut toutefois noter que la validation reste majoritairement en simulation, avec un unique bras WidowX pour la partie matérielle réelle : il s'agit d'une preuve de concept académique, pas d'un déploiement industriel à l'échelle. CLAM s'inscrit dans la lignée des travaux sur les modèles d'action latente et de monde pour la robotique, qu'il cherche explicitement à surpasser en tant que base de comparaison. Il se distingue de l'approche dominante des modèles vision-langage-action comme Pi-0 ou GR00T N2, qui reposent sur de vastes corpus d'actions étiquetées. Code et vidéos sont publiés sur clamrobot.github.io, laissant la porte ouverte à des reproductions et extensions par la communauté.

RecherchePaper
1 source
Estimation des états dynamiques d'un robot à continuum souple à partir de ses limites
Illustration générée par IA
3arXiv cs.RO 

Estimation des états dynamiques d'un robot à continuum souple à partir de ses limites

Des chercheurs en robotique publient une nouvelle méthode d'estimation d'état pour les robots à corps continu souples, dans une version révisée (v3) d'un article déposé sur arXiv. Le problème traité : ces robots ont des états (poses, déformations, efforts internes, vitesses) intrinsèquement de dimension infinie du fait de leur déformabilité continue, alors que les capteurs ne fournissent que des mesures discrètes. Une méthode récente, l'observateur de frontière (boundary observer), utilise la théorie des tiges de Cosserat pour reconstruire l'ensemble de ces états à partir de la vitesse mesurée en bout de robot, captée en général par un système de capture de mouvement externe. L'équipe propose ici une conception duale : plutôt que la vitesse en bout, elle mesure l'effort interne (wrench) à la base du robot, avec un simple capteur de force/couple. Les deux familles d'observateurs, fondées sur des principes de dissipation d'énergie, peuvent être combinées. Une analyse basée sur la théorie de Lyapunov montre que la vitesse de convergence s'améliore puis se dégrade quand les gains de l'observateur augmentent, une tendance convexe qui permet un réglage efficace des paramètres. Les auteurs identifient aussi des cas où états linéaires et angulaires se déterminent mutuellement, réduisant encore le besoin de capteurs. Les essais, en simulation et sur un robot continu actionné par tendons, valident la convergence en mouvements dynamiques rapides, l'existence de gains optimaux, la robustesse au bruit de mesure, aux forces externes et aux incertitudes de modèle, ainsi que des performances de calcul temps réel. Pour l'industrie de la robotique souple, l'apport pratique est concret : remplacer un système de capture de mouvement externe, coûteux, encombrant et limité à un espace calibré, par un simple capteur de force/couple embarqué à la base réduit le coût et la complexité d'installation, et ouvre la voie à des déploiements hors laboratoire, en environnement industriel confiné, en chirurgie mini-invasive ou en inspection. C'est aussi une réponse à un doute récurrent du secteur : peut-on estimer en continu et en temps réel l'état complet d'un robot souple sans instrumentation lourde. Les résultats, avec règle de réglage de gain systématique et calcul temps réel démontré, suggèrent que oui, au moins pour cette classe de robots à tendons, même si l'étude reste validée en simulation et sur un seul prototype expérimental, loin d'un système intégré prêt à l'emploi. Ces travaux prolongent directement l'observateur de frontière initial, qui s'appuyait déjà sur la théorie des tiges de Cosserat mais imposait une mesure de vitesse en bout de robot, donc un dispositif de capture de mouvement externe. En proposant une version duale reposant sur un capteur de force/couple à la base, les auteurs suppriment cette contrainte et élargissent le champ d'application aux configurations où un mocap est impraticable. L'article ne mentionne aucun partenariat industriel ni calendrier de transfert vers un produit commercial ; pour ce type de travaux académiques, les suites attendues sont l'extension à des robots multi-segments ou à actionnement pneumatique, et des essais en conditions réelles au-delà du banc de laboratoire.

RecherchePaper
1 source
Explicit guidage cinématique à partir de concepts analytiques pour les modèles vision-langage-action
Illustration générée par IA
4arXiv cs.RO 

Explicit guidage cinématique à partir de concepts analytiques pour les modèles vision-langage-action

Une équipe de recherche publie sur arXiv (référence 2607.26513v1) un nouveau module baptisé Concept Expert, conçu pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le constat de départ est simple : la plupart des VLA actuels s'appuient uniquement sur des entrées 2D et ignorent la structure tridimensionnelle réelle des objets, ce qui limite leur précision dans les tâches de manipulation fine. Le Concept Expert construit ce que les auteurs appellent des "concepts analytiques exécutables", des sortes de plans programmatiques explicites décrivant chaque objet. Le mécanisme fonctionne en deux temps : avant l'inférence, il exploite des modèles de fondation visuels (VFM) pour estimer les paramètres cinématiques et structurels initiaux d'un objet ; ensuite, pendant la manipulation, le VLA suit et met à jour dynamiquement ces paramètres pour rester aligné avec ce qu'il observe en temps réel. Ces concepts servent ensuite à guider le fine-tuning du modèle, via des récompenses programmatiques denses et un guidage spatial précis. Les auteurs rapportent des gains constants de taux de succès et d'efficacité d'apprentissage, en apprentissage supervisé comme en renforcement. L'intérêt de cette approche pour l'industrie robotique tient à un problème persistant des modèles VLA à grande échelle : leur difficulté à généraliser des manipulations précises sans passer par une compréhension géométrique explicite des objets manipulés. En intégrant une représentation 3D structurée directement dans le pipeline d'apprentissage, plutôt que de compter uniquement sur des corrélations apprises à partir d'images 2D, cette méthode s'attaque frontalement à l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un point sensible pour les intégrateurs qui déploient des VLA de type Pi-0, GR00T N2 ou Helix sur des tâches industrielles exigeant une précision fine (préhension, insertion, alignement). Si les gains annoncés se confirment sur des bancs d'essai plus larges, cela pourrait renforcer la crédibilité des approches hybrides combinant fondations visuelles 3D et bout-en-bout, plutôt que le tout-apprentissage pur actuellement dominant chez la plupart des labos. Ce travail s'inscrit dans une tendance de fond de la recherche en VLA post-training, où plusieurs équipes cherchent à injecter des a priori structurels (géométrie, physique, cinématique) dans des modèles historiquement entraînés de façon purement data-driven sur des vidéos ou démonstrations téléopérées. Les grands acteurs du secteur, qu'il s'agisse des laboratoires derrière Pi-0 ou GR00T, explorent des voies similaires pour combler le fossé entre performance en démonstration et fiabilité en déploiement réel. La publication, encore au stade de preprint arXiv, ne précise pas de partenariat industriel ni de calendrier de transfert vers des plateformes commerciales ; elle reste pour l'instant une contribution méthodologique dont l'impact concret dépendra de sa reproduction et de son adoption par des équipes travaillant sur des bras robotiques ou des humanoïdes en conditions réelles.

RecherchePaper
1 source