Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Hydra : calibration main-œil RGB-D sans marqueurs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2504.20584v2) Hydra, une méthode de calibration main-œil sans marqueurs par imagerie RGB-D, fondée sur une nouvelle implémentation de l'algorithme ICP avec un objectif point-to-plane robuste formulé sur une algèbre de Lie. Testée sur trois bras manipulateurs série et deux caméras RGB-D, elle atteint environ 90% de calibrations réussies avec seulement trois configurations robot tirées au hasard, soit une convergence vers l'optimum global 2 à 3 fois supérieure aux méthodes à marqueurs et sans marqueurs prises comme référence. Sur neuf configurations, le temps de convergence tombe à 0,8 seconde en moyenne (écart-type 0,4 s), deux ordres de grandeur plus rapide que les autres méthodes sans marqueurs, pour une précision de 5 mm dans l'espace de la tâche contre 7 mm pour les approches classiques. Le code et le jeu de benchmark sont publiés en open source sous licence Apache 2.0, avec une intégration ROS 2 prête à l'emploi.

La calibration main-œil, qui aligne le repère d'une caméra sur celui du robot, conditionne toute application de vision guidée (préhension, inspection, bin picking) et repose classiquement sur des marqueurs physiques dont la pose et le réétalonnage ralentissent la mise en service, tandis que les alternatives sans marqueurs existantes peinent souvent à converger de manière fiable. En cumulant taux de succès élevé, rapidité et précision supérieure même aux méthodes à marqueurs, Hydra cible directement ce point de friction pour les intégrateurs devant réétalonner fréquemment leurs cellules robotisées, par exemple après un changement d'outil ou de poste. La publication ouverte du code et du benchmark permet en outre une comparaison reproductible, un exercice rare dans ce sous-domaine de la robotique.

La calibration main-œil est un problème ancien, longtemps traité par des algorithmes à marqueurs puis par des variantes sans marqueurs exploitant des nuages de points, mais peu robustes face aux optima locaux et aux temps de calcul élevés. Hydra s'inscrit dans cette lignée en cherchant à lever ce compromis grâce à sa formulation ICP point-to-plane sur une algèbre de Lie. Il s'agit à ce stade d'une contribution de recherche académique, validée sur des manipulateurs série standards du commerce, et non d'un déploiement industriel documenté. L'intégration ROS 2 fournie, avec couche d'abstraction robot, vise à faciliter l'adoption par les équipes de recherche et d'intégration, ouvrant la voie à des validations sur davantage de plateformes et de caméras dans de futurs travaux.

Impact France/UE

Les intégrateurs robotiques européens qui réétalonnent régulièrement leurs cellules pourraient tester cet outil open source pour accélérer la calibration main-œil.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Main d'AnyDexRT : retargeting dextérique sans calibration guidé par peu de démonstrations humaines
1arXiv cs.RO 

Main d'AnyDexRT : retargeting dextérique sans calibration guidé par peu de démonstrations humaines

Des chercheurs viennent de publier sur arXiv (arXiv:2607.08341, 10 juillet 2026) une nouvelle méthode baptisée AnyDexRT, conçue pour le retargeting cinématique des mains robotiques dextres en téléopération. Le retargeting consiste à traduire les mouvements de la main d'un opérateur humain en mouvements réalisables par une main robotique, une étape cruciale pour la téléopération et pour la collecte de démonstrations utilisées en apprentissage par imitation. Contrairement aux approches existantes, qui reposent souvent sur des objectifs conçus manuellement, un calibrage précis ou un appariement global des formes entre la main humaine et la main robotique, AnyDexRT ne nécessite aucune calibration préalable. La méthode combine un apprentissage auto-supervisé des correspondances entre le bout des doigts humains et robotiques avec un guidage humain en few-shot, c'est-à-dire à partir de très peu d'exemples, pour ancrer la correspondance dans les zones pertinentes pour la tâche. Un classificateur de contact affine ensuite spécifiquement les poses de préhension en pince. Cette approche répond à un problème concret et sous-estimé du secteur : la fragilité des pipelines de téléopération dès qu'on change de main robotique ou d'opérateur, ce qui limite la scalabilité de la collecte de données pour l'apprentissage par imitation, un goulot d'étranglement identifié dans le développement des modèles VLA (vision-langage-action) comme Pi-0 ou GR00T N2. En supprimant la calibration manuelle, AnyDexRT pourrait accélérer la production de démonstrations de qualité pour l'entraînement de politiques robotiques, un enjeu central pour les intégrateurs et laboratoires qui cherchent à faire passer leurs mains dextres de la démonstration en laboratoire à des déploiements plus robustes. Les auteurs rapportent des gains en qualité de retargeting et une réduction du réglage manuel sur des mains dextres variées et des tâches de téléopération réelles, sans toutefois préciser de métriques chiffrées vérifiables dans le résumé. Le travail s'inscrit dans la lignée des recherches sur le retargeting cross-embodiment, un axe actif face à la multiplication des mains robotiques commerciales aux morphologies différentes. Un site de projet accompagne la publication, mais aucun code, benchmark comparatif détaillé ni partenariat industriel n'est mentionné à ce stade : il s'agit d'une contribution académique, pas d'un produit prêt à déployer.

RecherchePaper
1 source
Calib3R : calibration main-œil et reconstruction 3D à l'échelle métrique avec des modèles fondation 3D
2arXiv cs.RO 

Calib3R : calibration main-œil et reconstruction 3D à l'échelle métrique avec des modèles fondation 3D

Le laboratoire de recherche a présenté Calib3R, une méthode conjointe de calibration main-œil et de reconstruction 3D métrique pour bras robotiques équipés de caméras RGB. Contrairement aux techniques traditionnelles qui exigent des mires de calibration physiques, Calib3R fonctionne sans motif imprimé : elle s'appuie sur un modèle de fondation 3D pour extraire des pointmaps directement à partir d'images RGB, combinées aux poses articulaires du robot afin de reconstruire une scène 3D à l'échelle métrique, alignée sur le référentiel de la base du robot. Le système gère aussi bien les configurations mono-caméra que multi-caméras, un cas généralement plus complexe car il impose d'exprimer les données dans un référentiel commun. Selon les auteurs, des expériences menées sur plusieurs jeux de données montrent que Calib3R atteint une calibration précise avec moins de dix images, surpassant à la fois les méthodes sans mire et les méthodes classiques avec mire. Le papier, disponible sur arXiv (2509.08813v2), correspond à une version révisée d'un article déjà annoncé précédemment. Pour l'industrie robotique, cette approche répond à un goulot d'étranglement concret de l'intégration : aujourd'hui, calibrer un bras robotique et reconstruire son environnement en 3D restent deux étapes distinctes, chacune exigeant du matériel dédié (mires, cibles) et une expertise spécifique, ce qui ralentit le déploiement de systèmes de manipulation guidés par la vision. En unifiant les deux tâches dans une seule optimisation géométrique, et en réduisant drastiquement le nombre d'images nécessaires, Calib3R pourrait simplifier la mise en service de cellules robotiques pour des intégrateurs qui n'ont pas de laboratoire de métrologie dédié. C'est aussi un signal parmi d'autres que les modèles de fondation 3D, initialement développés pour la vision générale, commencent à s'infiltrer dans les briques d'infrastructure robotique les plus techniques, au-delà des usages de perception ou de planification de trajectoire déjà démontrés. Cette publication s'inscrit dans la lignée des travaux récents exploitant les modèles de fondation 3D (type reconstruction dense à partir d'images non calibrées) pour résoudre des problèmes classiques de robotique autrement dépendants de capteurs ou de mires physiques. Elle se positionne face aux méthodes de calibration patternless existantes et aux approches par mire encore largement utilisées en production. L'article ne précise pas d'implémentation matérielle commerciale ni de partenaire industriel : il s'agit à ce stade d'une contribution de recherche évaluée sur jeux de données, sans indication de déploiement pilote ou d'intégration produit annoncée.

RecherchePaper
1 source
Un algorithme certifié exact pour la calibration généralisée robot-monde et main-œil
3arXiv cs.RO 

Un algorithme certifié exact pour la calibration généralisée robot-monde et main-œil

Des chercheurs ont déposé sur arXiv (identifiant 2507.23045, version révisée) un algorithme de calibration extrinsèque pour plateformes multi-capteurs, formulé comme une solution générale au problème dit de "robot-world and hand-eye calibration" (RWHEC). La contribution centrale est la garantie de convergence vers l'optimum global, une propriété que les méthodes précédentes, souvent fondées sur une optimisation locale par descente de gradient, ne pouvaient pas assurer. L'algorithme résout simultanément la pose de plusieurs capteurs et de plusieurs cibles, et prend en charge les caméras monoculaires, qui présentent une ambiguïté d'échelle intrinsèque : seules, elles ne peuvent pas mesurer la distance absolue sans information supplémentaire. Une implémentation open-source accompagne la publication pour faciliter reproductibilité et adoption. La calibration extrinsèque, la détermination précise de la position et de l'orientation relative entre un capteur (caméra, LiDAR) et l'effecteur ou la base d'un robot, est un prérequis critique pour tout système multi-capteurs, qu'il s'agisse de robotique industrielle, de véhicules autonomes ou de manipulation. En pratique, les méthodes existantes exigent soit des hypothèses fortes sur l'environnement (cibles connues, mouvements structurés), soit des initialisations manuelles proches de la solution, au risque de converger vers un minimum local erroné. Les auteurs dérivent des critères d'identifiabilité a priori, c'est-à-dire des conditions mathématiques permettant de vérifier avant le calcul si le problème admet une solution unique, ainsi que des garanties d'optimalité globale pour des instances à erreurs de mesure bornées. Cela réduit la charge opérateur et élimine le risque d'échec silencieux en production. Techniquement, l'algorithme repose sur une relaxation SDP (Semidefinite Programming) d'un programme quadratique à contraintes quadratiques (QCQP), une famille de méthodes popularisée notamment par TEASER++ (MIT, 2020) pour le recalage de nuages de points. Les auteurs introduisent en parallèle une nouvelle qualification de contraintes pour les programmes non linéaires à contraintes redondantes, une contribution de théorie de l'optimisation valable indépendamment du problème de calibration. À noter que ce travail reste un preprint non encore évalué par les pairs. Dans un secteur où des acteurs comme Boston Dynamics, Agility Robotics, ou côté français Wandercraft, investissent massivement dans la perception embarquée multi-capteurs, disposer d'une calibration certifiée, générale et peu contraignante représente un gain opérationnel concret pour le passage à l'échelle en environnements réels.

UELes entreprises françaises multi-capteurs comme Wandercraft pourraient intégrer cet algorithme open-source pour fiabiliser leur calibration robot en production sans risque de minimum local silencieux.

RecherchePaper
1 source
Calibration main-oeil en continu pour la manipulation robotique en environnement ouvert
4arXiv cs.RO 

Calibration main-oeil en continu pour la manipulation robotique en environnement ouvert

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.15814) un framework d'étalonnage main-oeil continu (continual hand-eye calibration) destiné aux robots manipulateurs déployés dans des environnements ouverts et changeants. Le problème adressé est précis : les modèles de calibration basés sur le deep learning perdent leur précision sur les scènes précédemment apprises dès qu'ils s'adaptent à un nouvel environnement, un phénomène connu sous le nom d'oubli catastrophique (catastrophic forgetting). Le framework proposé repose sur deux composants distincts. Le premier, SARS (Spatial-Aware Replay Strategy), construit un buffer de rejeu géométriquement uniforme qui couvre l'espace de poses de chaque scène sans redondance, en sélectionnant les points de vue les plus informatifs plutôt que les frames adjacentes. Le second, SPDD (Structure-Preserving Dual Distillation), décompose la connaissance de localisation en deux niveaux, la structure grossière de la scène et la précision fine de pose, puis applique une distillation séparée pour préserver les deux dimensions lors des adaptations successives. Les expériences sur plusieurs datasets publics confirment que le modèle maintient la précision sur les scènes passées tout en s'adaptant aux nouvelles. L'enjeu industriel est réel : un bras manipulateur recalibré pour une nouvelle cellule de production ne devrait pas perdre sa précision sur les postes précédents. C'est le problème quotidien des intégrateurs qui déploient des robots dans des lignes flexibles ou multi-produits. La plupart des approches actuelles imposent soit un recalibrage complet à chaque changement de scène, soit acceptent une dégradation progressive des performances sur les configurations antérieures. Ce travail propose une voie intermédiaire via l'apprentissage continu structuré, sans recourir à un replay naïf qui ne suffit pas à enrayer l'oubli. L'approche par distillation duale est notamment pertinente car elle distingue deux types d'erreur, positionnement global et précision locale, ce que les méthodes monolithiques ne font pas. Ce travail s'inscrit dans un champ de recherche en forte activité depuis 2022, où la robustesse de la calibration visuelle en conditions réelles est identifiée comme l'un des goulots d'étranglement pour le passage à l'échelle des manipulateurs autonomes. La localisation visuelle pour la calibration main-oeil emprunte aux techniques de Visual Place Recognition (VPR) et de relocalisation utilisées en navigation mobile, mais les contraintes de précision sous-millimétrique propres à la manipulation y ajoutent une difficulté spécifique. Parmi les acteurs qui travaillent sur des problèmes adjacents figurent des équipes comme Physical Intelligence (pi) avec Pi-0, ou des laboratoires comme le Stanford AI Lab et ETH Zurich sur la sim-to-real calibration. En France, des acteurs comme Enchanted Tools et Pollen Robotics, qui développent des plateformes d'interaction physique, sont directement concernés par ce type de verrou. La prochaine étape naturelle pour ce framework serait une validation sur des données industrielles réelles et une intégration dans des pipelines de déploiement multi-cellules, que les auteurs n'ont pas encore annoncée.

UEEnchanted Tools et Pollen Robotics, qui développent des plateformes de manipulation physique en France, sont directement concernés par ce verrou de calibration continue, susceptible de réduire les coûts de redéploiement en production flexible.

RecherchePaper
1 source