RecherchearXiv cs.RO 28 octobre 2026

Calibration caméra-LiDAR généralisable sans cible, conjointe intrinsèque et extrinsèque, par correspondances pixel-point profondes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un cadre de calibration entièrement automatique et sans cible (sans damier ni mire) qui estime conjointement, à partir d'images brutes et de scans LiDAR, les paramètres intrinsèques de la caméra, la distorsion radiale-tangentielle et la transformation extrinsèque caméra-LiDAR. Le système étend aux caméras non rectifiées une approche existante fondée sur des correspondances pixel-point apprises. Pour cela, le réseau est entraîné avec des augmentations synthétiques qui le rendent sensible aux intrinsèques et à la distorsion. Pendant la calibration, la prédiction des correspondances et une optimisation non linéaire sont couplées de façon itérative afin d'affiner simultanément les paramètres de la caméra et la pose relative des capteurs. L'évaluation porte sur une configuration caméra-LiDAR de KITTI absente de l'entraînement, ainsi que sur trois plateformes robotiques réelles, en zero-shot, c'est-à-dire sans réentraînement. Le résumé publié ne donne aucun chiffre d'erreur précis.

L'enjeu est très concret pour les intégrateurs et les équipes de perception. Les méthodes sans cible actuelles les plus performantes supposent des images rectifiées et des intrinsèques connus, donc une caméra déjà calibrée individuellement, ce qui ajoute une étape en atelier ou sur site. Pouvoir partir d'images brutes réduit cette dépendance et simplifie la mise en service ou la recalibration après un choc, une dérive thermique ou un remplacement de capteur, sur des flottes d'AMR, de véhicules ou de robots mobiles. Les auteurs affirment que la calibration conjointe améliore la précision extrinsèque par rapport aux méthodes à correspondances utilisant des caméras précalibrées, tout en retrouvant des intrinsèques précis. Ce résultat reste à confirmer sur les chiffres détaillés, et le test sur trois plateformes ne dit rien de la robustesse sur des optiques très atypiques (fisheye, grand angle extrême) ni dans des environnements pauvres en structure.

Ce travail s'inscrit dans la montée des méthodes apprises de calibration, qui remplacent progressivement les procédures à base de cibles et les approches par optimisation d'attributs (bords, intensité, information mutuelle), sensibles à l'initialisation et à la scène. La généralisation entre capteurs et environnements est le point dur de ces méthodes, et la validation sur une configuration KITTI inédite ainsi que sur des robots réels va dans ce sens. Il s'agit pour l'instant d'une publication de recherche (préprint arXiv), sans produit, code annoncé ni calendrier d'industrialisation dans le résumé. La suite logique serait une intégration dans les chaînes de perception multimodale et une extension à d'autres modèles de caméra.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

P²Calib : exploiter des a priori de motifs pour la calibration extrinsèque LiDAR-caméra

Une équipe de recherche a publié sur arXiv (article 2609.07516, version 2) une nouvelle méthode de calibration extrinsèque LiDAR-caméra baptisée P²Calib, conçue pour le pipeline dit "à quatre trous" largement utilisé pour aligner géométriquement un capteur LiDAR et une caméra à l'aide d'une cible plane percée de quatre trous circulaires. Le problème identifié est que la précision de cette calibration est aujourd'hui limitée côté LiDAR par l'extraction imprécise du centre des trous, faussée par la faible résolution angulaire du capteur et par des retours de type "mixed-pixel" sur les bords des perçages. P²Calib exploite ce que les auteurs appellent des "pattern priors", des contraintes géométriques directement issues du modèle CAD de la cible : d'abord le rayon connu des trous, utilisé comme contrainte d'ajustement pour stabiliser l'estimation des centres même avec une couverture angulaire éparse, puis la disposition rectangulaire rigide des quatre trous, imposée comme contrainte de cohérence globale pour corriger les erreurs résiduelles entre trous. Les deux contraintes sont intégrées dans un outil interactif couvrant tout le pipeline, de la détection de la cible jusqu'au calcul final de l'extrinsèque. Sur données simulées et réelles, P²Calib réduit le résidu conjoint d'enregistrement de 90% et 82% respectivement, et l'erreur de reprojection sur données non vues de 96% et 77%, par rapport à une méthode de référence. Ce gain de précision compte pour tout intégrateur robotique ou automobile qui dépend d'une fusion capteurs fiable : une calibration extrinsèque imprécise se répercute directement sur la qualité de la détection d'obstacles, du SLAM ou de la perception multimodale, sans qu'aucun matériel supplémentaire ne soit nécessaire pour corriger le défaut, puisque la méthode se contente d'exploiter des informations géométriques déjà connues de la cible utilisée en usine ou en atelier de calibration. Le pipeline à quatre trous reste une référence répandue en robotique et en véhicules autonomes face aux approches sans cible ("target-less") basées sur l'apprentissage profond, plus flexibles mais moins déterministes. Les auteurs annoncent la publication future du code et des jeux de données pour permettre la reproduction des résultats, sans toutefois préciser de date, ce qui place à ce stade P²Calib au rang de contribution académique plutôt que d'outil immédiatement disponible pour la production.

RecherchePaper

1 source

2arXiv cs.RO

Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR

Des chercheurs proposent CELL, une méthode de localisation de caméras événementielles (évent cameras) dans des cartes LiDAR préconstruites, qui apprend à pondérer chaque correspondance selon sa fiabilité. Le pipeline de référence traite le problème en deux temps: estimation d'un flux optique dense entre une vue de profondeur rendue depuis la carte et l'image d'événements, puis résolution d'un Perspective-n-Point (PnP) sur les correspondances 3D-2D ainsi obtenues. Les travaux publiés sur arXiv (2610.11967) évaluent le système sur les jeux de données M3ED et DSEC. Face à la base de comparaison LEAR, CELL améliore les résultats sur la majorité des séquences testées, avec une réduction de l'erreur médiane de translation allant jusqu'à 26,9 % et de l'erreur médiane de rotation jusqu'à 15,8 %. Ces gains sont des maxima observés sur les meilleures séquences, pas des moyennes, et aucune évaluation embarquée ni mesure de latence n'est mentionnée. L'apport tient à la façon d'apprendre la confiance. Les approches existantes s'appuient sur un consensus géométrique lors de l'estimation de pose, sans modéliser la fiabilité d'une correspondance ni son « informativité » pour la pose, c'est-à-dire la force avec laquelle elle contraint la caméra. Les auteurs montrent que la solution intuitive, supervisée par l'erreur en pixels de chaque correspondance, souffre d'un biais lié à la profondeur: les petites erreurs se concentrent à grande distance, là où les points contraignent peu la pose. CELL apprend donc la confiance de bout en bout à travers la pose, via un PnP probabiliste différentiable dont le terme de log-partition favorise des pondérations produisant une distribution de pose mieux contrainte. Cette confiance sert trois fois: elle repondère la supervision du flux dans un entraînement découplé qui isole le backbone flux/contours des gradients de pose, elle pilote une sélection probabiliste des correspondances à l'inférence, et elle pondère, avec la probabilité de contour du réseau, une dernière étape de raffinement par appariement de contours. Une représentation de profondeur à complétion partielle ajoute de l'information sans halluciner sur les grands vides. Pour la robotique mobile et les véhicules autonomes, l'enjeu est la localisation robuste sur cartes LiDAR existantes avec des capteurs événementiels, peu sensibles au flou de mouvement et aux forts contrastes lumineux. Le résultat suggère que mieux choisir les correspondances à utiliser rapporte autant que mieux les estimer, et que le signal de supervision compte: l'erreur locale seule trompe l'apprentissage. Reste à voir la généralisation hors M3ED et DSEC et la tenue en temps réel, deux points que le résumé ne documente pas. Cette recherche s'inscrit dans la continuité de LEAR, qui reste la référence directe, et ne relève ni d'un produit ni d'un déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

RecherchePaper

1 source

4arXiv cs.RO

AffordGen : génération de démonstrations variées pour la manipulation d'objets généralisable par correspondance d'affordances

Des chercheurs présentent AffordGen, un framework conçu pour résoudre l'un des goulets d'étranglement centraux de l'apprentissage par imitation en robotique : la rareté et le manque de diversité géométrique des données d'entraînement. Le système combine des modèles génératifs 3D à grande échelle avec des vision foundation models (VFMs) pour produire automatiquement de nouvelles trajectoires de manipulation. Le mécanisme repose sur la correspondance sémantique de keypoints fonctionnels (les affordances) entre des maillages 3D issus de bibliothèques volumineuses : AffordGen localise les points pertinents (prise, contact, pivot) sur un objet de référence, puis les transpose à de nouvelles géométries pour générer des démonstrations synthétiques variées. Ce dataset affordance-aware entraîne ensuite une politique visuomotrice en boucle fermée qui combine généralisation sémantique et robustesse réactive de l'apprentissage de bout en bout. Des expériences en simulation et dans le monde réel rapportent des taux de réussite élevés et, surtout, une capacité de généralisation zero-shot à des objets réellement inédits lors de l'entraînement. L'enjeu industriel est direct. Collecter manuellement des démonstrations robotiques reste coûteux, lent et difficile à diversifier sur des variantes géométriques d'objets. AffordGen génère cette diversité de façon programmatique, sans requérir de téléopération supplémentaire. La généralisation zero-shot représente un indicateur fort de viabilité en déploiement réel, car les environnements industriels exposent en permanence des objets non anticipés. Le fait que la politique reste en boucle fermée la distingue des approches open-loop souvent fragiles hors laboratoire. Ces résultats renforcent l'hypothèse que le "data gap" de la manipulation peut être partiellement comblé par génération synthétique, à condition que les affordances soient correctement modélisées, ce que les auteurs n'ont toutefois démontré que sur un périmètre de tâches restreint. AffordGen s'inscrit dans un courant de recherche visant à augmenter les données de manipulation sans démonstrations humaines massives, aux côtés de MimicGen (NVIDIA), RoboAgent ou RoboGen. La diffusion policy et ACT (Action Chunking Transformer) ont démontré la puissance de l'imitation learning conditionnée à un volume de données suffisant ; AffordGen attaque précisément ce prérequis amont. Le papier est disponible sur arXiv (arXiv:2604.10579v2, version mise à jour). Les prochaines étapes naturelles concernent la scalabilité sur des tâches de manipulation multi-étapes et l'intégration dans des stacks industrielles telles que celles de 1X Technologies, Boston Dynamics ou Apptronik, qui restent tributaires de la diversité des données pour déployer des politiques robustes hors des environnements contrôlés.

RecherchePaper

1 source