Aller au contenu principal
RecherchearXiv cs.RO 

CLEAR-IR : reconstruction active de l'imagerie infrarouge avec une clarté améliorée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent CLEAR-IR (Clarity Enhanced Active Reconstruction of Infrared Imagery), un cadre logiciel qui permet à un robot de percevoir son environnement dans le noir grâce à l'infrarouge actif. En faible lumière, les flux IR sont moins bruités que le RGB. Ils sont en revanche saturés par le motif de lumière structurée que projette l'émetteur de la caméra, ce qui perturbe la détection d'objets, le suivi et la localisation. CLEAR-IR reconstruit à partir de ces images IR polluées des images propres, au rendu RGB, avec une architecture à double flux inspirée de DeepMAO. Les images obtenues peuvent alimenter des chaînes de vision classiques entraînées sur du RGB, sans lumière visible. L'évaluation couvre la détection d'objets, la détection de marqueurs ArUco et le SLAM visuel, dans des conditions allant de l'éclairage normal à l'obscurité complète. Il s'agit d'un travail de recherche (troisième version sur arXiv), pas d'un produit. Le résumé ne donne ni précision chiffrée, ni latence, ni plateforme matérielle.

L'intérêt est surtout pratique: l'approche évite de réentraîner les modèles de perception sur des données infrarouges. Un intégrateur pourrait ainsi réutiliser ses détecteurs, ses marqueurs de calibration et son SLAM existants pour des robots de ronde nocturne, d'inspection ou d'entrepôt « lights-out », où l'on voudrait supprimer l'éclairage. Les auteurs soulignent aussi une limite de principe: dans l'obscurité totale, les méthodes d'amélioration d'image RGB échouent parce que le capteur ne reçoit aucun signal, quelle que soit la qualité de l'algorithme. Il faut toutefois rester prudent. Le terme « fiable » n'est étayé dans le résumé par aucune métrique. Rien n'indique non plus comment la méthode se comporte avec plusieurs robots dont les émetteurs interfèrent, avec des surfaces réfléchissantes ou en présence de lumière solaire, qui noie l'IR actif.

Le problème vient de la généralisation des caméras RGB-D à émetteur IR, du type RealSense ou Orbbec, dont le motif de points est précieux pour la profondeur mais nuisible pour la vision 2D. Les alternatives pour travailler dans le noir sont les caméras thermiques, le lidar, les capteurs événementiels ou l'amélioration d'images basse lumière, chacune avec son coût, sa résolution ou ses limites physiques. CLEAR-IR cherche à tirer parti d'un capteur déjà présent sur de nombreux robots. Les prochaines étapes à surveiller sont la publication du code, des mesures de latence embarquée et des essais sur robots réels en environnements non contrôlés. Aucun acteur européen n'est mentionné dans ce travail.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

À lire aussi

SimuScene : reconstruction compositionnelle de scènes 3D prêtes pour la simulation à partir d'une seule image
1arXiv cs.RO 

SimuScene : reconstruction compositionnelle de scènes 3D prêtes pour la simulation à partir d'une seule image

Une équipe de chercheurs a présenté SimuScene (arXiv:2606.03994, juin 2026), un pipeline de reconstruction 3D compositionnelle capable de produire, à partir d'une seule image, des scènes directement exploitables dans un simulateur physique. Le verrou technique adressé est précis : les méthodes existantes de reconstruction mono-image génèrent des géométries par objet plausibles visuellement, mais dès qu'on les compose dans une scène et qu'on lance la simulation, les objets s'interpénètrent, flottent ou s'enfoncent dans le sol, rendant la scène inutilisable pour l'entraînement robotique. SimuScene résout ce problème en intégrant le moteur physique non pas comme une étape de correction a posteriori, mais comme un outil de diagnostic pendant le processus de reconstruction lui-même. Concrètement, les objets reconstruits sont soumis à une simulation gravitationnelle ; les échecs de pénétration ou de support sont convertis en signaux de correction quantitatifs qui pilotent deux mécanismes : un étirement de la géométrie selon l'axe vertical ("gravity-axis stretching") et un rééchantillonnage de la forme amodale pour les parties non visibles. Les auteurs rapportent des résultats état de l'art sur des benchmarks de stabilité physique et d'alignement géométrique, et valident l'utilité de la pipeline sur des tâches de manipulation bras robotique et de contrôle humanoïde. Pour l'industrie robotique et la recherche en manipulation, l'enjeu est direct : l'un des goulots d'étranglement majeurs dans la génération de données simulées est la constitution d'environnements 3D physiquement cohérents. Si une seule image suffit à produire une scène immédiatement utilisable dans un simulateur comme Isaac Sim ou MuJoCo, le coût de création de données d'entraînement pour les VLA (Vision-Language-Action models) et les politiques de manipulation chute drastiquement. L'approche "physics-in-the-loop" pendant la génération, plutôt qu'en correction post-hoc, est une distinction architecturale importante : elle corrige les erreurs géométriques à la source plutôt que de les masquer par un réarrangement de layout, ce qui limite les artefacts cumulatifs. Cela dit, le papier étant un preprint, les benchmarks présentés restent à valider par la communauté, et les métriques de performance sur les tâches robotiques aval (taux de succès de saisie, généralisation hors distribution) ne sont pas détaillées dans l'abstract. SimuScene s'inscrit dans un axe de recherche actif depuis 2022 environ, alimenté par la convergence entre les reconstructeurs 3D génératifs (Zero-1-to-3, One-2-3-45, LRM) et le besoin croissant de données synthétiques pour l'entraînement de robots physiques. Les concurrents directs incluent les méthodes de layout correction physique comme PhyScene ou les pipelines de génération de scènes pour la simulation (GENESIS, RoboVerse), qui opèrent eux aussi sur ce créneau sim-to-real mais partent généralement de descriptions textuelles ou de scans multi-vues. La force revendiquée de SimuScene est la contrainte d'entrée minimale (une image) combinée à la validité physique en sortie. Les applications démontrées sur le contrôle humanoïde suggèrent un intérêt pour les labos travaillant sur des plateformes comme Figure 03, Unitree H1 ou Agility Digit, où la génération rapide d'environnements d'entraînement en simulation reste un facteur limitant. Aucun partenariat industriel ni timeline de déploiement n'est mentionné ; il s'agit pour l'instant d'un résultat de recherche académique.

RecherchePaper
1 source
Robo3R : amélioration de la manipulation robotique par reconstruction 3D précise en avance de phase
2arXiv cs.RO 

Robo3R : amélioration de la manipulation robotique par reconstruction 3D précise en avance de phase

Robo3R est un modèle de reconstruction 3D présenté dans un preprint arXiv (2502.10101) qui vise à remplacer les capteurs de profondeur classiques dans les pipelines de manipulation robotique. Le système prend en entrée des images RGB et les états du robot, et prédit en temps réel la géométrie de la scène à l'échelle métrique, sans recours à un capteur ToF, LiDAR ou stéréo. Robo3R combine une tête de points masquée (masked point head) pour des nuages de points précis, et une formulation Perspective-n-Point (PnP) basée sur des keypoints pour aligner les poses de caméra dans un référentiel canonique robot. Le modèle a été entraîné sur Robo3R-4M, un dataset synthétique de 4 millions de frames annotées haute fidélité. Les auteurs rapportent des gains constants sur plusieurs tâches aval : imitation learning, transfert sim-to-real, synthèse de saisies (grasp synthesis) et planification de trajectoire sans collision. L'intérêt pratique est direct pour les intégrateurs : les capteurs de profondeur actuels (caméras stéréo, ToF, LiDAR structuré) présentent des limites bien documentées sur les surfaces réfléchissantes, transparentes ou sombres, et leur calibration reste coûteuse. Un module RGB-only à l'échelle métrique et en temps réel réduirait la dépendance au hardware de sensing. Les gains sur le transfert sim-to-real sont particulièrement significatifs : c'est précisément là que les politiques de manipulation, qu'il s'agisse d'ACT, de Diffusion Policy ou des VLA récents, perdent en robustesse lors du déploiement. Que Robo3R améliore cette étape charnière suggère qu'un meilleur module perceptif en entrée peut compenser une partie du reality gap sans toucher à l'architecture de la politique. Ce travail s'inscrit dans une dynamique de recherche active autour de la reconstruction 3D dense depuis le RGB, dominée ces deux dernières années par DUSt3R et MASt3R, développés par Naver Labs Europe à Grenoble, ainsi que par UniDepth et Depth Pro. Robo3R se différencie en ciblant explicitement les contraintes de la manipulation : précision métrique, cohérence du référentiel robot et latence compatible avec le contrôle en boucle fermée. Le dataset synthétique Robo3R-4M, bien que large, soulève la question classique du domaine gap entre simulation et réel, même si les résultats rapportés sur des tâches physiques restent positifs. Il s'agit pour l'instant d'un preprint non encore évalué par les pairs; une soumission à ICRA, CVPR ou RSS, couplée à une validation sur des plateformes robotiques variées au-delà des benchmarks internes, constituerait la prochaine étape naturelle.

UELes modèles DUSt3R et MASt3R développés par Naver Labs Europe à Grenoble constituent la référence comparative directe de Robo3R, signalant que la recherche européenne reste en pointe sur la reconstruction 3D dense appliquée à la manipulation robotique.

RecherchePaper
1 source
RTISSLAM-3D : SLAM complet à 6 degrés de liberté avec un sonar d'imagerie 3D aérien
3arXiv cs.RO 

RTISSLAM-3D : SLAM complet à 6 degrés de liberté avec un sonar d'imagerie 3D aérien

Des chercheurs présentent RTISSLAM-3D, un système de SLAM (cartographie et localisation simultanées) à six degrés de liberté pour robot à roues, fondé sur un sonar d'imagerie 3D aérien. Le robot embarque ce sonar, une centrale inertielle (IMU) et des codeurs de roues. Un détecteur CFAR (taux de fausse alarme constant) appliqué sur la sphère réduit chaque image sonar à un nuage épars de détections 3D. Ces points alimentent trois briques: une odométrie acoustique 3D qui modélise la forme du faisceau, une reconnaissance de lieux par descripteurs polaires de sous-cartes, et la vérification des fermetures de boucle par recalage 3D. Le tout est fusionné dans un graphe de poses 6-DoF avec facteurs d'attitude. Les essais portent sur un parcours de 545 m en forêt, avec un SLAM lidar 3D comme référence. Les fermetures de boucle font passer l'erreur horizontale de l'odométrie acoustique de 1,74 m à 0,28 m, pour une erreur de hauteur de 0,12 m. Par ailleurs, 94,6 % de la carte sonar 3D se situe à moins de 0,3 m de la carte lidar. L'intérêt tient à la levée d'une hypothèse de planéité. Les SLAM sonar existants estiment une trajectoire 2D et écartent l'information d'élévation que contiennent pourtant les images, ce qui ne tient plus sur sol accidenté ou en pente, comme un sol forestier. Exploiter l'hémisphère frontal complet à chaque impulsion rend la localisation exploitable là où le sonar, insensible à la poussière, au brouillard, à la fumée ou à la lumière, peut compléter ou remplacer le lidar et la caméra. Les cas d'usage plausibles sont la foresterie, l'agriculture, l'inspection en environnement dégradé et la recherche-sauvetage. Les résultats restent toutefois ceux d'un seul parcours, d'un seul type de terrain, avec un lidar pour référence et non une vérité terrain indépendante. Rien n'indique de test sur plusieurs sites, en conditions de pluie ou de vent, ni de mesure de coût de calcul et de temps réel. Il s'agit donc d'une preuve de faisabilité académique, pas d'un produit. Le travail s'inscrit dans la lignée de la bio-inspiration: les chauves-souris à écholocation évoluent dans des forêts denses grâce au seul sonar. Les capteurs sonar 3D aériens, capables d'imager tout l'hémisphère frontal, sont récents et ont d'abord servi à des SLAM planaires. Face à eux, la navigation forestière repose surtout sur le lidar 3D et la fusion visuelle-inertielle, plus matures mais plus sensibles aux conditions de visibilité. La suite logique serait une validation sur davantage de terrains et de conditions météo, une comparaison directe avec des SLAM lidar et visuels, et une fusion multicapteurs. L'article, publié sur arXiv en version 1, n'annonce ni partenaire industriel ni calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Reconstruire, s'entraîner, passer au réel : l'auto-amélioration guidée des agents incarnés
4arXiv cs.RO 

Reconstruire, s'entraîner, passer au réel : l'auto-amélioration guidée des agents incarnés

Des chercheurs proposent Reconstruct, Practice, Go Real (RPG), un cadre d'amélioration autonome des systèmes d'exécution robotique qui ne touche à aucun poids de modèle. À partir d'un jeu de données hors ligne, RPG identifie les capacités de manipulation présentes et construit en simulation des tâches d'entraînement apparentées. Pendant cette phase de pratique, le système exploite les retours d'exécution, l'état privilégié du simulateur et les vidéos disponibles du jeu de données pour diagnostiquer les échecs. Il en tire de nouvelles compétences symboliques réutilisables, affine les compétences existantes et réécrit le prompt système. Chaque modification candidate, seule ou fusionnée avec d'autres, est testée sur plusieurs tâches avant d'être conservée. Au déploiement, un LLM multimodal s'appuie sur ce prompt et cette bibliothèque de compétences pour coordonner perception et contrôle. Sur 22 tâches de manipulation, avec des initialisations non vues, le taux de réussite passe de 28,6 % après le premier cycle de pratique à 95,0 % après 15 cycles. Les références testées sont dépassées : ASPIRE atteint 75,5 % et CaP-Agent0, piloté par GPT-6 Astra Pro, 60,0 %. Après une calibration et une adaptation matérielle communes, le système figé réussit les 30 essais physiques, soit dix essais sur chacune de trois tâches. L'intérêt tient à l'approche : l'amélioration passe par du code, des compétences et des prompts, pas par du réentraînement. Pour un intégrateur, cela rend le processus plus auditable et plus facile à versionner, puisque chaque compétence ajoutée est lisible et validée en simulation avant d'être retenue. Cela s'attaque directement au coût humain de la mise au point des compétences, des fonctions de récompense et de l'intégration perception-contrôle. La progression de 28,6 % à 95,0 % suggère aussi que le goulot d'étranglement des agents pilotés par LLM se situe moins dans le modèle que dans la qualité des compétences et des instructions qui l'entourent. Il faut toutefois relativiser. Les 30 essais réels, sur trois tâches seulement, forment un échantillon très mince comparé aux 22 tâches simulées. Ils interviennent après une phase de calibration et d'adaptation matérielle dont le coût n'est pas détaillé dans le résumé. Le transfert sim-to-real reste donc plus plausible que démontré à l'échelle. Ces travaux s'inscrivent dans la lignée des approches « code as policies », où un LLM compose des primitives de contrôle, et des méthodes d'auto-amélioration par bibliothèque de compétences, dont ASPIRE est ici le meilleur concurrent évalué. Ils se distinguent des modèles vision-langage-action (VLA) de type Pi-0 ou GR00T, qui font évoluer l'ensemble par réentraînement de poids. Les auteurs n'annoncent ni produit ni partenaire industriel. Les prochaines étapes à surveiller sont une validation sur davantage de tâches physiques, sur des manipulations plus riches et sur d'autres plateformes. La comparaison avec des VLA entraînés sur les mêmes données serait aussi utile. Le site du projet, rpg-robot.github.io, sert de point d'entrée pour vérifier les résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source