Aller au contenu principal
EVIS : un plugin de caméra événementielle ancré dans la physique pour NVIDIA Isaac SimIllustration générée par IA
RecherchearXiv cs.RO 

EVIS : un plugin de caméra événementielle ancré dans la physique pour NVIDIA Isaac Sim

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs du SpikeLab de l'université Johns Hopkins ont publié EVIS, un plugin de caméra événementielle physiquement fondé pour le simulateur NVIDIA Isaac Sim, décrit dans un article déposé sur arXiv (référence 2607.08098) et accompagné d'un dépôt de code ouvert sur GitHub (spikelab-jhu/isaac-sim-event-camera-plugin). L'outil génère des flux d'événements haute fréquence et entièrement annotés directement à l'intérieur du moteur physique d'Isaac Sim, en s'appuyant sur un modèle de contraste log-intensité fidèle au fonctionnement réel des capteurs événementiels, avec mise à jour asynchrone de référence pixel par pixel. Le plugin migre depuis une caméra RGB standard avec peu de modifications et s'intègre à n'importe quelle scène Isaac Sim ou Isaac Lab, héritant ainsi de la physique du simulateur et d'une vérité terrain parfaite image par image. Une option d'interpolation permet de ne rendre que des images clés éparses puis de synthétiser les images intermédiaires par déformation bidirectionnelle par vecteurs de mouvement, rendant possible une génération en temps réel sur un seul GPU. Du bruit capteur et du flou de mouvement optionnels réduisent encore l'écart avec des caméras réelles.

L'enjeu est concret pour la robotique événementielle: les caméras à événements offrent une résolution temporelle de l'ordre de la microseconde, une latence très faible et une large plage dynamique, des atouts pour la perception rapide et le contrôle en boucle fermée. Mais les données labellisées pour un robot et une scène donnés restent rares et coûteuses à collecter, ce qui freine le développement d'algorithmes de perception et de contrôle basés sur ces capteurs. En générant des flux directement exploitables par des réseaux événementiels pré-entraînés, EVIS réduit ce goulot d'étranglement et s'attaque frontalement au problème classique du fossé simulation-réel.

Le projet s'inscrit dans l'écosystème Isaac Sim, largement utilisé par les laboratoires de robotique et les équipes d'apprentissage par renforcement pour l'entraînement en simulation avant déploiement physique. En rendant la simulation événementielle native et configurable au sein d'un outil déjà répandu, les auteurs visent à accélérer les cycles de recherche sur des tâches de perception et de contrôle à haute vitesse, sans attendre la constitution coûteuse de jeux de données réels capteur par capteur.

À lire aussi

1000 Rallies : jeu de données par caméra événementielle et estimation en temps réel de l'état de la balle pour le tennis de table robotique
Illustration générée par IA
1arXiv cs.RO 

1000 Rallies : jeu de données par caméra événementielle et estimation en temps réel de l'état de la balle pour le tennis de table robotique

Des chercheurs ont publié en juin 2026 (arXiv:2606.25620) le premier jeu de données à grande échelle pour la perception par caméra événementielle appliquée au ping-pong robotisé. Le dataset regroupe plus de 1 000 échanges (rallies) enregistrés auprès d'une population variée, des amateurs aux joueurs de niveau élite. Chaque séquence combine le flux événementiel avec 14 caméras haute vitesse synchronisées à 200 images par seconde, utilisées pour générer des labels pseudo-vérité à 1 kHz comprenant la position, la vitesse et l'effet de la balle. À partir de ce corpus, un réseau de neurones convolutif a été entraîné pour estimer conjointement position et vitesse de la balle dans le plan image, robuste aux mouvements de fond produits par le joueur.

UEProphesee (Paris), leader mondial des caméras événementielles, et Stäubli Robotics (Faverges, Haute-Savoie) sont directement impliqués dans le banc expérimental, renforçant la visibilité de la filière capteur et robotique franco-européenne sur la perception haute cadence.

RecherchePaper
1 source
DiffPhysCam : simulation physique différentiable de caméra pour le rendu inverse et l'IA incarnée
Illustration générée par IA
2arXiv cs.RO 

DiffPhysCam : simulation physique différentiable de caméra pour le rendu inverse et l'IA incarnée

Des chercheurs présentent DiffPhysCam, un simulateur de caméra différentiable conçu pour la robotique et l'IA incarnée, décrit dans une version mise à jour d'un article arXiv (2508.08831v2, signé Bo-Hsun Chen). L'outil permet d'optimiser par descente de gradient des pipelines de perception visuelle, une approche impossible avec les moteurs de rendu virtuels classiques. Son pipeline multi-étapes offre un contrôle fin sur les paramètres intrinsèques de la caméra, modélise des artefacts optiques comme le flou de défocalisation, et se calibre à partir de données réelles. DiffPhysCam fonctionne dans les deux sens : rendu direct pour générer des images synthétiques, et rendu inverse pour reconstruire des scènes 3D, y compris l'optimisation des maillages et des textures de matériaux.

RecherchePaper
1 source
Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR
Illustration générée par IA
3arXiv cs.RO 

Apprendre à quelles correspondances se fier : localisation par caméra événementielle pondérée par la confiance dans des cartes LiDAR

Des chercheurs proposent CELL, une méthode de localisation de caméras événementielles (évent cameras) dans des cartes LiDAR préconstruites, qui apprend à pondérer chaque correspondance selon sa fiabilité. Le pipeline de référence traite le problème en deux temps: estimation d'un flux optique dense entre une vue de profondeur rendue depuis la carte et l'image d'événements, puis résolution d'un Perspective-n-Point (PnP) sur les correspondances 3D-2D ainsi obtenues. Les travaux publiés sur arXiv (2610.11967) évaluent le système sur les jeux de données M3ED et DSEC. Face à la base de comparaison LEAR, CELL améliore les résultats sur la majorité des séquences testées, avec une réduction de l'erreur médiane de translation allant jusqu'à 26,9 % et de l'erreur médiane de rotation jusqu'à 15,8 %.

RecherchePaper
1 source
EmbodiedEvo : un agent de code auto-évolutif pour l'IA physique
Illustration générée par IA
4arXiv cs.RO 

EmbodiedEvo : un agent de code auto-évolutif pour l'IA physique

Des chercheurs proposent EmbodiedEvo, un agent de code auto-évolutif pour le contrôle robotique, décrit dans une prépublication arXiv (v2). Le principe: un agent de code observe la scène via une interface programmatique du robot, exécute des programmes de contrôle et les corrige selon l'état physique obtenu, ce qui en fait une politique en boucle fermée sans fine-tuning sur la tâche cible. Les auteurs constatent que cette adaptation intra-épisode ne se conserve pas d'une scène à l'autre: les agents dépensent leurs budgets d'interaction et d'inférence à établir des opérations efficaces et leurs préconditions, et un nouvel agent ne peut pas réutiliser ces découvertes. EmbodiedEvo distille donc le retour physique en « Skills » (code réutilisable) et en « Lessons » (diagnostics).

RecherchePaper
1 source