Aller au contenu principal
SPEAR : un simulateur d'IA incarnée photoréaliste pour la rechercheIllustration générée par IA
RecherchearXiv cs.RO 

SPEAR : un simulateur d'IA incarnée photoréaliste pour la recherche

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche présente SPEAR (Simulator for Photorealistic Embodied AI Research), un nouveau simulateur conçu pour entraîner des agents incarnés (embodied agents) et générer des données visuelles synthétiques photoréalistes. Publié sur arXiv début juillet 2026, SPEAR se présente comme une bibliothèque Python capable de se connecter à n'importe quelle application Unreal Engine (UE) et de la piloter via une architecture de plugins modulaires. Elle expose plus de 14 000 fonctions UE uniques à Python, soit un gain d'un ordre de grandeur en fonctionnalités programmables par rapport aux simulateurs UE existants. Côté performance, une seule instance de SPEAR peut rendre des images photoréalistes en 1920x1080 directement dans un tableau NumPy à 73 images par seconde, également dix fois plus rapide que les plugins UE existants, tout en fournissant des modalités de vérité terrain inédites, comme la décomposition intrinsèque non diffuse, les IDs de matériaux ou les paramètres de shading physiquement basé (PBR).

Pour un ingénieur en robotique ou en IA incarnée, l'enjeu dépasse la simple prouesse technique : la plupart des simulateurs photoréalistes actuels souffrent d'un compromis entre réalisme visuel et vitesse de rendu, ou entre flexibilité de programmation et généralité. En combinant vitesse élevée, richesse des modalités de sortie et contrôle programmatique fin de scènes UE complexes, SPEAR vise à réduire l'écart entre simulation et réalité (sim-to-real) pour l'entraînement d'agents visuels, un point critique pour la robotique mobile, les véhicules autonomes et les modèles vision-langage-action (VLA).

Les chercheurs démontrent l'outil sur des cas variés : contrôle de multiples agents aux espaces d'action distincts (humains, voitures, robots) dans des projets UE existants, rendu d'environnements urbains à grande échelle, manipulation des systèmes de génération procédurale de contenu d'UE, rendu multi-vues synchronisé de visages humains détaillés, co-simulation avec le moteur physique MuJoCo, et édition de scènes en langage naturel via un assistant de code IA. SPEAR s'inscrit dans la lignée des simulateurs bâtis sur Unreal Engine comme AirSim ou CARLA, mais cherche à en dépasser les limites de généralité et de vitesse.

À lire aussi

Pelican-Sim 1.0 : un simulateur de modèle du monde généraliste pour l'IA incarnée
Illustration générée par IA
1arXiv cs.RO 

Pelican-Sim 1.0 : un simulateur de modèle du monde généraliste pour l'IA incarnée

Un rapport technique publié sur arXiv (2609.12036v1) présente Pelican-Sim 1.0, un simulateur de modèle du monde pour l'intelligence incarnée qui prédit les observations visuelles futures à partir d'une image et d'une action robotique. Son architecture combine un espace d'action unifié à 28 dimensions couvrant la plupart des morphologies robotiques, une injection action-vision par vidéos rendues via des modèles URDF (PSNR +0,904), des couches sparse mixture-of-experts réduisant les conflits entre modalités (FVD -6,530), et une distillation en quatre étapes accélérant la génération de 5,67x face à un modèle à 35 étapes. Entraîné sur environ un million de trajectoires réelles et simulées, il gagne +4,636 de PSNR sur AgiBotWorld Beta, +2,080 sur RoboMIND et +10,343 sur RoboTwin.

RecherchePaper
1 source
EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée
Illustration générée par IA
2arXiv cs.RO 

EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée

Une équipe de recherche a publié EmbodiedGen V2 sur arXiv (2607.07459v1), un moteur génératif de mondes 3D destiné à produire des environnements de simulation directement exploitables pour l'entraînement de robots. Le problème visé est concret : générer des assets 3D "sim-ready" est devenu rapide, mais les assembler en environnements de tâches réellement utilisables pour l'apprentissage reste largement manuel, ce qui limite le passage à l'échelle de l'apprentissage en boucle fermée. EmbodiedGen V2 propose une représentation unifiée qui relie assets compatibles multi-simulateurs, affordances d'interaction, mondes orientés tâches, scènes multi-pièces à grande échelle, et un système de "Vibe Coding" avec état, le tout dans un pipeline génératif, éditable et réutilisable.

RechercheActu
1 source
Uranus : la nouvelle infrastructure de simulation pour l'IA incarnée
Illustration générée par IA
3arXiv cs.RO 

Uranus : la nouvelle infrastructure de simulation pour l'IA incarnée

Une équipe de recherche a publié sur arXiv (2609.24815, en ligne depuis le 22 septembre 2026) Uranus, un simulateur robotique piloté par les données, construit autour d'un modèle de diffusion autorégressif conditionné par des trajectoires articulaires. Le système reçoit en ligne les trajectoires futures de position articulaire et génère, sans horizon fixe, une image latente par pas de temps, équivalant à quatre images RGB, à 24 images par seconde après optimisation de l'inférence. Il propose aussi une interface unifiée pour une génération multi-vues synchronisée, compatible avec différentes morphologies de robots et configurations de caméras. Les auteurs publient le code et les poids du modèle après évaluation sur données en distribution et hors distribution.

RecherchePaper
1 source
DiffPhysCam : simulation physique différentiable de caméra pour le rendu inverse et l'IA incarnée
Illustration générée par IA
4arXiv cs.RO 

DiffPhysCam : simulation physique différentiable de caméra pour le rendu inverse et l'IA incarnée

Des chercheurs présentent DiffPhysCam, un simulateur de caméra différentiable conçu pour la robotique et l'IA incarnée, décrit dans une version mise à jour d'un article arXiv (2508.08831v2, signé Bo-Hsun Chen). L'outil permet d'optimiser par descente de gradient des pipelines de perception visuelle, une approche impossible avec les moteurs de rendu virtuels classiques. Son pipeline multi-étapes offre un contrôle fin sur les paramètres intrinsèques de la caméra, modélise des artefacts optiques comme le flou de défocalisation, et se calibre à partir de données réelles. DiffPhysCam fonctionne dans les deux sens : rendu direct pour générer des images synthétiques, et rendu inverse pour reconstruire des scènes 3D, y compris l'optimisation des maillages et des textures de matériaux.

RecherchePaper
1 source