SceneRig : un système à base d'agents pour reconstruire des scènes 3D prêtes pour la simulation à partir d'une seule image

SceneRig est un système agentique, décrit dans un preprint arXiv (v1), qui transforme une seule photographie en scène 3D éditable et prête pour la simulation physique. Il combine des outils géométriques, visuels et physiques pour reconstruire la scène, c'est-à-dire récupérer les objets, les positionner précisément et leur donner une assise physique. Un agent exécute ensuite des boucles d'édition et de validation directement dans un simulateur de physique, jusqu'à obtenir une scène stable. Selon les auteurs, le système améliore la segmentation d'instances, l'apparence des objets et leur placement 3D par rapport à la méthode de référence, sans sacrifier la stabilité physique. Les scènes prédisent aussi plus fidèlement les résultats de politiques sur robot réel, et permettent de rejouer des manipulations enregistrées sans adapter la trajectoire. Le résumé ne donne aucun chiffre, et le nom de la méthode de référence n'y figure pas. L'ampleur réelle des gains reste donc à vérifier dans les tableaux du papier.

L'enjeu est le goulot d'étranglement de la simulation en robotique : produire à grande échelle des scènes variées qui se comportent bien sous manipulation. Beaucoup de méthodes de reconstruction à partir d'une image se contentent de « laisser retomber » les objets après coup avec la physique. Cela déplace souvent les objets et donne des scènes qui ont l'air correctes mais échouent dès qu'un robot les touche. SceneRig contourne ce problème en intégrant la validation physique à la boucle de reconstruction. Le test le plus parlant est la corrélation entre succès en simulation et succès réel, car c'est elle qui permet d'évaluer des politiques (VLA ou autres) sans mobiliser de robots. Pour un intégrateur, cela pourrait réduire le coût de création de jumeaux numériques de postes de travail à partir de simples photos.

Ce travail s'inscrit dans la tendance real-to-sim, où la reconstruction visuelle sert à nourrir l'entraînement et l'évaluation de politiques robotiques, et dans la montée des architectures où un agent LLM ou VLM orchestre des outils spécialisés. Il s'agit d'un preprint non évalué par les pairs. Aucun code, jeu de données ni calendrier de diffusion n'est mentionné dans le résumé, et rien n'indique d'usage industriel à ce stade. La robustesse sur des scènes encombrées ou très éloignées de celles testées reste à démontrer.