Aller au contenu principal
Awomo-SimDataEngine : génération de mondes prêts pour la simulation à base d'agentsIllustration générée par IA
RecherchearXiv cs.RO 

Awomo-SimDataEngine : génération de mondes prêts pour la simulation à base d'agents

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Awomo-SimDataEngine, un système agentique décrit dans un preprint arXiv (2610.02274), relie la génération d'actifs et de scènes 3D à la synthèse de démonstrations robotiques. Il s'appuie sur des services d'actifs partagés fournissant des objets rigides et articulés, dont des pièces et articulations générées via ISArt. Deux voies de génération de scènes coexistent : Unravel reconstruit des scènes éditables à partir d'images, tandis que SimForge construit des environnements d'une ou plusieurs pièces à partir de texte. Un « harnais » en graphe orchestre construction, validation et réparation bornée : une défaillance est routée vers le module fautif sans perdre l'état des éléments intacts. PolicyForge associe ensuite les mondes validés à des tâches et à des morphologies de robot pour produire des démonstrations rejouables. Sur le benchmark LIBERO-Plus, basé sur MuJoCo, le co-entraînement avec des démonstrations générées sous Isaac Sim fait passer le taux de réussite global d'un World-Action Model (WAM) de 77,17 % à 89,43 %. Les gains atteignent 31,66 points sur les tâches de type « goal » et 6,25 points sur les tâches « spatial ». Les auteurs reconnaissent des progrès plus limités sur les tâches à long horizon.

L'intérêt tient moins au modèle qu'à la chaîne de production de données. Le goulot d'étranglement du apprentissage par imitation est de plus en plus la qualité des scènes : une image plausible ne suffit pas, il faut des objets manipulables, des placements physiquement valides et des tâches reproductibles. En intégrant validation et réparation automatiques, le système traite ce problème en amont plutôt que par filtrage manuel. Le résultat est aussi un signal pour le transfert inter-simulateurs : des données créées sous Isaac Sim améliorent une politique évaluée sous MuJoCo, ce qui suggère que le gain ne vient pas d'un simple recouvrement entre moteurs. Il faut toutefois relativiser : il s'agit d'un seul benchmark simulé, sans transfert vers un robot réel, et le faible gain sur les horizons longs montre que l'enchaînement de sous-tâches reste un point dur. Le chiffre global de 12,3 points est aussi à lire à la lumière d'une base WAM déjà élevée, et les auteurs ne détaillent pas dans le résumé le volume de données ajouté.

Ce travail s'inscrit dans la course à la génération de données synthétiques pour les modèles vision-langage-action (VLA) et les modèles de monde. Des approches comme la génération procédurale de scènes, les pipelines de type Isaac Sim/Omniverse de NVIDIA ou les jeux de données issus de la téléopération visent le même objectif : réduire la dépendance à la collecte coûteuse sur robot réel. Aucune entreprise, aucun produit commercial ni calendrier de déploiement n'est annoncé, et aucun acteur européen n'est cité dans ce résumé. Les prochaines étapes logiques seraient une validation sur matériel réel, une évaluation sur d'autres benchmarks et une amélioration de la génération de tâches longues, aujourd'hui le maillon faible.

À lire aussi

SceneSmith : génération à base d'agents de scènes intérieures prêtes pour la simulation
Illustration générée par IA
1arXiv cs.RO 

SceneSmith : génération à base d'agents de scènes intérieures prêtes pour la simulation

SceneSmith est un framework agentique hiérarchique, présenté dans un preprint arXiv (2602.09153v2), qui génère des environnements intérieurs prêts pour la simulation robotique à partir de prompts en langage naturel. Le pipeline décompose la génération en trois étapes successives : layout architectural, placement de meubles, peuplement d'objets de petite taille. Chaque étape est pilotée par un trio d'agents VLM (vision-language model) jouant les rôles de designer, critique et orchestrateur. Pour les objets statiques, SceneSmith utilise la synthèse texte-vers-3D ; pour les objets articulés (portes, tiroirs, armoires), il interroge des bases de données d'assets existantes et estime automatiquement les propriétés physiques.

RecherchePaper
1 source
EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée
Illustration générée par IA
2arXiv cs.RO 

EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée

Une équipe de recherche a publié EmbodiedGen V2 sur arXiv (2607.07459v1), un moteur génératif de mondes 3D destiné à produire des environnements de simulation directement exploitables pour l'entraînement de robots. Le problème visé est concret : générer des assets 3D "sim-ready" est devenu rapide, mais les assembler en environnements de tâches réellement utilisables pour l'apprentissage reste largement manuel, ce qui limite le passage à l'échelle de l'apprentissage en boucle fermée. EmbodiedGen V2 propose une représentation unifiée qui relie assets compatibles multi-simulateurs, affordances d'interaction, mondes orientés tâches, scènes multi-pièces à grande échelle, et un système de "Vibe Coding" avec état, le tout dans un pipeline génératif, éditable et réutilisable.

RechercheActu
1 source
DiagGen : génération à base d'agents d'objets déformables avec diagnostics par simulation pour la robotique
Illustration générée par IA
3arXiv cs.RO 

DiagGen : génération à base d'agents d'objets déformables avec diagnostics par simulation pour la robotique

DiagGen est un framework agentique de recherche qui transforme une simple photo prise en conditions réelles en un asset déformable prêt pour la simulation robotique, via une boucle génération-simulation-diagnostic-correction. Le système construit d'abord une géométrie décomposée par parties ainsi que des paramètres matériaux, puis un agent basé sur un VLM (vision-language model) sélectionne les régions sémantiquement informatives de l'objet, les sonde dans un simulateur physique, observe la réponse du matériau simulé et transmet des indices de correction ciblés à l'étape de génération responsable de l'erreur. Les auteurs ont testé l'approche sur 40 assets et montrent que ce diagnostic basé sur la simulation produit des indices de correction utiles et améliore modérément la qualité des objets déformables générés.

RecherchePaper
1 source
GenPHRI : simulation générative à base d'agents pour l'interaction physique homme-robot
Illustration générée par IA
4arXiv cs.RO 

GenPHRI : simulation générative à base d'agents pour l'interaction physique homme-robot

Un laboratoire de robotique universitaire (RCHI Lab) publie GenPHRI, une nouvelle version (arXiv:2604.08664v2, article de remplacement) d'un framework de simulation générative pour l'interaction physique humain-robot, ou pHRI. Le système transforme une simple description en langage naturel en scénario de simulation complet, comprenant une pièce meublée, une pose humaine adaptée à la tâche et un robot exécutant l'interaction demandée. L'architecture s'appuie sur des agents fondés sur des modèles vision-langage : un agent générateur et un agent critique itèrent sur chaque composant de la scène, pendant qu'un agent orchestrateur arbitre les décisions entre les différentes étapes de construction.

RecherchePaper
1 source