RecherchearXiv cs.RO 26 octobre 2026

SceneBloom : génération d'environnements intérieurs à base d'agents, aux agencements réalistes et variés, pour l'IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SceneBloom, un framework agentique publié sur arXiv (2610.32978) et disponible en open source sur GitHub, vise à générer des environnements d'intérieur à la fois réalistes, variés et directement exploitables en simulation pour entraîner des agents incarnés. Le système combine un échantillonnage de dispositions visuelles et une « compilation » 3D guidée par des contrats. Un échantillonneur hiérarchique s'appuie sur des a priori de diffusion pour placer les meubles par zones fonctionnelles. Un compilateur extrait ensuite les relations spatiales de chaque proposition pour guider l'ajustement géométrique et la correction locale des poses. Sur cinq types de pièces, les auteurs annoncent la meilleure qualité visuelle et la meilleure stabilité physique parmi les méthodes comparées. SceneBloom est aussi la seule à ne produire aucune collision de maillage ni objet hors limites détecté. Ses agencements sont plus proches de la distribution de vraies pièces que ceux de toutes les références testées.

Le résultat le plus parlant pour les équipes robotique concerne l'entraînement. Des politiques de navigation vers un objet, entraînées sur ces scènes générées, obtiennent un meilleur taux de succès sur des scans réels non vus que des politiques entraînées sur un nombre égal de scans réels d'entraînement. Si ce résultat se confirme, il suggère que des environnements synthétiques bien contraints peuvent remplacer, voire dépasser, la capture coûteuse de pièces réelles, un goulot d'étranglement connu pour le sim-to-real. Il montre aussi que la validité physique (absence de collisions, de pénétrations) compte autant que le réalisme visuel. Il faut toutefois rester prudent : l'évaluation porte sur la navigation vers des objets, pas sur la manipulation, qui exige des contacts et une physique bien plus fines. Les chiffres détaillés, les baselines et les jeux de scans utilisés ne figurent pas dans le résumé, et le gain reste à vérifier sur d'autres tâches et d'autres simulateurs.

Ce travail s'inscrit dans une série de méthodes de génération de scènes. Les approches guidées par le langage, fortes en planification sémantique mais faibles en ancrage spatial précis, coexistent avec celles qui exploitent des modèles génératifs visuels, riches en a priori mais dont les sorties ne sont pas des scènes 3D physiquement valides. SceneBloom cherche à combler ce fossé en séparant l'idée de disposition de sa vérification géométrique. Pour les acteurs qui développent des modèles généralistes de type VLA ou des politiques de navigation, la disponibilité du code permet une reproduction rapide. La suite logique serait de tester la méthode sur des tâches de manipulation et des pièces plus complexes, ainsi que sur des robots réels, avant d'en tirer des conclusions pour un usage industriel.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

De l'exécution passive à l'exploration active : la manipulation incarnée à base d'agents en environnements réalistes

Une équipe de recherche publie sur arXiv (référence 2609.29091, catégorie "new", soumission datée du 29 septembre 2026 selon le numéro d'article) un framework agentique de manipulation robotique baptisé approche d'exploration active, conçu pour dépasser les limites des systèmes actuels qui exécutent passivement des instructions prédéfinies. L'architecture repose sur trois modules collaboratifs : un module de planification pour le raisonnement de tâche à haut niveau, un module de perception pour la compréhension de la scène visuelle, et un module d'exécution pour la manipulation bas niveau. Les auteurs y ajoutent une stratégie d'entrelacement fin entre perception et exécution, qui couple étroitement le retour visuel à l'exécution des compétences motrices pour renforcer la robustesse de l'exploration. Le système est testé sur une tâche appelée Find-and-Place dans un environnement qualifié de réaliste, où l'objet cible n'est pas visible au départ et doit être activement localisé avant d'être saisi et déposé, en présence de distracteurs et d'indices sémantiques textuels. L'abstract ne fournit ni chiffres de performance, ni comparaison quantitative avec des méthodes concurrentes, ni détails matériels comme le payload ou les degrés de liberté du bras utilisé : il s'agit à ce stade d'une publication de recherche, pas d'un produit ou d'un déploiement commercial. L'intérêt pour l'industrie robotique tient au problème ciblé plus qu'aux résultats chiffrés. La plupart des architectures agentiques embarquées actuelles, y compris certains modèles vision-langage-action déployés en usine ou en entrepôt, restent conçues pour exécuter des instructions dans un environnement largement observable dès le départ. Ce travail pointe une limite réelle et documentée du secteur : dès qu'une cible est cachée, mélangée à des distracteurs ou seulement décrite par du texte, ces systèmes échouent faute de stratégie d'exploration active. Pour les intégrateurs qui visent des cas d'usage domestiques ou logistiques avec désordre et occlusions partielles, ce type de recherche indique que le sujet de l'autonomie perceptive sous observabilité partielle reste ouvert, contrairement à l'idée reçue que les pipelines VLA actuels suffiraient à généraliser à toute scène réelle. Ce papier s'inscrit dans la lignée des travaux récents sur les systèmes agentiques à long horizon pour la manipulation, un axe de recherche actif depuis l'essor des modèles vision-langage-action capables de planification multi-étapes. Il ne cite pas d'acteur industriel ni de robot commercial précis, se positionnant comme une contribution méthodologique plutôt qu'une annonce produit. Aucun calendrier de transfert vers un système déployé, ni partenariat industriel, n'est mentionné à ce stade ; les suites logiques attendues seraient une extension à d'autres tâches de manipulation et une évaluation comparative face aux frameworks agentiques existants.

RecherchePaper

1 source

2arXiv cs.RO

SceneSmith : génération à base d'agents de scènes intérieures prêtes pour la simulation

SceneSmith est un framework agentique hiérarchique, présenté dans un preprint arXiv (2602.09153v2), qui génère des environnements intérieurs prêts pour la simulation robotique à partir de prompts en langage naturel. Le pipeline décompose la génération en trois étapes successives : layout architectural, placement de meubles, peuplement d'objets de petite taille. Chaque étape est pilotée par un trio d'agents VLM (vision-language model) jouant les rôles de designer, critique et orchestrateur. Pour les objets statiques, SceneSmith utilise la synthèse texte-vers-3D ; pour les objets articulés (portes, tiroirs, armoires), il interroge des bases de données d'assets existantes et estime automatiquement les propriétés physiques. Les résultats mesurés : 3 à 6 fois plus d'objets que les méthodes concurrentes, moins de 2 % de collisions inter-objets, 96 % des objets stables sous simulation physique. Une étude utilisateur conduite auprès de 205 participants donne à SceneSmith 92 % de taux de victoire sur le réalisme et 91 % sur la fidélité aux prompts face aux baselines -- des chiffres à interpréter avec prudence, les études perceptuelles restant par nature subjectives. L'enjeu central est le sim-to-real gap : les environnements synthétiques actuels sont trop épars et trop ordonnés pour que les politiques apprises soient transférables dans un foyer réel. SceneSmith cible directement ce problème en générant des scènes denses et encombrées, avec des objets articulés et des propriétés physiques cohérentes. Si les métriques annoncées résistent à une évaluation indépendante, cela réduit significativement le coût de constitution de jeux de données de simulation pour l'entraînement de politiques de manipulation, qu'il s'agisse de VLA ou de diffusion policies -- un besoin direct d'équipes comme Physical Intelligence ou Skild AI. Les auteurs démontrent que le pipeline s'intègre dans une boucle d'évaluation automatique de politiques robotiques, ce qui est précisément l'étape manquante pour industrialiser le cycle entraînement-évaluation en simulation. La génération automatique d'environnements intérieurs pour la robotique repose depuis des années sur des datasets à annotation manuelle coûteuse comme AI2-THOR, iGibson ou BEHAVIOR-1K, ou sur la génération procédurale (ProcTHOR), dont les scènes manquent de réalisme et de densité. SceneSmith s'inscrit dans une tendance plus large d'orchestration par LLM et VLM pour la génération 3D, une voie également explorée par Holodeck (Allen Institute for AI) et RoomDreamer. Aucun partenariat industriel ni timeline de déploiement n'est mentionné dans le papier, ce qui en fait pour l'instant une contribution de recherche, sans acteur français ou européen identifiable dans l'écosystème décrit. La connexion directe à l'évaluation de politiques signale néanmoins une ambition claire d'intégration dans des pipelines d'entraînement réels, à mesure que la course aux robots domestiques s'intensifie.

RecherchePaper

1 source

3arXiv cs.RO

ProAct : génération de mouvement en flux continu et raisonnement à base d'agents pour l'interaction sociale incarnée en temps réel

Une preprint arXiv révisée (2602.14048v2) présente ProAct, un framework a double système pour l'interaction sociale incarnée en temps réel, déployé sur un robot humanoïde. L'architecture associe un « Systeme Comportemental » a faible latence, qui génère en continu parole, gestes et mouvements, a un « Systeme Cognitif » plus lent, dote d'une mémoire et d'un module de prédiction de la motivation de l'utilisateur, qui analyse dialogue et contexte visuel pour décider quand prendre l'initiative plutôt que réagir. Le mouvement est produit par un modèle en flow-matching conditionne par l'intention, avec une branche ControlNet découplée qui traduit les décisions cognitives en gestes non verbaux sans casser la fluidité de l'interaction. Le framework a été valide par des études utilisateurs réelles, des benchmarks de mouvement et un nouveau benchmark dédié, ProActBench, mais le résume ne fournit aucun chiffre de performance précis. L'enjeu dépasse la démonstration : la plupart des agents conversationnels et robots sociaux restent réactifs, incapables de décider seuls du bon moment pour intervenir, ce qui limite leur naturel pour l'assistance a domicile, l'accueil ou le service client. En couplant raisonnement lent et génération de mouvement rapide, ProAct rejoint une tendance déjà visible chez d'autres acteurs de la robotique incarnée, comme les architectures a deux systèmes de Figure (Helix) ou de NVIDIA (GR00T N1). La validation sur robot physique et utilisateurs réels, plutôt qu'en simulation, va dans le sens d'un rapprochement entre démonstration et usage concret, même si l'absence de métriques chiffrées invite a la prudence sur l'ampleur réelle des gains. Le papier s'inscrit dans un mouvement de recherche plus large sur les architectures cognition-action a deux vitesses, popularisées par les modèles vision-langage-action récents comme Pi-0 ou GR00T N2, ici transposées de la manipulation d'objets vers l'interaction sociale. Aucune entreprise ni laboratoire n'est nomme dans le résume, et aucun calendrier de commercialisation n'est mentionne : il s'agit d'une contribution académique publiée sur arXiv, dont l'apport tient autant au framework ProAct qu'a la création de ProActBench, appelé a devenir une référence pour comparer la proactivité des futurs agents sociaux. Les prochaines étapes attendues relèvent donc de l'adoption par la communauté de recherche plutôt que d'un déploiement commercial immédiat.

RecherchePaper

1 source

4arXiv cs.RO

Vers une intelligence incarnée générale : intégrer modèles de langage, bases de connaissances et raisonnement pour les agents IA de nouvelle génération

Une équipe de chercheurs publie sur arXiv (référence 2608.19794v1, article de type "cross-listing") un travail de synthèse intitulé "Towards general embodied intelligence: integrating large language models, knowledge bases, and reasoning capabilities to build the next generation of AI agents". Il ne s'agit pas d'un produit ou d'un robot testé en conditions réelles, mais d'une revue conceptuelle qui analyse la convergence entre grands modèles de langage (LLM), bases de connaissances structurées (KB) et capacités de raisonnement (RA), envisagée comme trajectoire vers une intelligence incarnée générale (général embodied intelligence, GEI). Les auteurs passent en revue les architectures de LLM, leurs méthodes de pré-entraînement et leurs mécanismes d'inférence, ainsi que leur articulation avec des sources de connaissances externes et des cadres de raisonnement logique structuré. Ils examinent également les paradigmes d'intelligence incarnée dans lesquels un agent apprend et agit directement dans un environnement physique. Le papier propose un cadre conceptuel censé illustrer la synergie entre LLM, bases de connaissances, raisonnement et incarnation physique, présenté explicitement comme un modèle directeur pour la perception, le raisonnement et l'action, et non comme une architecture d'ingénierie implémentée ou testée. L'intérêt de ce travail pour l'industrie robotique tient moins à une avancée technique démontrée qu'à la mise en évidence de l'écart persistant entre les promesses des modèles vision-langage-action (VLA) déjà déployés commercialement et les briques encore manquantes pour une véritable autonomie incarnée. En identifiant cinq verrous précis, déploiement efficace des LLM en embarqué, intégration en boucle fermée avec les bases de connaissances, raisonnement hybride symbolique-neuronal, ancrage perception-action, et apprentissage continu, les auteurs formalisent ce que les intégrateurs et décideurs B2B pressentent déjà empiriquement sur le terrain. Ce type de synthèse s'inscrit dans un mouvement plus large de la recherche académique cherchant à consolider, après plusieurs années de publications éparses sur les agents LLM et la robotique fondée sur les modèles de fondation, une feuille de route commune. Le document ne mentionne ni acteur industriel spécifique ni calendrier de déploiement, et se positionne comme une contribution de cadrage théorique destinée à orienter les travaux futurs plutôt qu'à annoncer un système opérationnel.

RecherchePaper

1 source