RecherchePandaily 31 octobre 2026

ACE Robotics et NTU S-Lab présentent Mundo, un modèle du monde qui génère des scènes d'entraînement pour robots à partir de photos

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ACE Robotics et le S-Lab de la Nanyang Technological University (NTU) ont publié Mundo, un modèle de monde qui reconstruit un environnement explorable et interactif à partir de quelques images d'un lieu réel, selon le média chinois Robot Pro daté du 31 octobre. Mundo accepte de 1 à 12 images de contexte et génère de nouvelles vues le long d'une trajectoire de caméra choisie. Avec une seule image, il prolonge le style et la structure visibles vers des zones cachées. Plus il reçoit de photos, moins il doit extrapoler. Pour les grands espaces, il produit des trajectoires de plusieurs dizaines de secondes, voire de minutes, en sélectionnant les photos pertinentes pour chaque segment et en les faisant se chevaucher. Techniquement, un modèle de fondation 3D estime les poses de caméra et la géométrie dense, puis un détecteur 3D place une boîte englobante par objet majeur. Un agent vision-langage corrige ensuite le « programme de scène » (nom, pose, taille, masse et friction de chaque objet) en comparant ses rendus aux photos d'origine, pendant que l'optimisation numérique ajuste position, taille et orientation. Un second agent vérifie la cohérence sans modifier la scène. Le moteur physique MuJoCo calcule mouvements et collisions, et un modèle de diffusion vidéo, un modèle MiniMax référence-to-vidéo affiné sur environ 40 000 paires de vidéos en 640 par 480, restitue le rendu dans l'apparence des images sources. Il génère des clips de 124 images et réutilise les 34 dernières de chaque clip pour assurer la continuité. Les démonstrations montrent des robots naviguant dans l'étage d'un hôtel reconstruit, ouvrant un lave-linge, posant une pomme dans un bol ou empilant des cubes, avec vues caméra tête et poignet et trajectoires enregistrées.

L'intérêt tient à la promesse d'un jumeau numérique spécifique à un site, obtenu en quelques photos plutôt que par un relevé laser ou une modélisation manuelle. Pour un intégrateur, cela viserait à tester une politique de manipulation ou de navigation dans une copie de l'entrepôt, de la cuisine ou de l'hôtel du client avant tout déploiement, et à produire des données d'entraînement synthétiques ancrées dans le réel. Le choix de séparer la physique (MuJoCo, avec masses et frictions explicites) du rendu visuel (diffusion) répond à un problème connu des modèles de monde purement vidéo, qui produisent des scènes plausibles mais physiquement incohérentes. Il faut toutefois rester prudent : les démonstrations sont sélectionnées par les auteurs, aucune évaluation indépendante ni mesure de transfert vers un robot réel n'a été publiée, et la précision des paramètres physiques estimés à partir de photos (masse, friction) reste à démontrer.

Les limites reconnues sont substantielles. La reconstruction prend 10 à 20 minutes, le rendu tourne à environ 1,5 image par seconde sur huit GPU A800 avec 20 pas d'inférence, loin du temps réel nécessaire à une boucle d'entraînement interactive. Les petits objets peuvent sembler flotter et le système n'a pas de mémoire à long terme pour les scènes qui évoluent. Le code et les poids ne sont pas encore disponibles : le dépôt GitHub les annonce pour fin novembre, ce qui reste une promesse tant qu'ils ne sont pas publiés. Mundo s'inscrit dans la série de travaux d'ACE Robotics avec NTU, après le modèle multimodal Puffin-World en open source et ACE-Brain-0.6, un modèle de 9 milliards de paramètres orienté ancrage visuel. Il rejoint un champ concurrent où se côtoient Genie de Google DeepMind, Cosmos de NVIDIA et les approches de reconstruction par splatting gaussien, qui privilégient soit la génération interactive, soit la fidélité géométrique. L'étape à surveiller est la publication des poids en novembre, qui permettra à des tiers de mesurer la fidélité physique et l'utilité réelle pour l'entraînement de politiques robotiques.

Dans nos dossiers

World models

À lire aussi

1arXiv cs.RO

Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes

Being-M0.7 est un modèle monde-action latent pour robots humanoïdes, présenté dans un preprint arXiv (2610.11283v1). Il vise la loco-manipulation, c'est-à-dire la coordination de la marche et de la manipulation en anticipant l'évolution de la scène et les mouvements du corps entier. Ses auteurs s'appuient sur un corpus constitué à partir de plus de 10 000 heures de données brutes centrées sur l'humain. Ce corpus mêle trois types de flux: vidéo seule, mouvement seul, et paires vidéo-mouvement. L'entraînement se fait en trois temps. Un pré-entraînement apprend la dynamique visuelle et la structure cinématique du corps entier. Un « mid-training » robot adapte ensuite ce prior aux points de vue et à la dynamique corporelle des robots. Enfin, un post-entraînement d'action greffe un « action expert » qui combine les représentations prédictives du prior figé avec les images courantes et la proprioception, par attention croisée à portes (gated cross-attention), pour produire des commandes corps entier exécutables. Les auteurs annoncent le meilleur taux de succès agrégé parmi les baselines comparées sur le benchmark SIMPLE. Sur des tâches réelles de loco-manipulation avec un Unitree G1, le modèle égale la meilleure baseline sans la dépasser. Le résumé ne donne ni chiffres de succès, ni liste des tâches, ni nombre d'essais. L'intérêt tient à l'attaque d'un goulot d'étranglement connu: les démonstrations robot sont rares et coûteuses, alors que la vidéo et la capture de mouvement humaines abondent. Leur exploitation se heurte à deux obstacles. Beaucoup de jeux de données n'ont qu'une modalité, et le mouvement humain ne se traduit pas directement en actions robot. Prédire conjointement les états visuels latents futurs et le mouvement pousse les représentations visuelles à encoder la cinématique à venir. L'étape intermédiaire robot et l'action expert servent de pont vers l'exécution. Le résultat réel reste nuancé. L'avantage est net en simulation, mais il disparaît sur le matériel: la parité avec la meilleure baseline sur G1 suggère que l'écart simulation-réel n'est pas résolu et que le gain du pré-entraînement sur données humaines reste à démontrer au-delà de benchmarks maîtrisés. Les intégrateurs doivent y voir une piste de recherche prometteuse pour réduire la dépendance à la téléopération, et non une capacité prête pour le déploiement. Il s'agit d'une publication académique, sans produit, sans pilote industriel ni calendrier de commercialisation. Ce travail s'inscrit dans la vague des modèles monde-action et des VLA (vision-langage-action) appliqués aux humanoïdes, où plusieurs acteurs cherchent à exploiter la vidéo humaine à grande échelle. On y trouve des modèles généralistes de type Pi-0, GR00T ou Helix, et des approches qui prédisent le futur visuel pour guider l'action. Le Unitree G1, humanoïde abordable très répandu dans les laboratoires, sert de plateforme de validation commune, ce qui facilite la comparaison entre équipes. La version «0.7» laisse penser à une série de modèles Being, dont les itérations précédentes ne sont pas détaillées ici. Les suites à surveiller sont la publication du code, des poids et des protocoles d'évaluation, ainsi que des tests sur des plateformes plus variées et des tâches plus longues. Une confirmation indépendante sur matériel réel dira si l'avantage observé en simulation se maintient.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

RoboGene : un cadre à base d'agents pour générer des tâches diversifiées en pré-entraînement de modèles VLA

RoboGene est un framework agentique de génération de tâches de manipulation, conçu pour alimenter le pré-entraînement de modèles VLA (vision-langage-action). Il cible trois types de robots : bras simple, bras double et plateformes mobiles. Le système repose sur trois briques : un échantillonnage orienté diversité pour couvrir largement objets, scènes et compétences, une auto-réflexion agentique qui évalue la qualité de chaque tâche proposée, et une mémoire de retours validés par des humains, qui sert à vérifier l'exécution réelle et à affiner le processus en continu. Les auteurs ont collecté 18 000 trajectoires réelles et introduit des métriques de faisabilité et de diversité des tâches. Ils affirment que RoboGene surpasse des modèles de fondation de pointe comme GPT-4o et Gemini 2.5 Pro pour proposer des tâches. Les VLA entraînés sur ces données obtiennent de meilleurs taux de succès et une meilleure généralisation. Le jeu de données est publié sur Hugging Face et ModelScope, sous le nom d'organisation X-Humanoid. Il s'agit d'un travail de recherche, sans produit commercialisé ni déploiement industriel. L'enjeu est de déplacer le goulot d'étranglement de la robotique généraliste. Contrairement aux données web, les données d'interaction physique coûtent cher en temps opérateur, en matériel et en supervision. Ajouter des démonstrations ne suffit donc pas : leur valeur dépend de la variété des comportements couverts. RoboGene traite la curation des tâches comme un levier à part entière, en amont de la téléopération. Pour un intégrateur ou un responsable de programme de collecte, cela revient à optimiser le budget de démonstrations plutôt que son seul volume. Le résultat va aussi à l'encontre d'une idée répandue : les grands modèles généralistes ne sont pas de bons planificateurs de tâches physiques, car ils proposent des consignes peu faisables ou redondantes sans ancrage dans l'exécution réelle. Le rôle de la validation humaine dans la boucle montre que l'automatisation complète n'est pas encore atteinte. Les gains sont mesurés avec les métriques maison des auteurs, sur 18 000 trajectoires, ce qui reste modeste face aux corpus des grands laboratoires. La portée à l'échelle reste donc à démontrer. Le contexte est celui d'une course aux modèles de fondation robotiques, où Pi-0, GR00T et Helix misent sur de gros volumes de démonstrations, de simulation ou de données humaines. Le travail s'inscrit dans l'écosystème X-Humanoid, structure de recherche chinoise en humanoïdes, et rejoint la tendance à publier des jeux de données ouverts. Cette version v3 de l'article remplace des versions antérieures. Les prochaines étapes à surveiller sont des comparaisons sur des benchmarks communs, une réduction de la part de validation humaine et une éventuelle adoption par les équipes qui constituent des corpus de pré-entraînement.

RecherchePaper

1 source

3arXiv cs.RO

DreamTrue : un modèle du monde robotique fidèle aux actions, grâce à un post-entraînement contrefactuel

DreamTrue, un modèle du monde pour robots publié sur arXiv (2610.12468), vise à prédire des vidéos fidèles aux actions commandées et physiquement plausibles. Il est multi-vues et inter-embodiments, c'est-à-dire entraîné pour fonctionner sur plusieurs types de robots. Les auteurs, regroupés derrière la page projet brave-eai, partent de deux obstacles des jeux de données robotiques existants. Une calibration imprécise dégrade le suivi des actions. Une couverture limitée des interactions ratées biaise les prédictions vers des issues réussies. Pour y répondre, l'équipe projette les trajectoires d'actions en conditions dans l'espace image, puis applique une calibration géométrique hors ligne qui les aligne sur les vidéos cibles. Elle ajoute un post-entraînement contrefactuel, qui modifie les trajectoires enregistrées et génère les vidéos futures sous un éventail plus large d'actions et de configurations de contact. Faute de vérité terrain appariée pour ces futurs, elle a construit un jeu de vidéos annotées par des humains, couvrant les défauts du robot, des objets et de l'interaction. Il sert à entraîner un modèle de récompense vidéo incarné, dont les scores guident un post-entraînement par apprentissage par renforcement. Sur la plateforme AgiBot, DreamTrue annonce l'état de l'art en suivi d'actions et fait passer le taux de défauts d'interaction, évalué par des humains, de 48,12 % à 6,25 %. Il se classe premier de la piste « world model » de l'AgiBot World Challenge 2026. L'enjeu dépasse le classement. Les modèles du monde servent de plus en plus de simulateurs appris pour évaluer des politiques, générer des données synthétiques ou planifier, et leur défaut majeur est l'optimisme : un modèle entraîné surtout sur des démonstrations réussies « hallucine » des saisies qui aboutissent, même quand l'action commandée devrait échouer. Un tel biais rend le modèle inutile pour tester une politique, puisqu'il ne reproduit pas les échecs. L'approche contrefactuelle, couplée à une récompense apprise sur des défauts annotés, s'attaque directement à ce problème. La baisse de 48 % à 6 % est spectaculaire, mais elle repose sur une évaluation humaine dont le protocole, la taille d'échantillon et la définition des défauts restent à examiner. Elle est mesurée sur un seul robot, ce qui laisse ouverte la généralisation inter-embodiments revendiquée. Il s'agit par ailleurs d'un préprint, sans déploiement réel ni usage en boucle fermée démontré. Le travail s'inscrit dans la course aux modèles du monde robotiques, où se côtoient des systèmes de type Cosmos de NVIDIA, Genie de Google DeepMind et les efforts autour des jeux de données AgiBot World. AgiBot, le constructeur chinois, utilise son challenge pour fédérer la recherche autour de sa plateforme et de ses données, ce qui oriente aussi les résultats vers son matériel. Les suites logiques sont la publication du code et des poids, une validation sur d'autres robots, et surtout la preuve qu'un modèle du monde ainsi calibré classe correctement des politiques réelles, ce qui reste le test décisif pour les intégrateurs et les équipes de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Pré-entraînement d'actions latentes multi-vues pour l'apprentissage robotique inter-morphologies à partir de vidéos

Des chercheurs du laboratoire LearnSysLab publient sur arXiv (2610.27794) une méthode de préentraînement par actions latentes multi-vues, destinée à apprendre des compétences robotiques à partir de vidéos sans étiquettes d'action. Les modèles d'actions latentes (LAM) déduisent des actions abstraites entre deux images pour transformer une vidéo brute en signal de supervision. Les LAM existants n'observent qu'une seule caméra, ce qui rend l'action 6D du robot ambiguë, avec des mouvements hors plan et des occlusions mal résolus. La nouvelle architecture ingère plusieurs caméras synchronisées et utilise l'attention croisée pour lever ces ambiguïtés de profondeur avant de compresser l'information en actions latentes. Celles-ci alimentent une politique où un expert latent et un expert d'action sont couplés par flow matching séquentiel autour d'un backbone VLM gelé. Avec deux vues, la décodabilité des actions 6D réelles progresse de 17 % par rapport à une seule vue. Le taux de réussite en aval gagne 13,5 % contre 6,2 % pour le LAM mono-vue. Pour les intégrateurs et les équipes qui financent de coûteuses collectes de données par téléopération, le résultat est pertinent : une seconde caméra coûte peu, et elle surpasse l'ajout de quatre embodiments supplémentaires. Multiplier par cent les données mono-vue ne suffit pas à retrouver les mouvements hors plan, ce qui indique qu'un goulot structurel d'observation ne se résout pas par l'échelle seule. Un seul embodiment croisé suffit au transfert de compétences, ce qui réduit la dépendance à des jeux de démonstrations propres à chaque robot. Sur matériel réel, des démonstrations issues d'une main humaine améliorent le taux de réussite de 20 % par rapport à des politiques entraînées sur les seules actions, sur 850 essais, un volume plus crédible que les démonstrations isolées. Les auteurs nuancent toutefois : vidéo et données robot sont complémentaires, et les bénéfices dépendent de la tâche. Il ne s'agit donc pas d'un remplacement de la téléopération. Ces gains restent mesurés en laboratoire, sans déploiement industriel ni cadence publiée. Ces travaux s'inscrivent dans la lignée des modèles d'actions latentes appliqués aux vidéos du web ou aux vidéos humaines, et des VLA (vision-langage-action) à base de flow matching comme Pi-0. Ils répondent à une limite de ces approches, qui reposent surtout sur une vue unique, alors que les cellules robotisées industrielles disposent souvent de plusieurs caméras. Les acteurs qui misent sur la vidéo humaine à grande échelle, dont Figure avec Helix, Tesla pour Optimus et NVIDIA avec GR00T, pourraient intégrer cette logique multi-vues dans leurs pipelines de préentraînement. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, ainsi que la publication du code et des données via le site du projet. Aucun partenaire industriel ni calendrier de pilote n'est annoncé à ce stade.

RecherchePaper

1 source