RecherchearXiv cs.RO 2 novembre 2026

Voir et imaginer ne font qu'un : génération vidéo et perception 4D unifiées pour la modélisation d'un monde incarné

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

GenSight, un modèle de monde incarné (embodied world model) présenté sur arXiv en octobre 2026, regroupe dans un seul transformeur de diffusion vidéo (DiT) préentraîné deux capacités habituellement séparées : la génération de vidéo future et la perception dense. Le modèle manipule une représentation spatio-temporelle unifiée couvrant quatre modalités : la vidéo, la profondeur, la segmentation de l'embodiment (le corps du robot ou de la main) et le flux optique 2D relatif à la première image. Un backbone DiT partagé et une modulation légère par tâche permettent de prédire toutes ces sorties dans la même architecture. L'ensemble est optimisé conjointement dans un espace commun de prédiction de vitesse (velocity prédiction), propre aux modèles de diffusion. À l'inférence, deux modes coexistent : une génération vidéo multi-étapes accompagnée de prédictions denses alignées, et une perception dense en une seule étape à partir d'une vidéo observée. L'entraînement s'appuie sur des données de manipulation issues de plusieurs plateformes robotiques et d'interactions mains humaines. Le résumé ne chiffre ni la taille du modèle ni les benchmarks, et se borne à parler de « fortes performances ».

L'intérêt pour l'industrie tient à l'abandon des chaînes spécialisées par modalité. Aujourd'hui, un système robotique associe souvent un générateur vidéo, un estimateur de profondeur, un segmenteur et un module de flux optique, chacun avec ses erreurs et ses incohérences. En partageant les représentations, GenSight cherche une cohérence croisée entre apparence, géométrie, sémantique et mouvement, et fait profiter la perception des priors spatio-temporels appris par la génération. Si cela se confirme, cela renforcerait l'hypothèse selon laquelle les modèles vidéo de grande échelle peuvent servir de base commune à la planification et à la perception en manipulation. Il faut toutefois rester prudent : il s'agit d'un résultat de recherche sans déploiement, sans mesure de latence (la génération multi-étapes reste coûteuse pour du contrôle temps réel) et sans évaluation sur robot réel dans le texte disponible.

Ce travail s'inscrit dans la montée des world models vidéo pour la robotique, après les approches de type Genie, Cosmos de NVIDIA ou les modèles d'action vidéo, qui traitent surtout la prédiction visuelle, tandis que la perception 4D reste confiée à des modules distincts. Les VLA (vision-langage-action) comme Pi-0 ou GR00T se concentrent sur l'action plutôt que sur l'imagination du futur. L'étape suivante sera de vérifier si cette représentation unifiée améliore réellement la politique de contrôle, la généralisation entre embodiments et la robustesse hors distribution. Les chiffres comparatifs, la publication éventuelle du code ou des poids, et le coût d'inférence détermineront si GenSight reste une preuve de concept académique ou devient une brique exploitable par les intégrateurs.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Video2World : un banc d'essai d'agents de code pour la modélisation interactive du monde à partir de vidéos incarnées

Une équipe de chercheurs publie Video2World, un benchmark qui teste si des agents de code adossés à des modèles de fondation peuvent transformer une vidéo embodied en simulateur interactif, sans intervention humaine. La tâche, baptisée « vidéo-to-simulation autonome », est posée comme un problème d'ingénierie logicielle. L'agent observe une vidéo de démonstration (robot ou humain), construit l'environnement simulé et le comportement du robot correspondants, puis affine le résultat grâce au retour d'exécution. Le benchmark compte 222 instances de reconstruction issues de 189 vidéos. Il note les mondes reconstruits selon trois axes : la fidélité géométrique (perception spatiale), la fidélité dynamique (raisonnement physique) et la justesse fonctionnelle (capacité à exécuter une interaction). Neuf systèmes d'agents de code de pointe ont été évalués. Le taux de réussite de la tâche passe de moins de 5 % à plus de 15 % à partir de Claude Opus 5. L'écart avec une reconstruction assistée par des humains reste important. L'enjeu est direct pour quiconque produit des données d'entraînement pour la robotique. Aujourd'hui, construire un environnement de simulation à partir d'observations réelles demande beaucoup de travail manuel, de modélisation de scène et de calibration. C'est un goulot d'étranglement pour passer à l'échelle des données embodied, par exemple pour entraîner des politiques VLA (vision-langage-action) ou générer des jeux de test reproductibles. Le saut observé suggère que les capacités de génie logiciel agentique commencent à toucher ce problème, mais un taux de succès d'environ 15 % reste très loin d'un pipeline industriel fiable. Le résultat le plus instructif est ailleurs : les mondes qui paraissent meilleurs ne fonctionnent pas forcément mieux, et une fidélité visuelle accrue ne garantit pas un meilleur taux de réussite. Cela rappelle l'écart, déjà connu avec les modèles génératifs, entre réalisme perceptif et exactitude factuelle. Pour les équipes qui évaluent des « world models » ou des simulateurs générés, juger sur le rendu est donc un mauvais indicateur, et il faut mesurer la dynamique et l'exécution. Ce travail s'inscrit dans la course à l'automatisation de la création de simulateurs, où se croisent les modèles de monde génératifs vidéo, les pipelines de reconstruction 3D et les approches « real-to-sim » encore très manuelles. Le choix de cadrer le problème comme une tâche d'agent de code, avec boucle d'exécution et correction, déplace la question de la génération de pixels vers la production de code de simulation exécutable. Il s'agit d'une publication académique sur arXiv (v2) et non d'un produit livré : aucun déploiement industriel ni acteur européen n'est mentionné dans le résumé. Les suites probables sont l'évaluation de nouveaux agents sur le benchmark, la mesure de l'écart restant avec les humains et, à terme, l'usage de ces mondes reconstruits pour générer des données d'entraînement. La preuve que ces mondes améliorent réellement des politiques robotiques reste à apporter.

RecherchePaper

1 source

2arXiv cs.RO

Modélisation unifiée condition-action pour une génération d'action précise en une étape

Des chercheurs publient sur arXiv (identifiant 2608.16153v1) un nouveau papier intitule "Unified Condition-Action Modeling for Accurate One-Step Action Generation", qui présente UCA-Flow, un framework de modélisation conjointe condition-action pour générer des trajectoires robotiques en une seule étape. Contrairement aux politiques de diffusion et de flow habituelles, qui traitent les conditions (observations visuelles, timestep, intervalle temporel) comme des signaux auxiliaires séparés des tokens d'action, UCA-Flow fusionne l'ensemble dans une séquence unique traitée par un Unified Condition-Action Transformer, ce qui permet de reconstruire dynamiquement les représentations de condition selon l'étape de génération en cours. Les auteurs ajoutent un schéma de supervision en double passe sur les variables u et v pour renforcer l'optimisation conjointe. Resultat annonce: un gain de 9,3 points de pourcentage de taux de réussite moyen par rapport a la meilleure base de comparaison, avec une inférence 45,6 fois plus rapide que DP3 et 33,4 fois plus rapide que Simple DP3, tout en restant 4,3 fois plus rapide que FlowPolicy en une étape et 2,3 fois plus rapide que MP1. Pour l'industrie de la manipulation robotique, ce travail s'attaque a un compromis central: les politiques de diffusion et de flow, au coeur de nombreux modèles VLA vision-language-action, doivent générer des actions précises tout en respectant des latences très serrées en boucle fermée, et accélérer l'inférence se faisait jusqu'ici généralement au prix de la précision. En montrant qu'un traitement conjoint des conditions et des actions améliore simultanément vitesse et taux de réussite, UCA-Flow bouscule l'hypothèse selon laquelle rapidité et fiabilité s'excluent dans ce type de politique. Pour les intégrateurs qui évaluent des architectures de contrôle temps réel pour bras manipulateurs ou plateformes mobiles, ce résultat suggère une piste d'optimisation potentiellement transférable au-delà du cas teste, sous réserve de validation indépendante. UCA-Flow s'inscrit dans la lignée des politiques de diffusion pour la manipulation, dont DP3 et sa variante allégée Simple DP3 servent de référence historique, suivies par des approches en une seule étape comme FlowPolicy et MP1, toutes citées comme bases de comparaison. Le papier ne précise ni affiliation institutionnelle ni plan de commercialisation: c'est une publication de recherche évaluée sur des benchmarks de manipulation, sans démonstration annoncée sur robot physique en conditions réelles ni intégration a un produit existant, et les chiffres proviennent des propres expériences des auteurs, non encore confirmes de manière indépendante. Les suites naturelles seraient une reproduction par des tiers, une extension a des taches multi-bras plus complexes, et une possible intégration dans des architectures VLA généralistes comme Pi-0 ou GR00T N2, qui reposent elles aussi sur des têtes d'action par diffusion ou par flow.

RechercheOpinion

1 source

3arXiv cs.RO

Percevoir, prédire et planifier : un modèle d'action du monde unifié pour la manipulation dextérique égocentrique

P³-WAM est un modèle d'action fondé sur un modèle du monde (« world action model ») pour la manipulation dextre en vue égocentrique, décrit dans un preprint arXiv (2610.22363). Il réunit trois modes dans un seul réseau. « Perceive » reconstruit en 3D le mouvement d'une main articulée et la trajectoire de la caméra à partir d'une vidéo. « Predict » génère les futurs visuels correspondant à des actions imposées. « Plan » produit conjointement des trajectoires d'actions et leurs conséquences visuelles anticipées, à partir d'une image initiale, d'une instruction en langage naturel et, en option, d'un but visuel. L'architecture greffe une représentation 3D compacte et structurée des actions sur un transformeur de diffusion vidéo préentraîné, via un mélange de transformeurs. Les poids de base sont partagés, chaque modalité a son adaptation propre, et l'attention entre vision et action est bidirectionnelle. Une visibilité aléatoire des modalités permet à la vidéo comme aux actions 3D de servir tantôt de contexte, tantôt de cible. Les auteurs annoncent que l'entraînement unifié améliore les trois capacités par rapport à un entraînement mono-tâche. Le modèle dépasserait des références spécialisées en reconstruction de mains 3D et en prédiction vidéo conditionnée par l'action, sur quatre jeux de données. L'intérêt tient à la question que ce travail tente de trancher : faut-il des modèles distincts pour percevoir, simuler et décider, ou un seul modèle qui partage ses représentations ? Les modèles vision-langage-action (VLA) actuels prédisent surtout des actions, sans modèle explicite des conséquences visuelles. Les générateurs vidéo, eux, produisent de belles séquences sans garantie de cohérence avec un geste physique. Un système unifié servirait à la fois la planification et l'exploitation des vidéos humaines à la première personne, une source de données bien moins chère que la téléopération robotique pour les mains dextres. Il faut toutefois rester prudent : les résultats portent sur de la reconstruction de mains et de la génération vidéo, pas sur un robot réel. Le gain en planification est jugé par un modèle vision-langage, une évaluation indirecte qui ne mesure pas un taux de réussite physique, et aucun chiffre n'est donné dans le résumé. Ce travail s'inscrit dans la montée des world action models, qui rapprochent les modèles du monde vidéo des politiques de contrôle, face à des approches comme Pi-0 de Physical Intelligence ou GR00T de Nvidia, centrées sur l'action. Il reprend aussi l'idée d'apprendre la dextérité à partir de vidéos égocentriques humaines. La page projet est publiée, mais aucun calendrier de déploiement sur robot n'est annoncé. La prochaine étape à surveiller est la conversion de ces trajectoires de mains en commandes pour des mains robotiques, puis une validation en conditions réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôle

Hydra-0, un nouveau modèle du monde généraliste pour la robotique, a été présenté dans un preprint publié sur arXiv le 19 août 2026 (arXiv:2608.18077). Le système repose sur un concept baptisé "action flow" : les actions du robot y sont représentées comme un flux de mouvement de pixels plutôt que comme des commandes articulaires classiques, ce qui crée une interface visuelle commune permettant d'apprendre les conséquences des actions à travers différents robots, tâches, environnements et architectures de génération vidéo. Dans sa meilleure configuration, Hydra-0 réduit l'erreur de mouvement du robot de 90,4% et l'erreur de mouvement des objets de 60,2% par rapport à une base de référence conditionnée par l'action classique. Sur le benchmark RoboLab, le modèle atteint une corrélation de Pearson de r=0,96 entre les taux de réussite rejoués en simulation et les taux de réussite de référence, un signal de fidélité élevé pour l'évaluation de politiques en boucle ouverte. Les auteurs décrivent aussi un mode inverse émergent : le modèle peut prédire un mouvement robotique compatible à partir d'un flux d'objet désiré transféré depuis une démonstration humaine, une "tête d'action" entraînée convertissant ensuite ces représentations latentes en actions exécutables sans démonstration robotique experte spécifique à la tâche. Pour l'industrie robotique, ce travail s'attaque directement à deux goulots d'étranglement connus des approches vision-language-action (VLA) : la dépendance à des démonstrations robotiques coûteuses par tâche, et la difficulté à faire généraliser un modèle entre embodiments et environnements hétérogènes. En transformant l'action en un signal visuel partagé, l'approche promet une adaptation plus économe en données et une composition zero-shot de comportements, deux propriétés recherchées par les intégrateurs qui veulent déployer un même modèle sur plusieurs plateformes matérielles sans réentraînement lourd. Il faut toutefois noter qu'il s'agit d'un résultat de recherche publié en preprint, évalué sur un benchmark interne (RoboLab) et non d'un système déployé en production ou en usine ; les gains annoncés restent à confirmer par une évaluation indépendante et par des essais sur robots physiques réels au-delà du cadre expérimental décrit. Ce travail s'inscrit dans la vague plus large des modèles du monde et des architectures VLA développés ces dernières années pour unifier perception, prédiction et contrôle robotique, un axe de recherche où plusieurs laboratoires cherchent à résoudre le fossé entre démonstrations en simulation et transfert vers le réel. La piste ouverte par le mode inverse d'Hydra-0, apprendre le contrôle à partir de vidéos humaines sans démonstration robotique dédiée, pourrait, si elle se confirme à plus grande échelle, réduire significativement le coût de collecte de données pour l'entraînement de politiques robotiques généralistes. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial associé.

RecherchePaper

1 source