IA physiquearXiv cs.RO 30 juillet 2026

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1.

L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée.

Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

Dans nos dossiers

NVIDIA GR00T World models

À lire aussi

1arXiv cs.RO

ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives

Un nouvel article de recherche publié sur arXiv (identifiant 2606.31132) présente ELASTIC, un algorithme conçu pour optimiser le calcul mobilisé au moment de l'exécution par les politiques de contrôle génératives, notamment les diffusion policies et les modèles vision-langage-action (VLA) de type flow-based. Ces politiques peuvent allouer davantage de ressources selon deux axes : la mise à l'échelle séquentielle, qui augmente le nombre d'étapes de débruitage pour affiner une action, et la mise à l'échelle parallèle, qui échantillonne plusieurs actions candidates pour explorer différents modes de la distribution. ELASTIC formule ce choix comme un meta-processus de décision markovien : une meta-politique observe l'état du robot et décide, à chaque itération de débruitage, combien d'étapes séquentielles et d'échantillons parallèles allouer, entraînée par apprentissage par renforcement sans accès aux données d'entraînement de la politique de base. Sur des benchmarks de manipulation simulés avec des diffusion policies, ELASTIC domine au sens de Pareto les approches à budget fixe ou à échelle unique. En conditions réelles, avec le modèle VLA pi-0.5, la méthode égale les performances d'un "best-of-10" (dix tentatives échantillonnées) tout en réduisant la latence de 34%. L'enjeu dépasse la seule performance de laboratoire : l'allocation de calcul test-time reste aujourd'hui largement empirique, fixée à la main selon la tâche. Un mécanisme qui adapte automatiquement l'effort de calcul, par exemple en explorant davantage lors d'une phase de saisie éloignée de l'objet puis en resserrant la précision près du contact, s'attaque directement au compromis latence/fiabilité qui freine le déploiement industriel des VLA. Pour les intégrateurs, cela ouvre la voie à des politiques capables de s'exécuter plus vite sans sacrifier le taux de réussite, un point critique pour des cycles de production. Le travail s'inscrit dans la lignée des recherches sur le test-time scaling, déjà popularisé en robotique par les diffusion policies et par des modèles comme GR00T N2 ou Pi-0 de Physical Intelligence, dont pi-0.5 sert justement de base expérimentale ici. Les auteurs ne précisent pas de calendrier de déploiement industriel ; il s'agit pour l'instant d'un résultat de recherche destiné à orienter la conception des futures architectures VLA plutôt qu'un produit prêt à intégrer.

IA physiquePaper

1 source

2arXiv cs.RO

IA incarnée : intégration du risque sémantique dans les champs de distance et les CBF pour un contrôle monoculaire en ligne

Une équipe de chercheurs a publié en juin 2026 (arXiv:2606.01605) un framework de navigation sûre qui intègre le risque sémantique directement dans la représentation spatiale utilisée par les contrôleurs basés sur les Control Barrier Functions (CBF). Le système fonctionne à partir d'une unique caméra RGB monoculaire, reconstruit la géométrie 3D dense en temps réel via un front-end SLAM fondé sur un modèle de fondation, puis fusionne une segmentation sémantique par pixel dans cette géométrie. Le tout est converti en un champ de distance signé euclidien (ESDF) enrichi sémantiquement, où chaque classe d'obstacles impose un gonflement spatial proportionnel à son niveau de risque avant le calcul du champ. Le pipeline tourne en ligne à 10-20 Hz et a été validé en simulation et sur du matériel réel, en téléopération et en navigation autonome. L'intérêt opérationnel est précis : les architectures CBF classiques appliquent la même marge de sécurité à tous les obstacles cartographiés, qu'il s'agisse d'une pile de cartons ou d'un opérateur humain. En encodant le risque sémantique dans l'ESDF avant l'optimisation du contrôleur, et non en ajustement aval, les objets à risque élevé exercent une influence spatiale plus grande dès la représentation du monde. Pour un intégrateur ou un COO industriel, cela signifie un robot capable de moduler automatiquement ses marges de sécurité selon le contexte sans reconfiguration manuelle des paramètres de contrôle, ce qui est pertinent pour des environnements mixtes homme-machine. Les CBF sont un outil mathématique bien établi pour garantir la sécurité des systèmes dynamiques, et leur usage dans la robotique mobile croît depuis une dizaine d'années. La littérature existante exploitait déjà les ESDF pour alimenter ces contrôleurs, mais la fusion sémantique restait marginale ou traitée en post-processing. Ce travail reste au stade preprint sans déploiement industriel annoncé, et les vidéos de démonstration sélectionnées ne permettent pas d'évaluer la robustesse en conditions réelles dégradées. Les prochaines étapes naturelles sont l'évaluation sur des scènes avec occultations et des classes d'obstacles plus nombreuses, ainsi qu'une comparaison quantitative avec des baselines sémantiques concurrentes.

IA physiquePaper

1 source

3arXiv cs.RO

WSA$_1$ : un modèle monde-spatial-action centré sur la 3D pour un contrôle robotique généralisable

Les chercheurs à l'origine de WSA₁ proposent un nouveau modèle fondation pour la robotique généraliste, construit autour d'un paradigme baptisé "World-Spatial-Action" centré sur la 3D. Contrairement aux modèles robot-fondation (RFM) classiques qui associent directement perception visuelle 2D et instructions langagières à des actions continues, WSA₁ apprend une représentation explicite de l'état spatial 3D du monde et de ses transitions, puis relie ces transitions aux actions du robot. Le modèle a été préentraîné sur 6 000 heures de démonstrations expertes, dont seulement 1 000 heures issues de robots réels, le reste provenant de sources simulées ou synthétiques. Sur le benchmark de simulation RoboTwin2.0, WSA₁ atteint un taux de réussite de 93% en manipulation, et sur des tâches de contrôle robotique en conditions réelles il affiche un gain moyen de 20% par rapport aux meilleurs RFM existants. L'enjeu pour l'industrie robotique est la sobriété en données réelles. La plupart des modèles fondation actuels, qu'il s'agisse de Pi-0, GR00T N2 ou Helix, dépendent de volumes massifs de téléopération et de collecte sur robots physiques, une contrainte coûteuse qui freine leur déploiement à grande échelle chez les intégrateurs. En démontrant qu'une modélisation conjointe 3D monde-action permet d'atteindre une généralisation compétitive avec un ratio de données réelles très faible, WSA₁ ouvre une voie potentiellement plus abordable vers des systèmes robotiques polyvalents, sans nécessiter les flottes de collecte massives déployées par des acteurs comme Figure ou Tesla pour leurs humanoïdes. Ce travail s'inscrit dans la lignée des critiques adressées aux RFM actuels, accusés de manquer d'un raisonnement physique réel sur la dynamique 3D et les effets causaux des actions du robot sur son environnement, un décalage jugé limitant pour la généralisation en conditions réelles. Les auteurs positionnent explicitement WSA₁ face aux modèles VLA (vision-language-action) de référence du secteur. La publication, encore au stade de préprint arXiv, ne détaille pas de calendrier de déploiement industriel ni de partenariat matériel, les prochaines étapes attendues portant vraisemblablement sur une validation élargie hors simulation et sur des comparaisons directes avec davantage de RFM concurrents.

IA physiqueActu

1 source

4arXiv cs.RO

Régularisation contrastive des représentations pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs propose RS-CL (Robot State-aware Contrastive Loss), une nouvelle méthode de régularisation des représentations pour les modèles Vision-Language-Action (VLA), publiée dans une pré-publication arXiv (2510.01711v3, troisième révision). Le principe : ajouter une perte contrastive légère qui aligne les représentations internes du modèle sur les états proprioceptifs du robot, en utilisant les distances relatives entre ces états comme supervision douce. Cette composante s'intègre sans modification architecturale aux pipelines VLA existants et vient compléter l'objectif classique de prédiction d'actions. Sur le benchmark RoboCasa-Kitchen, RS-CL porte le meilleur modèle existant à 69,7 % de taux de succès. Sur des tâches réelles de manipulation en conditions difficiles, le gain est de 45,0 % à 58,3 %, soit plus de treize points d'écart. Ce résultat pointe une faiblesse structurelle des VLA actuels : hérités de Visual Language Models pré-entraînés sur des données web, leurs espaces de représentation sont optimisés pour la compréhension visuelle et linguistique, pas pour le contrôle moteur. RS-CL s'attaque directement à ce désalignement sans réentraîner le backbone ni alourdir significativement l'inférence. Pour les intégrateurs et les équipes de recherche appliquée, cela signifie qu'un gain de plus de treize points sur des tâches réelles est accessible via un simple ajout à la fonction de perte, sans refonte du pipeline. C'est une avancée sur la question du sim-to-real et du gap entre benchmarks synthétiques et déploiements effectifs, même si les conditions exactes des évaluations réelles ne sont pas détaillées dans le résumé. Les VLA constituent un axe de recherche actif depuis l'émergence de modèles comme RT-2 (Google DeepMind, 2023), OpenVLA, et plus récemment Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Ces modèles partagent la même architecture de base : un VLM pré-entraîné auquel on greffe une tête de prédiction d'actions. RS-CL s'inscrit dans une tendance plus large visant à mieux ancrer ces modèles dans la physique du robot plutôt que dans la sémantique du langage. Les prochaines étapes naturelles seraient de tester la méthode sur d'autres benchmarks standardisés (LIBERO, OpenX-Embodiment) et sur des plateformes humanoïdes où la proprioception joue un rôle encore plus central.

IA physiqueOpinion

1 source