Aller au contenu principal

Dossier World models — page 3

286 articles · page 3 sur 6

Les world models pour l'IA physique : Cosmos, Genie, V-JEPA, simulation différentiable comme alternative au sim2real classique.

TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA
101arXiv cs.RO RechercheActu

TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA

Des chercheurs ont presente TACO (TActile world model as a self-COrrector), un cadre de post-entrainement pour les modeles Vision-Language-Action (VLA) dedie aux taches de manipulation robotique a fort contact physique, decrit dans un article publie sur arXiv (2607.02840v1). Le systeme repose sur une boucle en trois etapes baptisee Recognize-Imagine-Label : un modele unifie de progression et d'action detecte les etats proches de l'echec a partir d'estimations de progression, un modele generatif visuo-tactile imagine des segments de correction locale, puis ce meme modele de progression-action etiquette ces segments avec des actions correctives executables. Applique a des taches reelles de manipulation a fort contact, TACO ameliore le taux de reussite de 44 points de pourcentage par rapport a la politique de base, et de 32 points par rapport a une version depourvue de son mecanisme d'adaptation tactile a isolation de connaissances, qui protege les priors visuo-linguistiques pre-entraines pendant l'apprentissage. Ce travail cible un angle mort connu des modeles VLA actuels : la vision seule peine a detecter les micro-perturbations de contact (glissement, mauvais alignement, prise partielle) qui, dans une tache d'assemblage ou de prehension fine, peuvent transformer une erreur locale en echec irrecuperable. Jusqu'ici, corriger ce type de defaillance necessitait soit une supervision humaine couteuse a grande echelle, soit des modeles du monde uniquement visuels susceptibles de generer des trajectoires imaginees plausibles a l'oeil mais physiquement incoherentes au niveau du contact. En montrant qu'un modele du monde tactile peut produire des corrections exploitables sans superviseur humain et sans degrader les capacites de base du modele, TACO apporte un element de reponse concret a une limite regulierement pointee par les integrateurs industriels : des demonstrations VLA impressionnantes en environnement controle qui ne se traduisent pas toujours en fiabilite sur des taches de prehension fine en usine ou en logistique. L'approche s'inscrit dans la lignee des travaux recents sur les modeles du monde pour ameliorer les politiques robotiques par simulation de rollouts, dans la meme veine que ce qui alimente des familles de modeles VLA comme Pi-0, GR00T N2 ou Helix, mais en ajoutant une modalite tactile la ou ces travaux se limitaient jusque-la a la vision. L'article ne precise ni affiliation institutionnelle ni deploiement industriel : il s'agit a ce stade d'une contribution de recherche publiee en preprint, sans integration annoncee chez un fabricant de bras robotique ou d'humanoide. La suite logique, si ces resultats se confirment, serait une adoption par des laboratoires travaillant sur la manipulation fine (objets deformables, assemblage electronique, tri logistique), la ou le cout de supervision humaine pour corriger les echecs de contact reste aujourd'hui le principal frein au deploiement a grande echelle des politiques VLA.

1 source
VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches
102arXiv cs.RO 

VT-WAM : modèle du monde et action visuo-tactile pour la manipulation à contacts riches

Des chercheurs présentent VT-WAM, un modèle de manipulation robotique combinant vision et toucher, décrit dans un article déposé sur arXiv (2607.02503v1) et accompagné d'un site dédié (vt-wam.github.io). Le système, un "Visual-Tactile World Action Model", apprend simultanément trois choses dans un même cadre de flow matching : prédire les images visuelles futures, prédire la déformation tactile future, et prédire l'action à exécuter. Deux mécanismes techniques soutiennent cette approche : une attention "Asymmetric Mixture-of-Transformers" (MoT) qui relie une première image de référence à la dynamique tactile dans le temps, et un module nommé AVTAG (Action-Visual-Tactile Attention Guidance) qui force le modèle à s'appuyer davantage sur le signal tactile pendant les phases de contact. Sur six tâches de manipulation en conditions réelles impliquant un contact physique important, VT-WAM atteint un taux de réussite moyen de 71,67%, contre des scores inférieurs de 26,67 points pour Fast-WAM et de 35,84 points pour OmniVTLA, deux modèles de référence utilisés en comparaison. L'enjeu dépasse la simple performance chiffrée : les politiques visuo-tactiles existantes se contentent généralement d'injecter le signal tactile brut dans la prédiction d'action, sans modéliser comment cette déformation évolue dans le temps. Or c'est précisément sur les tâches à fort contact (insertion, préhension d'objets déformables, gestion du glissement) que les modèles purement visuels ou de type VLA (vision-language-action) échouent le plus souvent, malgré des démonstrations impressionnantes en environnement contrôlé. Pour les intégrateurs industriels qui cherchent à automatiser des opérations d'assemblage fin, ce travail illustre une piste concrète pour combler l'écart entre démonstration et fiabilité réelle. Le papier s'inscrit dans la lignée des "world models" appliqués à la robotique, dont Fast-WAM constitue un prédécesseur direct servant de base de comparaison, aux côtés de familles de modèles VLA comme OmniVTLA. Il s'agit toutefois d'une publication académique, sans acteur industriel identifié ni date de déploiement annoncée : les résultats restent circonscrits à six tâches de laboratoire, et les auteurs eux-mêmes soulignent via leurs ablations que la modélisation de la dynamique tactile reste un problème ouvert plutôt qu'une solution définitivement close.

RecherchePaper
1 source
IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)
103arXiv cs.RO 

IA physique : modèle du monde 3D fondé sur les principes physiques pour la manipulation d'objets dynamiques (PhysMani)

Des chercheurs présentent PhysMani, un framework qui couple un modèle du monde en Gaussiennes 3D fondé sur la physique avec un modèle de politique d'action anticipatif, pour la manipulation d'objets rapides et dynamiques en environnement 3D non structuré. Le modèle du monde apprend un champ de vitesse gaussien à divergence nulle par optimisation en ligne, ce qui permet une prédiction rapide et physiquement cohérente de la dynamique future de la scène. Le modèle de politique intègre ensuite ces prédictions via un module d'attention croisée à base de tokens appris. Les auteurs introduisent également PhysMani-Bench, un nouveau benchmark de manipulation dynamique composé de 16 tâches, et rapportent un taux de réussite supérieur à des baselines solides, aussi bien en simulation que lors d'expériences avec un robot réel. Le papier, publié sur arXiv (2607.01938), ne précise ni la plateforme robotique utilisée ni de métriques chiffrées exactes (taux de réussite, temps de cycle, charge utile), ce qui en fait à ce stade une contribution de recherche plutôt qu'un produit ou un déploiement commercial. Pour l'industrie robotique, ce travail s'attaque à un point faible connu des modèles vision-langage-action (VLA) et des world models existants: leur difficulté à représenter une géométrie 3D précise et à anticiper une dynamique physiquement plausible pour des objets en mouvement rapide. La manipulation de cibles dynamiques, objets qui tombent, glissent ou sont lancés, reste l'un des angles morts des démonstrations actuelles de bras robotiques et d'humanoïdes, la plupart des systèmes généralistes étant surtout validés sur de la manipulation quasi statique. Si les résultats de PhysMani se confirment au-delà du cadre académique, cela ouvrirait une piste pour réduire l'écart entre démonstration en laboratoire et usage réel en logistique ou en industrie, où la prise d'objets en mouvement est fréquente sur convoyeur ou en tri à cadence élevée. Mais tant que l'étude reste limitée à un benchmark maison et sans comparaison indépendante, il s'agit d'une preuve de concept à confirmer, pas d'une solution prête à intégrer. Ce travail s'inscrit dans la lignée des world models 3D construits sur des représentations en Gaussiennes, une technique héritée du rendu de scènes et de plus en plus utilisée en robotique pour modéliser des environnements denses. Ces approches se positionnent face aux modèles VLA de bout en bout entraînés sur de larges corpus de démonstrations, popularisés par des acteurs comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T N2, ainsi qu'aux world models déjà exploités par d'autres équipes de recherche en manipulation. Aucun partenaire industriel ni acteur français ou européen n'est mentionné dans l'abstract. La suite logique pour les auteurs serait d'étendre le benchmark, de tester la méthode sur des plateformes robotiques variées, et de la comparer directement aux VLA généralistes pour situer PhysMani face aux solutions déjà commercialisées.

RechercheOpinion
1 source
Structure de prédiction latente 4D pour la planification robotique
104arXiv cs.RO 

Structure de prédiction latente 4D pour la planification robotique

Structured 4D Latent Predictive Model : un système de prédiction spatiale en 3D pour la planification robotique Une équipe de recherche publie sur arXiv (identifiant 2607.01166v1) un nouveau modèle baptisé « Structured 4D Latent Predictive Model », conçu pour la planification de tâches robotiques. Contrairement aux modèles prédictifs vidéo classiques, qui travaillent sur des séquences 2D, ce système prédit l'évolution de la structure 3D d'une scène dans un espace latent structuré, à partir d'observations visuelles et d'instructions textuelles. Cette représentation peut être décodée vers plusieurs formats 3D, offrant une compréhension plus complète et géométriquement cohérente de la scène. Le modèle sert de planificateur : il génère des scènes futures qui sont ensuite converties en actions exécutables par un module de dynamique inverse conditionné par l'objectif. Selon les auteurs, les expériences montrent une qualité visuelle élevée et une cohérence 3D et multi-vues nettement supérieure aux meilleurs planificateurs vidéo existants, avec de meilleures performances sur des tâches de manipulation complexes, une bonne généralisation à des conditions visuelles inédites, et une validation sur plateformes robotiques réelles. Un site dédié (structured-4d-model.github.io) présente le projet. L'enjeu dépasse la seule prouesse technique. Les modèles vidéo 2D dominent actuellement l'approche « world model » en robotique, notamment dans les architectures VLA (vision-language-action) qui inspirent des systèmes comme Pi-0 ou GR00T N2. Or ces approches peinent souvent à garantir une cohérence physique et spatiale suffisante pour une manipulation fine. En injectant explicitement une structure 3D dans l'espace latent, ce travail répond directement à une limite identifiée du secteur : le fossé entre démonstrations vidéo impressionnantes et exécution fiable sur du matériel réel, un problème central pour les intégrateurs industriels qui cherchent des systèmes robustes plutôt que des démonstrations sélectionnées. Il s'agit toutefois d'une publication académique à ce stade, sans laboratoire ni entreprise identifiés dans le résumé, et sans date de déploiement annoncée. Elle s'inscrit dans une compétition de recherche intense autour des modèles prédictifs pour la robotique, où plusieurs équipes explorent en parallèle des représentations 3D ou 4D pour dépasser les limites du tout-vidéo. Les prochaines étapes dépendront de la publication du code et de tests indépendants sur des plateformes tierces.

RecherchePaper
1 source
IA physique : des modèles du monde aux modèles d'action, un tutoriel concis pour la robotique
105arXiv cs.RO 

IA physique : des modèles du monde aux modèles d'action, un tutoriel concis pour la robotique

Un article publié sur arXiv (2607.00836) dresse un état des lieux conceptuel des "world models" utilisés en robotique et en simulation générative, un terme dont le périmètre varie fortement selon les communautés de recherche. Les auteurs proposent une définition unifiée : un modèle du monde est un système conditionné par l'action qui prédit l'évolution future des observations ou des états pertinents pour une tâche donnée. Ils distinguent deux grandes familles : les modèles dans l'espace des observations, qui prédisent des images ou vidéos brutes, et les modèles dans l'espace des états, qui travaillent sur des représentations compactes. Chaque approche est comparée selon quatre critères : fidélité visuelle, structuration spatiale, interprétabilité physique et facilité d'usage pour le contrôle. Le papier introduit ensuite les "world action models", qui relient ces prédictions du futur à des actions robotiques exécutables, avec quatre paradigmes identifiés : imaginer puis exécuter, prédiction d'action conditionnée par des features vidéo, modélisation conjointe vidéo-action, et prédiction vidéo auxiliaire pour l'apprentissage de politiques. Cette clarification terminologique a une portée pratique pour les équipes qui développent des politiques robotiques : elle aide à choisir entre un modèle générateur de pixels, coûteux en calcul mais riche visuellement, et un modèle d'état plus léger, plus proche du contrôle temps réel mais moins interprétable. Elle formalise aussi un débat de fond du secteur : les modèles de génération vidéo produisent des démonstrations spectaculaires, mais leur utilité réelle pour piloter un bras ou un humanoïde reste à prouver, faute de garanties physiques strictes, ce qui rejoint les critiques récurrentes sur l'écart entre démo et déploiement réel. En distinguant explicitement l'approche "imaginer puis exécuter" des méthodes qui apprennent directement une politique conjointe vidéo-action, le tutoriel donne aux intégrateurs une grille de lecture pour évaluer les annonces commerciales selon ce qu'elles modélisent vraiment, plutôt que sur la seule qualité de leurs vidéos. Ce travail arrive alors que les world models occupent une place croissante dans la course aux modèles vision-langage-action, portée par des systèmes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui combinent tous, à des degrés divers, prédiction du futur et génération d'actions. Sans analyser directement ces produits commerciaux, la taxonomie proposée offre un cadre académique pour resituer ces systèmes les uns par rapport aux autres, à un moment où la recherche universitaire tente de structurer conceptuellement un domaine dont la vitesse de publication industrielle a largement dépassé la théorie.

RecherchePaper
1 source
IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique
106arXiv cs.RO 

IA incarnée : DVG-WM génère des vidéos découplées pour un modèle du monde efficace en manipulation robotique

Le laboratoire à l'origine de ces travaux (non précisé dans le résumé, arXiv:2506.32028) présente DVG-WM (Disentangled Video Generation World Model), un modèle du monde vidéo destiné à la manipulation robotique. Le problème ciblé est un compromis connu dans les "world models" embodied: modéliser précisément la dynamique physique nécessite un raisonnement temporel fin image par image, alors que produire des vidéos haute résolution exige une synthèse visuelle coûteuse pilotée par la sémantique globale. Jusqu'ici, les deux étaient entremêlés dans un seul réseau, forçant un choix entre inférence rapide et prédictions grossières, ou rendu détaillé mais trop lent pour de la planification itérative. DVG-WM sépare explicitement les deux tâches: à partir d'une observation initiale et d'une instruction en langage naturel, le modèle génère d'abord une séquence d'états visuels intermédiaires prévisualisant l'interaction physique, puis les raffine en vidéos haute fidélité. Le mécanisme clé est un cascading efficace où le flow matching relie directement la dynamique aux latents vidéo, complété par un mécanisme de dégradation latente qui régénère les détails riches en contacts (préhension, collisions). Testé sur le benchmark LIBERO et sur plateformes réelles, DVG-WM améliore la qualité vidéo tout en accélérant l'inférence jusqu'à 3,97 fois. Pour l'industrie robotique, ce résultat s'attaque directement à un goulot d'étranglement connu des architectures VLA (vision-langage-action) basées sur la prédiction vidéo: la latence d'inférence, rédhibitoire pour du contrôle en boucle fermée temps réel. Un gain de facteur 4 sur la vitesse, sans sacrifier la précision des interactions de contact, rapproche ces world models vidéo d'un usage réellement embarqué plutôt que d'une simple démonstration hors ligne, un point sensible pour les intégrateurs qui évaluent la viabilité de ces approches face aux politiques d'action plus directes. Ce travail s'inscrit dans la lignée des world models vidéo pour la robotique (dans la continuité d'approches type UniPi, iVideoGPT ou GR00T-Dreams), dont la promesse est d'apprendre la physique à partir de vidéo brute plutôt que de simulateurs coûteux à construire. La contribution spécifique de DVG-WM, la désentanglement dynamique/synthèse, ouvre la voie à des variantes combinant d'autres backbones de génération vidéo ou à une extension vers des tâches multi-étapes plus longues, une direction que les auteurs identifient comme suite naturelle de ces travaux.

RecherchePaper
1 source
J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés
107arXiv cs.RO 

J-LAW : localisation conjointe et modélisation du monde orientée action via des graphes de facteurs latents couplés

Un préprint publié sur arXiv (identifiant 2606.28712) introduit J-LAW (Joint Localization and Actionable World Modeling), une architecture qui fusionne le SLAM classique et les modèles de monde conditionnés par l'action dans un unique graphe de facteurs probabilistes. L'objectif MAP (Maximum A Posteriori) commun optimise simultanément les poses métriques des objets, les états latents du monde et les embeddings latents de landmarks. Le pont entre ces deux formulations est un encodeur latent conditionné par la pose et un facteur de couplage pose-latent appris. Les expériences portent sur deux benchmarks : PushT, une tâche de manipulation planaire, et WildGS, un environnement de reconstruction 3D gaussienne. Les résultats montrent que la correction par graphe couplé réduit l'erreur quadratique moyenne de prédiction latente et la dérive de point final par rapport au rollout en boucle ouverte, tandis que la fermeture de boucle latente améliore la cohérence globale de trajectoire. L'enjeu est structurant pour la robotique de manipulation : les systèmes actuels souffrent d'une dichotomie entre localisation précise et planification prédictive. Le SLAM produit des cartes métriques que les planificateurs ne savent pas exploiter directement ; les modèles de monde appris prédisent l'effet des actions mais perdent la cohérence spatiale sur des horizons longs, limitant leur utilité en déploiement réel. J-LAW démontre qu'en couplant ces deux estimations, chaque composante améliore l'autre : une meilleure localisation stabilise la prédiction latente, et réciproquement. C'est une réponse partielle à la dérive en open-loop, problème concret dans les pipelines de manipulation autonome. Pour les équipes travaillant sur des systèmes VLA ou de navigation, ce cadre suggère une représentation unifiée, métrique et actionnable, sans orchestrer deux pipelines distincts. La séparation entre SLAM et modèles de monde appris est historiquement ancrée : le SLAM probabiliste date des années 2000, tandis que les modèles de monde deep (RSSM, DreamerV3) sont apparus dans la décennie suivante. Plusieurs travaux récents tentent ce rapprochement dans le champ des VLA, où la cohérence spatiale devient un enjeu croissant. J-LAW se positionne comme une contribution théorique structurée via la formalisation en graphe de facteurs, et non comme un système prêt au déploiement. Limite à noter : les expériences restent sur des benchmarks standardisés, sans validation sur robot physique réel en scène dynamique. Aucun partenariat industriel ni timeline de transfert n'est mentionné dans ce préprint.

RechercheOpinion
1 source
FutureNav : modélisation unifiée monde-action pour la navigation vision-langage
108arXiv cs.RO 

FutureNav : modélisation unifiée monde-action pour la navigation vision-langage

FutureNav est un cadre de modélisation unifiée monde-action pour la navigation vision-langage (VLN) en environnements continus, présenté sous forme de preprint sur arXiv (arXiv:2606.30367). Le système encode conjointement des features textuelles, visuelles et spatiales dans un grand modèle de langage, entraîné sur quatre objectifs simultanés : prédiction d'action de navigation, dynamiques inverse et forward pour modéliser les transitions d'états, et génération future pour anticiper les états spatiaux à venir. Avec un backbone de 4 milliards de paramètres, FutureNav revendique des performances state-of-the-art sur plusieurs benchmarks VLN, surpassant les méthodes antérieures selon ses auteurs. Le code et les modèles seront publiés en open source. La contribution centrale est architecturale : la plupart des modèles de navigation fondationnels récents traitent la tâche comme une génération directe d'actions, sans modéliser explicitement l'état du monde ni son évolution future. FutureNav cherche à combler cet écart en forçant le modèle à représenter des transitions d'états, ce qui est censé renforcer la robustesse sur des séquences d'actions longues en environnement non discrétisé. Pour les chercheurs en navigation incarnée ou les intégrateurs de robots mobiles autonomes, cela pointe vers une approche où le raisonnement spatial prospectif améliore la politique d'action sans surcoût d'inférence notable, un point clé pour l'embarqué. La VLN en environnements continus est un domaine actif depuis les benchmarks R2R, VLN-CE et REVERIE. Des travaux comme NavGPT, MapGPT ou EmbodiedScan ont scalé des VLM sur la navigation, mais en mode "action pure". FutureNav s'inscrit dans la tendance des world models appliqués à la navigation incarnée, parallèlement aux approches VLA comme OpenVLA ou aux travaux de DeepMind sur la robotique prédictive. Il s'agit pour l'instant d'un preprint non évalué par les pairs, et les gains annoncés sur les benchmarks méritent une vérification indépendante avant conclusions définitives. La prochaine étape annoncée est la publication publique du code.

RechercheActu
1 source
RoboGaze : évaluer les modèles du monde robotiques via l'analyse vision-langage structurée
109arXiv cs.RO 

RoboGaze : évaluer les modèles du monde robotiques via l'analyse vision-langage structurée

Une équipe de recherche a soumis en juin 2026 sur arXiv (réf. 2606.28385) RoboGaze, un framework d'évaluation multi-agents basé sur des modèles de vision-langage (VLM) pour analyser les vidéos générées par des world models robotiques. Sans entraînement spécifique, son pipeline à trois étapes enchaîne un ancrage tâche-scène, un routage vers des agents spécialistes par dimension d'analyse, puis une vérification critique, produisant des rapports de défauts temporellement localisés selon une taxonomie originale en 6 dimensions et 30 types propres à la robotique. Les auteurs ont constitué un jeu de données de référence de 382 clips validés humainement, couvrant simulation et manipulation réelle en multi-vues. Évalué sur huit backbones VLM open-source et propriétaires, RoboGaze améliore le F1 de description jusqu'à +43 points et l'alignement temporel (F1 x IoU) jusqu'à +37 points face aux baselines zero-shot, comblant 85 % de l'écart avec l'évaluateur humain. Ce travail répond à un problème structurel croissant : les world models génèrent des vidéos visuellement convaincantes qui violent pourtant régulièrement les lois physiques, la cohérence temporelle ou la logique de tâche, des défauts que les métriques classiques comme FID ou SSIM ne détectent pas. Les VLMs utilisés en juges monolithiques souffrent par ailleurs du biais dit "cry-wolf" : ils signalent des erreurs sur des clips corrects dans plus de 75 % des cas, rendant leur diagnostic inexploitable en pratique. Le module critic de RoboGaze corrige ce biais, faisant passer la précision sur les clips propres de moins de 25 % à plus de 80 %, ce qui en fait un outil de diagnostic scalable et interprétable pour les équipes qui entraînent ou benchmarkent des modèles génératifs pour la planification robotique. Les world models pour robots incarnés constituent depuis 2024 un axe de recherche en forte croissance, avec des travaux comme UniSim, IRASim ou les approches de planification en espace latent, mais l'évaluation rigoureuse de leurs sorties vidéo restait un angle mort méthodologique. RoboGaze se positionne face aux approches d'évaluation monolithiques en proposant une architecture modulaire et diagnostique, plus proche des pratiques de validation industrielle. En tant que préimpression, les performances annoncées restent à confirmer par révision par les pairs et sur des distributions hors-domaine ; les auteurs ne mentionnent pas de transfert industriel immédiat, mais la nature training-free du système facilite son intégration dans des pipelines d'évaluation existants.

RechercheOpinion
1 source
Une société américaine dévoile des humanoïdes et robots avec un nouvel écosystème pour l'intelligence incarnée
110Interesting Engineering 

Une société américaine dévoile des humanoïdes et robots avec un nouvel écosystème pour l'intelligence incarnée

Faraday Future (FF), entreprise californienne principalement connue comme constructeur de véhicules électriques en difficulté, a présenté le 18 juin 2026 à son nouveau siège d'El Segundo (Californie) une gamme robotique baptisée "EAI Robot World", articulée autour de six séries de produits. La pièce maîtresse est le robot humanoïde Futurist, redessiné : 54 kg (14 % plus léger que son prédécesseur), 31 degrés de liberté (DOF), un couple au niveau du genou de 320 Nm et une vitesse de pointe annoncée à 17,7 km/h, alimenté par un double pack batterie promettant 6 heures d'autonomie. L'architecture logicielle repose sur un modèle Vision-Language-Action (VLA) couplé à un "World Model" pour la perception et la prise de décision autonome. Aucun tarif ni client n'ont été dévoilés pour le Futurist : FF a renvoyé au salon Automate 2026 à Chicago, le 22 juin. En revanche, le quadrupède FX Navi, 8 kg, 12 articulations motorisées, utilisant un smartphone (iOS ou Android) glissé dans un module tête comme unité de calcul, est disponible immédiatement à 1 990 dollars, ciblant la salle de classe et l'usage domestique. Deux formats supplémentaires ont été esquissés : Master Mini (~1 m, compétitions de robotique éducative) et Nova (~50 cm, robot compagnon enfant), sans date ni prix communiqués. La stratégie "one brain, multiple forms" de FF, qui consiste à partager une même couche d'intelligence VLA+World Model sur plusieurs facteurs de forme, est cohérente avec ce que font NVIDIA (GR00T N2) ou Physical Intelligence (pi-0) côté logiciel, et mérite d'être distinguée des approches produit unique. Toutefois, la prudence s'impose : les performances du Futurist (320 Nm, 17,7 km/h) sont comparables aux annonces récentes d'Unitree ou Figure AI, mais sans démonstration publique indépendante ni données de cycle réel, elles restent des chiffres de fiche technique. L'usage d'un smartphone comme cerveau du FX Navi réduit les coûts mais impose des contraintes de puissance de calcul qui limiteront les cas d'usage autonomes avancés. À ce stade, le Futurist est une annonce de produit, pas un déploiement ; le FX Navi, lui, est un produit livrable. Faraday Future porte un passif lourd : introduction en bourse via SPAC en 2021, multiples alertes de continuité d'exploitation, enquête de la SEC, et départ de son fondateur Jia Yueting dans le chaos. Ce pivot vers la robotique s'inscrit dans un mouvement plus large d'entreprises tech/EV cherchant un second souffle dans l'IA incarnée. Sur le segment humanoïde commercial, FF affronte Figure AI (Figure 03, déployé chez BMW), Tesla (Optimus Gen 3, production interne), Agility Robotics (Digit, partenariat Amazon), et en Europe Wandercraft ou Enchanted Tools, acteurs qui cumulent davantage de déploiements terrain. La prochaine échéance concrète est Automate 2026 le 22 juin, où FF devra fournir prix, volumes et clients réels pour le Futurist, faute de quoi l'annonce restera dans la catégorie teaser.

HumanoïdesOpinion
1 source
WAM-RL : apprentissage par renforcement avec modèle du monde, récompenses de reconstruction et SFT vidéo en ligne
111arXiv cs.RO 

WAM-RL : apprentissage par renforcement avec modèle du monde, récompenses de reconstruction et SFT vidéo en ligne

Des chercheurs ont publié le 17 juin 2026 sur arXiv (2606.17906) WAM-RL, un cadre d'apprentissage par renforcement conçu pour les modèles World-Action (WA), une classe d'architectures qui couplent un modèle de monde (world model, chargé de prédire les états futurs de l'environnement) avec un modèle d'action (actor, chargé de sélectionner les commandes). L'originalité de WAM-RL tient à l'optimisation conjointe et en ligne de ces deux composants via une méthode d'optimisation hiérarchique, complétée par des récompenses de reconstruction et un fine-tuning supervisé sur vidéos en ligne (online video SFT). L'ensemble des expériences a été conduit en interaction réelle avec l'environnement, sans dépendre uniquement de trajectoires d'expert pré-collectées. Ce travail comble une lacune structurelle des modèles WA actuels : entraînés exclusivement sur des démonstrations, ils ne peuvent pas acquérir de compétences de manipulation fines au-delà de la distribution couverte par ces données, ni s'améliorer en continu par l'expérience. L'insight central mis en évidence par les auteurs est particulièrement net : optimiser uniquement l'actor suffit à progresser sur des tâches à horizon court, mais échoue à produire des gains significatifs sur des tâches à horizon long. C'est la co-évolution du world model et de l'actor qui s'avère déterminante pour les scénarios complexes, ce qui implique que les pipelines de fine-tuning RL qui ignorent le world model introduisent un plafond de performance non trivial dans les applications de manipulation séquentielle. WAM-RL s'inscrit dans une tendance plus large qui vise à dépasser les limites du behavioral cloning dans les robots à apprentissage (VLA, diffusion policies, pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) en intégrant des boucles de feedback online. Les travaux connexes comme DreamerV3 ou TD-MPC2 ont montré la puissance du model-based RL, mais leur application aux modèles WA multimodaux restait inexplorée. Il s'agit, selon les auteurs, de la première introduction du RL dans le paradigme World-Action. Il faut noter que l'article est un preprint non encore évalué par les pairs, que les benchmarks et environnements expérimentaux ne sont pas détaillés dans le résumé, et que la transférabilité vers du matériel réel (sim-to-real gap) reste à démontrer.

RechercheOpinion
1 source
LaWAM : des modèles du monde latents pour des politiques robotiques efficaces et dynamiques
112arXiv cs.RO 

LaWAM : des modèles du monde latents pour des politiques robotiques efficaces et dynamiques

Des chercheurs ont publié en juin 2026 sur arXiv (réf. 2606.15768) LaWAM, un Latent World Action Model destiné au contrôle robotique. Le système atteint 98,6 % de taux de succès sur le benchmark LIBERO, 91,22 % sur RoboTwin, et maintient des résultats compétitifs sur des tâches de manipulation en environnement réel. Sa latence d'inférence est de 187 ms par chunk d'actions, soit jusqu'à 24 fois inférieure à celle des World Action Models (WAM) opérant dans l'espace pixel. L'architecture résout un compromis structurel dans les VLA (Vision-Language-Action models) actuels : ces systèmes exploitent le préentraînement vision-langage à grande échelle pour le contrôle sémantique, mais restent aveugles à la dynamique physique de la scène. Les WAM corrigent ce défaut en conditionnant la politique sur une prédiction du futur, mais leur génération vidéo pixel par pixel les rend prohibitifs pour le temps réel. LaWAM substitue à cette vidéo des sous-objectifs visuels latents compacts, calculés dans l'espace de représentation d'un modèle de fondation vision préentraîné. Son composant central, le Latent World Model (LaWM), réutilise un décodeur forward pour prédire les caractéristiques d'observation future, éliminant la redondance au niveau pixel. Le résultat est une planification dynamique compatible avec les contraintes de latence du contrôle robotique industriel. Ce travail prend place dans la convergence entre grands modèles et robotique, après que pi-0 (Physical Intelligence) et GR00T de NVIDIA ont validé l'approche VLA mais buté sur le demo-to-reality gap et la latence d'inférence. LaWAM propose une voie d'intégration plus réaliste : 187 ms par inférence autorise des boucles de contrôle à environ 5 Hz, suffisantes pour de nombreuses tâches de manipulation structurée. Le préprint ne mentionne ni partenariat industriel ni timeline de déploiement ; il s'agit à ce stade d'une contribution académique sans produit shipé ni pilote annoncé. La prochaine étape naturelle sera de valider la robustesse hors distribution sur des environnements plus variés que LIBERO et RoboTwin, qui restent des benchmarks relativement contrôlés.

RechercheActu
1 source
EA-WM : modèles du monde sensibles aux événements pour la manipulation à long horizon
113arXiv cs.RO 

EA-WM : modèles du monde sensibles aux événements pour la manipulation à long horizon

Des chercheurs ont soumis EA-WM (Event-Aware World Model) sur arXiv le 12 juin 2026 (arXiv:2606.13053), un cadre de planification robotique pour la manipulation à long horizon. Le système articule deux couches : une dynamique en espace de caractéristiques visuelles gelée (pretrained visual features) sur laquelle vient se greffer un module de prédiction et vérification d'événements ancré dans la spécification de tâche. EA-WM déroule des futurs candidats dans cet espace, les décode en états d'événements structurés (objet déplacé, état de contact changé, prédicat de placement satisfait), puis les score selon quatre critères : progression de la tâche, cohérence sémantique, faisabilité physique et incertitude. Le vérificateur guide l'exploration par échantillonnage et filtre les actions candidates. Dans le benchmark LIBERO, scénario wine-rack sensible aux contacts, il sélectionne parmi des propositions générées par PPO (Proximal Policy Optimization). Les évaluations couvrent navigation, manipulation d'objets déformables, contraintes murales et instructions en langage naturel. L'apport principal est de combler un angle mort structurel des modèles du monde visuels : prédire un futur visuellement plausible ne garantit pas qu'il satisfasse des conditions relationnelles de tâche (prédicats du type "le tiroir est ouvert", "l'objet est posé à l'emplacement cible"). En ajoutant une vérification explicite au niveau événementiel, EA-WM rend les modèles du monde en espace latent à la fois plus interprétables et mieux alignés avec la progression réelle des tâches, sans exiger de nouvelles données de démonstration massives. Pour un intégrateur ou un ingénieur robotique, cela ouvre un potentiel de planification robuste sans dépendre exclusivement de politiques bout-en-bout coûteuses à entraîner. Les modèles du monde en robotique connaissent une accélération depuis DreamerV3 (Google DeepMind) et les architectures VLA comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA. EA-WM se positionne dans un créneau intermédiaire : il ne remplace pas les politiques d'action mais renforce la phase de planification amont, en s'appuyant sur LIBERO comme benchmark multi-tâches désormais standard dans la communauté. À noter que ces résultats restent entièrement en simulation ; la validation sur du matériel réel et le sim-to-real transfer, points encore ouverts dans le domaine, constitueraient l'étape suivante naturelle pour démontrer une applicabilité industrielle effective.

RechercheOpinion
1 source
WOMBET : transfert d'expérience par modèle du monde pour un apprentissage par renforcement robuste et efficace
114arXiv cs.RO 

WOMBET : transfert d'expérience par modèle du monde pour un apprentissage par renforcement robuste et efficace

Une équipe de chercheurs présente WOMBET (World Model-Based Experience Transfer), un cadre d'apprentissage par renforcement (RL) publié sur arXiv sous la référence 2604.08958 (troisième version, indiquant un travail en révision active). Le constat de départ est simple : en robotique, collecter des données d'entraînement est coûteux et potentiellement risqué, ce qui freine l'adoption du RL réel. WOMBET répond à ce problème en deux temps. D'abord, un modèle du monde (world model) est appris sur une tâche source, et sert à générer synthétiquement un jeu de données hors-ligne via une planification pénalisée par l'incertitude épistémique. Les trajectoires générées sont ensuite filtrées selon deux critères : rendement cumulé élevé et faible incertitude. Ensuite, un agent s'affine en ligne sur la tâche cible, avec un échantillonnage adaptatif qui équilibre progressivement données offline (issues du world model) et données online (issues de l'environnement réel), assurant une transition stable. Les auteurs formalisent également que l'objectif pénalisé constitue une borne inférieure du rendement vrai, et décomposent l'erreur finie en termes de décalage de distribution et d'erreur d'approximation. Le gain pratique est réel : WOMBET améliore la vitesse de convergence et les performances finales sur des benchmarks de contrôle continu (probablement DeepMind Control Suite ou MuJoCo, non précisés dans l'abstract) par rapport à des baselines solides. Pour la robotique industrielle, où chaque heure de collecte sur robot physique se paie cher, la capacité à générer des données fiables via un modèle appris, tout en contrôlant leur qualité par l'incertitude, est un levier concret. La double garantie -- théorique et empirique -- est rare dans ce domaine et renforce la crédibilité de l'approche au-delà d'un simple résultat expérimental. Ce travail s'inscrit dans un courant actif qui associe world models et RL offline-to-online, où des systèmes comme DreamerV3 ou TD-MPC2 font référence. WOMBET se distingue en ciblant explicitement le problème du transfert inter-tâche, là où la majorité des approches existantes supposent un jeu de données fixe et pré-collecté. Aucune entreprise ni partenariat industriel n'est mentionné ; il s'agit de recherche académique à stade préprint. Trois versions déposées suggèrent des révisions significatives en cours, possiblement vers une soumission en conférence (NeurIPS, ICML, CoRL). Les prochaines étapes naturelles seraient une validation sur hardware réel et une comparaison avec des méthodes de sim-to-real transfer plus classiques.

RecherchePaper
1 source
Cadre hiérarchique unifiant modèles du monde centrés objets et Diffusion Policy pour tâches robotiques multi-étapes
115arXiv cs.RO 

Cadre hiérarchique unifiant modèles du monde centrés objets et Diffusion Policy pour tâches robotiques multi-étapes

Des chercheurs ont publié le 9 juin 2026 sur arXiv (référence 2606.08775) un framework baptisé WorldDP, conçu pour résoudre le problème de la manipulation robotique multi-étapes. L'architecture est hiérarchique : un modèle du monde de haut niveau sert de fonction de transition au sein d'un cadre MPC (Model Predictive Control) et optimise des sous-objectifs intermédiaires à l'exécution, tandis qu'une Diffusion Policy de bas niveau se charge d'atteindre concrètement chacun de ces sous-objectifs. Pour structurer la planification, les auteurs introduisent des représentations object-centric qui découplent les entités de l'environnement, permettant au planificateur de raisonner séquentiellement sur chaque objet indépendamment. Évalué sur plusieurs benchmarks de manipulation robotique standards, WorldDP surpasse les baselines existantes selon les auteurs, résultat à prendre comme une affirmation de preprint, sans replication externe à ce stade. Ce travail s'attaque à un verrou reconnu du domaine : les modèles du monde visuels, aussi performants soient-ils sur des tâches isolées comme le reaching ou le grasping, échouent structurellement dès que la tâche exige plusieurs étapes causalement enchaînées. Pour un intégrateur ou un COO industriel, cela touche directement à l'exploitabilité réelle des robots manipulateurs en ligne de production, où les séquences pick-and-place complexes sont la norme. Le couplage entre la planification physiquement ancrée d'un world model et l'exécution fluide d'une Diffusion Policy représente une piste sérieuse pour réduire le sim-to-real gap sur des tâches longue horizon, sans nécessiter de démonstrations humaines exhaustives pour chaque variante de tâche. La Diffusion Policy, popularisée par Chi et al. en 2023, est devenue l'une des architectures de référence pour l'imitation learning en robotique, mais elle reste principalement réactive et peu adaptée au raisonnement causal multi-étapes. Les approches VLA (Vision-Language-Action), portées par Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, intègrent du raisonnement de haut niveau mais via des LLM, avec une latence et un coût computationnel élevés. WorldDP explore une voie intermédiaire, purement visuelle et sans langage, plus proche en philosophie des travaux sur les modèles du monde latents (DreamerV3, RSSM). Il s'agit d'un preprint académique sans déploiement industriel annoncé ; les prochaines étapes naturelles seraient une validation sur hardware réel et des benchmarks comparatifs face aux pipelines VLA actuels.

RechercheOpinion
1 source
DexFuture : ciblage visuomoteur hiérarchique par états futurs pour la manipulation bimanuelle d'outils
116arXiv cs.RO 

DexFuture : ciblage visuomoteur hiérarchique par états futurs pour la manipulation bimanuelle d'outils

Des chercheurs ont publié DexFuture (arXiv:2606.05699), une architecture hiérarchique pour la manipulation bimanuelle dextre avec des outils. Le système se décompose en deux niveaux : un prédicteur de cibles visuomotrices futures (Future-State Visuomotor Target Predictor) en haute couche, et une politique d'exécution bas niveau conditionnée sur ces cibles (Target-Conditioned Structured Dexterous Policy). Le prédicteur exploite un flux RGB égocentrique, des données proprioceptives et un historique géométrique pour générer une trajectoire multi-étape via un transformeur conditionné sur l'horizon temporel ; le module d'exécution suit ensuite ces cibles articulation par articulation (per-link) à 60 Hz. Sur le benchmark OakInk2 de tâches bimanuelles avec outils, DexFuture atteint 90 % des performances d'un oracle disposant d'états privilégiés (informations inaccessibles en déploiement réel), contre seulement 7 % pour une politique sans référence future, et s'exécute environ 250 fois plus vite que les approches de planification CEM de type DexWM. Ce résultat est notable car il s'attaque à l'un des verrous fondamentaux de la robotique dextre : comment générer une référence future dynamiquement cohérente sans s'appuyer sur des états privilégiés issus de démonstrations humaines, et sans planification contrefactuelle lente sur des séquences d'actions à haute dimension. L'écart de performance entre la politique sans référence (7 %) et DexFuture (90 %) illustre à quel point le conditionnement sur un horizon temporel est déterminant pour la manipulation fine à deux mains. Pour les intégrateurs et décideurs B2B, l'exécution à 60 Hz est compatible avec du contrôle temps-réel sur hardware standard, là où les approches CEM nécessitaient des cycles bien trop longs pour un déploiement industriel. La séparation explicite entre prédiction sémantique lente (long horizon) et exécution haute fréquence (bas niveau) est une architecture qui se répand dans la robotique de précision, et DexFuture en fournit une validation quantitative significative sur benchmark public. Le benchmark OakInk2 est une référence académique établie pour évaluer la manipulation d'outils à deux mains avec des mains anthropomorphes, couvrant des tâches réalistes de préhension, transfert et utilisation d'outils courants. Le champ des politiques visuomotrices pour mains dextres est en pleine effervescence : DexWM (world models pour la dextérité), Pi-0 de Physical Intelligence, et les approches VLA (Vision-Language-Action) de Google DeepMind et Figure AI poussent la généralisation vers des niveaux inédits. DexFuture se distingue en ciblant la cohérence dynamique de la trajectoire future sans supervision privilégiée, une contrainte plus réaliste que les méthodes supposant un accès complet à l'état du système. L'article n'annonce ni déploiement physique ni timeline commerciale : il s'agit d'un résultat de recherche fondamentale validé en simulation et sur données de démonstration. Les étapes naturelles seraient le passage à des mains physiques (sim-to-real), l'extension à des outils non vus à l'entraînement, et l'intégration dans des pipelines VLA pour des tâches de longue durée.

RecherchePaper
1 source
Modèle vision-langage-action pour la modélisation du monde, le raisonnement et la synthèse d'actions
117arXiv cs.RO 

Modèle vision-langage-action pour la modélisation du monde, le raisonnement et la synthèse d'actions

Des chercheurs présentent WLA (World-Language-Action), une nouvelle classe de modèles de fondation incarnés pour la robotique, dans un preprint arXiv publié début juin 2026. Le modèle prototype WLA-0, fort de 2 milliards de paramètres actifs, prend en entrée des instructions textuelles, des images et l'état du robot pour générer simultanément des sous-tâches textuelles, des images de sous-objectifs et des commandes motrices. Sur l'NVIDIA RTX 5090, le temps d'inférence est de 40 ms par cycle, ce qui reste dans les plages acceptables pour le contrôle temps réel. Les évaluations atteignent 92,94 % de taux de succès sur le benchmark RoboTwin2.0 Clean et 56,5 % sur RMBench, deux protocoles de référence pour les tâches multi-objets et longue portée. L'intérêt architectural réside dans la fusion de deux paradigmes jusqu'ici distincts : le world modeling, qui consiste à apprendre une représentation prédictive du monde à partir de vidéos égocentrées, et le language reasoning propre aux modèles VLA (Vision-Language-Action) tels que Pi-0 ou OpenVLA. WLA opte pour un backbone Transformer autorégressif plutôt que le Transformer de diffusion bidirectionnel utilisé dans les WAM (World-Action Models), ce qui permet de prédire l'état suivant en deux niveaux complémentaires : intention sémantique textuelle d'un côté, dynamiques physiques fines de l'autre. Un mécanisme de meta-queries rend l'influence du world modeling implicite à l'inférence, mais peut être activé pour du test-time scaling, technique qui améliore le contrôle en allouant davantage de calcul à l'exécution. La capacité annoncée d'apprendre de nouvelles tâches à partir de vidéos cross-embodiment sans annotations d'actions est notable, mais reste à valider sur des robots hétérogènes en dehors d'environnements simulés. WLA s'inscrit dans une course dense à l'unification des modèles robotiques. Face à Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui misent chacun sur des architectures diffusion ou VLA, WLA propose une troisième voie autoregressive combinant génération de sous-objectifs visuels et raisonnement linguistique. L'article reste un preprint non validé par les pairs, sans déploiement industriel annoncé. Les prochaines étapes naturelles seraient une évaluation sur des plateformes physiques variées et des benchmarks réels, les performances simulées étant connues pour surestimer les capacités en conditions d'exploitation. Aucun acteur européen n'est impliqué dans ces travaux.

IA physiqueOpinion
1 source
Vers un cycle vertueux de données pour l'IA physique en logistique
118arXiv cs.RO 

Vers un cycle vertueux de données pour l'IA physique en logistique

Une équipe de chercheurs publie sur arXiv (réf. 2606.05960) un cadre de recherche baptisé "data flywheel" pour l'intelligence incarnée appliquée à la logistique. L'idée centrale : transformer les opérations quotidiennes d'un robot déployé en actifs de données réutilisables pour entraîner et améliorer les politiques de contrôle. La contribution technique principale est WM-DAgger (World Model-based Data Aggregation), une extension de l'algorithme classique DAgger qui exploite un modèle du monde pour synthétiser des données de récupération hors-distribution. En clair, lorsqu'un robot rencontre un colis dans une configuration rare qu'il n'a jamais vue, le modèle du monde génère des trajectoires de correction synthétiques sans nécessiter une nouvelle intervention humaine. Le cadre intègre également trois types de données multimodales : démonstrations humaines étiquetées, vidéos opérationnelles non étiquetées, et journaux système du robot en conditions réelles. L'enjeu industriel est direct. Les pipelines robotiques traditionnels en perception-planification-contrôle, dominants en entrepôt, ne généralisent pas bien aux cas rares, or c'est précisément là que se concentrent les défaillances en conditions réelles. Les systèmes d'apprentissage par imitation promettent plus de flexibilité, mais se heurtent au problème du "long tail" : les configurations atypiques de colis (forme, poids, orientation, emballage dégradé) représentent une fraction infime du volume mais la majorité des erreurs. WM-DAgger s'attaque à ce goulet en générant synthétiquement les données de récupération manquantes, ce qui réduit théoriquement le besoin de collecte terrain coûteuse pour chaque variante. Si le concept tient à l'échelle, il change l'équation économique du déploiement : le robot s'améliore en opérant, sans interrompre la chaîne logistique pour des sessions de collecte dédiées. Sur le plan du contexte, la recherche s'inscrit dans un mouvement plus large d'industrialisation de la manipulation apprenable, porté côté startups par Covariant (racheté par ABB), Dexterity, Nimble Robotics ou encore Pickle Robot aux États-Unis, et en Europe par des acteurs comme Exotec, dont le Skypod reste cependant dans le registre AMR plutôt que manipulation fine. La logistique de colis est devenue le banc d'essai favori de la communauté robotique pour tester le passage du laboratoire au déploiement réel. Ce papier reste pour l'instant un preprint de recherche : WM-DAgger est décrit comme un "résultat initial" et les travaux en cours sont présentés comme exploratoires. Aucun chiffre de performance en conditions industrielles n'est communiqué, et aucun partenaire industriel n'est mentionné. À surveiller pour les résultats de validation à venir.

RecherchePaper
1 source
WAM-Nav : modélisation monde-action asymétrique en espace latent pour la navigation visuelle unifiée
119arXiv cs.RO 

WAM-Nav : modélisation monde-action asymétrique en espace latent pour la navigation visuelle unifiée

Des chercheurs ont publié WAM-Nav (Latent World-Action Model for Navigation), un système de navigation visuelle incarnée qui couple la génération d'actions et la prévision visuelle dans un seul modèle, déposé sur arXiv en juin 2026 (réf. 2606.04907). L'architecture repose sur un Diffusion Transformer partagé qui effectue une diffusion jointe asymétrique : il génère simultanément des actions à long horizon et une anticipation visuelle à court horizon, sans recourir aux rollouts autorégressifs multi-étapes qui alourdissent la latence d'inférence. Un mécanisme de conditionnement contextuel à double flux intègre l'historique d'ego-motion à l'échelle de l'épisode et les observations visuelles séquentielles, favorisant des trajectoires lisses et cohérentes. Un module d'alignement d'objectif unifié permet à WAM-Nav de gérer trois modes dans une seule politique : Image-Goal, Point-Goal et exploration libre (No-Goal). Sur les benchmarks ClutterScenes et InternScenes, le système améliore les taux de réussite de 15,7 % en Image-Goal et de 3,3 % en Point-Goal. En déploiement réel, WAM-Nav atteint 85 % de taux de succès moyen sur des environnements intérieurs et extérieurs variés, sans fine-tuning, soit un transfert sim-to-real zéro-shot. Ce résultat intéresse directement les intégrateurs de robotique mobile pour deux raisons concrètes. D'abord, la résolution simultanée de l'action et de l'imagination visuelle dans un seul réseau réduit l'accumulation d'erreurs typique des architectures modulaires, où le prédicteur de scène et le module de politique sont entraînés séparément et se propagent mutuellement leurs erreurs. Ensuite, un taux de 85 % en zéro-shot sur des environnements variés représente un indicateur sérieux, même si les conditions de test (densité d'obstacles, vitesses, types de sols) ne sont pas détaillées dans le résumé et méritent d'être examinées dans le papier complet. Pour un COO ou un décideur B2B, cette architecture suggère des robots de navigation capables de s'adapter à de nouveaux scénarios sans collecte de données coûteuse sur site. Le sim-to-real gap reste l'un des blocages majeurs de la robotique mobile autonome depuis des années : les politiques entraînées en simulation échouent souvent au contact du monde réel en raison des différences de rendu, de dynamique et de bruit des capteurs. WAM-Nav s'inscrit dans une vague de travaux qui combinent modèles de diffusion pour la génération d'actions et représentations latentes du monde, dans la lignée des World Models de type RSSM ou des VLA comme Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA. Sur le plan concurrentiel, des approches comme NoMaD, ViNT ou les stacks Nav2/ROS 2 restent des références opérationnelles sur AMR commerciaux, et WAM-Nav devra être comparé à ces systèmes dans des conditions contrôlées identiques pour confirmer sa supériorité pratique. L'étape suivante naturelle serait une validation sur des plateformes matérielles réelles en conditions industrielles, dont aucun partenariat ni timeline n'est annoncé à ce stade.

RecherchePaper
1 source
Modèles du monde locaux et globaux couplés pour un apprentissage par renforcement efficace du premier ordre
120arXiv cs.RO 

Modèles du monde locaux et globaux couplés pour un apprentissage par renforcement efficace du premier ordre

Des chercheurs ont publié en février 2026 une méthode d'entraînement de politiques de contrôle robotique entièrement à l'intérieur de modèles du monde appris depuis des données réelles, sans aucun simulateur physique. L'approche, baptisée FoG (First-order Gradient découplé), repose sur un couplage inédit : un modèle du monde global, basé sur un modèle de diffusion à grande échelle, génère des trajectoires précises dans l'espace image, tandis qu'un modèle local léger opérant dans un espace latent approche les dynamiques locales pour calculer les gradients de manière tractable. Les auteurs valident la méthode sur la tâche Push-T, un benchmark standard de manipulation planaire, où FoG surpasse significativement PPO (Proximal Policy Optimization) en efficacité d'échantillons. Une deuxième évaluation porte sur de la manipulation d'objets en vue égocentrique avec un robot quadrupède. Ce travail s'attaque à un verrou majeur de la robotique de manipulation : les simulateurs physiques classiques peinent à modéliser fidèlement les contacts, la non-rigidité des objets et les perceptions visuelles complexes, créant un écart sim-to-real difficile à combler. En substituant entièrement le simulateur par un modèle du monde appris sur des interactions réelles, FoG contourne ce problème structurellement plutôt que de l'atténuer par du domain randomization ou du fine-tuning. Le découplage local/global est la contribution centrale : utiliser le modèle de diffusion complet pour le déroulé (roll-out) garantit la fidélité, tandis que le substitut latent rend le calcul du gradient computationnellement viable, une tension que les approches précédentes ne résolvaient pas proprement. Les world models comme levier pour l'apprentissage robotique constituent un axe de recherche en forte accélération depuis les travaux fondateurs de Dreamer (DeepMind, 2019-2023) et de MBPO. Les modèles de diffusion, d'abord dominants en génération d'images, sont progressivement intégrés comme modèles de transition dynamique dans des travaux récents chez Google DeepMind, Berkeley et le MIT. FoG se positionne dans cette veine mais avec un angle d'optimisation first-order qui le distingue des approches model-based RL classiques. Les résultats sont préliminaires, limités à deux tâches de complexité modérée, et les auteurs ne présentent pas de métriques de temps de calcul détaillées ni de comparaison sur des benchmarks de manipulation plus exigeants comme ManiSkill ou RoboSuite. La prochaine étape naturelle serait de tester la méthode sur des tâches dextères en environnement non structuré, où le gap sim-to-real est le plus pénalisant.

RecherchePaper
1 source
Tous les points ne se valent pas : synthèse de scènes LiDAR 4D avec conscience de l'incertitude
121arXiv cs.RO 

Tous les points ne se valent pas : synthèse de scènes LiDAR 4D avec conscience de l'incertitude

Une équipe de chercheurs a publié en juin 2026 sur arXiv un cadre de génération de scènes LiDAR 4D baptisé U4D (arXiv:2606.02510), conçu pour l'IA incarnée (embodied AI) et la simulation de véhicules autonomes. Le constat de départ : dans un seul scan LiDAR, la difficulté perceptuelle varie considérablement selon les régions ; surfaces distantes, contours occultés et petits objets présentent une incertitude géométrique bien plus élevée que les structures bien observées. U4D quantifie cette incertitude point par point via l'entropie de Shannon, extraite d'un segmenteur neuronal pré-entraîné, pour produire des cartes d'incertitude spatiale par point. Le pipeline adopte un ordonnancement "du difficile au simple" : un premier stage de diffusion non conditionnelle synthétise les zones à haute entropie avec précision géométrique, puis un stage de complétion conditionnelle remplit les régions restantes en s'appuyant sur ces structures comme priors. Un bloc MoST (Mixture of Spatio-Temporal) assure la cohérence inter-images en équilibrant détail spatial et continuité temporelle. Les validations sur les benchmarks nuScenes et SemanticKITTI affichent des résultats revendiqués état de l'art en fidélité de scène, cohérence temporelle et performances sur les tâches aval de perception. L'approche corrige une limite fondamentale des générateurs LiDAR existants, qui allouent une capacité de modélisation uniforme sur l'ensemble de l'espace, traitant de fait un trottoir proche et un piéton à 60 mètres avec le même effort de synthèse. En concentrant la puissance générative sur les zones les plus incertaines, U4D vise à améliorer la qualité des données synthétiques pour l'entraînement de percepteurs embarqués, enjeu critique pour les intégrateurs de systèmes autonomes cherchant à réduire le coût de collecte et d'annotation de données réelles. La robustesse sur SemanticKITTI, jeu de données distinct des conditions d'entraînement principales, suggère une certaine généralisation, bien que les résultats demeurent limités à des expériences académiques sans déploiement industriel annoncé ni évaluation publique indépendante. La génération de LiDAR synthétique est un champ actif depuis l'essor des modèles de diffusion appliqués à la 3D, avec des travaux antérieurs comme LiDARGen, UltraLiDAR ou DriveDreamer couvrant partiellement ce problème. U4D se distingue en introduisant explicitement l'incertitude dans le processus génératif, concept emprunté à la littérature sur l'apprentissage actif et la calibration de réseaux. Aucun acteur européen n'est cité dans l'article, mais des laboratoires comme le CEA-List ou des startups de perception comme Outsight pourraient intégrer de tels outils dans leurs pipelines de validation sim-to-real. La prochaine étape naturelle sera d'évaluer U4D sur des capteurs et environnements hors distribution, et de l'intégrer dans des pipelines de World Model pour la planification autonome à grande échelle.

RecherchePaper
1 source
Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides
122arXiv cs.RO 

Apprentissage de modèles du monde par Gaussian Splatting centrés sur les objets et conditionnés par les actions pour objets rigides

Une équipe de chercheurs publie MRO-GWM (Multi Rigid Object Gaussian World Model), un modèle de monde action-conditionnel capable de prédire en 3D les effets des actions d'un robot sur des objets rigides. Déposé sur arXiv (réf. 2606.01950), le travail combine Gaussian splatting et apprentissage de dynamique : chaque objet de la scène est décrit par un ensemble de gaussiennes dans un référentiel canonique propre, son mouvement étant modélisé comme une transformation de corps rigide (rotation et translation). Un transformateur spatio-temporel prédit la trajectoire future des objets à partir de leur historique gaussien et des actions planifiées par le robot. L'architecture gère les occlusions partielles grâce à un entraînement sur reconstructions multi-vues. Les évaluations portent sur des datasets synthétiques d'objets ménagers en interaction avec un effecteur robot, et sur des tâches de manipulation non préhensile (pousser un objet sans le saisir) dans le cadre d'un contrôle prédictif par modèle (MPC), le tout exclusivement en simulation. L'association de modèles de monde action-conditionnels et de Gaussian splatting est pertinente : les premiers permettent de planifier sans essai-erreur coûteux, le second offre une représentation 3D différentiable adaptée à des géométries complexes sans maillage explicite. La décomposition objet-centrique améliore en théorie la généralisation à de nouvelles configurations de scène, contrairement aux encodages holistes. La validation sur manipulation non préhensile est notable car pousser un objet vers une cible est considéré comme un benchmark difficile : les contacts sont instables et mal modélisés par la plupart des simulateurs physiques. Ces résultats restent toutefois entièrement simulés et limités aux objets strictement rigides, sans aucun transfert sim-to-real documenté. Le Gaussian splatting connaît une adoption rapide en robotique depuis la publication de 3DGS (Kerbl et al., 2023), avec des travaux concurrents comme SplatSim, GaussianWorld ou des approches combinant NeRF et planification. MRO-GWM se distingue par son traitement explicite de la dynamique multi-objets avec interactions physiques, un axe moins couvert que la navigation ou la préhension isolée. Le gap sim-to-real demeure le verrou principal : une validation sur bras réel (type Franka ou UR5) constituerait l'étape naturelle, tout comme une extension aux objets articulés ou semi-rigides, aujourd'hui hors périmètre du modèle.

RecherchePaper
1 source
Enrichir le contexte spatial et temporel pour l'apprentissage par imitation robotique avec des graphes de scène
123arXiv cs.RO 

Enrichir le contexte spatial et temporel pour l'apprentissage par imitation robotique avec des graphes de scène

Des chercheurs ont publié le 1er juin 2026 sur arXiv (2606.01072) une méthode d'apprentissage par imitation qui exploite des graphes de scène dynamiques comme mécanisme de mémoire structurée pour les robots mobiles. Le principe : pendant l'exécution d'une tâche, le robot maintient un graphe de scène mis à jour en continu, qui encode les relations entre objets et leur évolution dans le temps. Plutôt que de traiter uniquement les observations courantes du capteur, le système capitalise sur l'historique accrété de l'environnement pour inférer des politiques d'action. Les validations couvrent deux régimes : manipulation mobile en simulation (environnements à grande échelle spatialement) et manipulation sur table en conditions réelles. Les auteurs rapportent une amélioration substantielle des performances par rapport aux baselines, particulièrement sur des tâches nécessitant un raisonnement à long terme, sans donner de métriques chiffrées précises dans l'abstract. Ce travail s'attaque à deux verrous persistants du déploiement de robots apprenants dans des environnements non-structurés. Le premier est l'observabilité partielle : dans un appartement ou un bureau, le champ de vision d'un robot ne capture qu'une fraction de l'espace pertinent, et les objets manipulés disparaissent régulièrement du cadre. Le second est l'horizon temporel : des tâches comme "ranger la cuisine" enchaînent des dizaines de sous-tâches dont les dépendances ne sont pas localement visibles. En substituant un graphe de scène explicite et structuré à une mémoire implicite (fenêtre d'observations brutes, état caché LSTM), l'approche donne au robot une représentation interprétable et modulaire du contexte. Pour les intégrateurs industriels et les équipes qui déploient des politiques d'imitation dans des environnements semi-structurés, c'est une piste crédible pour réduire le gap entre démo de labo et robustesse opérationnelle, même si les expériences restent pour l'instant confinées à la simulation et au tabletop. L'apprentissage par imitation (behavioral cloning, GAIL, DAgger) a connu un regain d'intérêt majeur avec l'essor des Visual Language Action models (VLA) comme Pi-0 de Physical Intelligence, RT-2 de Google DeepMind, ou OpenVLA. Les graphes de scène sont une technique éprouvée en vision par ordinateur et en navigation robotique (travaux de Armeni, Rosinol, Chang notamment), mais leur intégration dans des pipelines d'imitation learning reste peu explorée. Les approches concurrentes pour gérer la mémoire à long terme incluent les transformers avec attention sur un historique d'observations, les représentations de tâches hiérarchiques (task graphs), et les world models latents. Ce preprint n'étant pas encore évalué par les pairs, ses résultats méritent confirmation sur des benchmarks plus larges et des environnements réellement non-structurés avant de pouvoir orienter des décisions d'architecture. Les auteurs n'annoncent pas de code public ni de suite industrielle à ce stade.

RechercheOpinion
1 source
Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné
124arXiv cs.RO 

Feat2Go : estimation de valeur par ancrage visuel pour l'apprentissage par renforcement incarné

Feat2Go est un framework de recherche présenté sur arXiv (2605.30795, mai 2026) qui s'attaque à un verrou persistant dans l'entraînement des modèles vision-langage-action (VLA) : générer automatiquement des signaux de récompense denses pour l'apprentissage par renforcement (RL) sur des tâches de manipulation longue portée. Le système décompose automatiquement un épisode robotique en étapes sémantiques via un clustering orienté tendances, puis mesure la progression par similarité au niveau patch entre l'état courant et des sous-objectifs visuels extraits d'un world model visuel pré-entraîné. Un modèle de valeur incarné prédit ensuite ce progrès à partir de l'observation et de l'instruction textuelle, et le signal est utilisé pour reformuler les récompenses terminales lors de l'optimisation de politique, sans ingénierie manuelle des récompenses. Les résultats sur deux benchmarks de référence sont nets : sur ManiSkill3, OpenVLA-OFT passe d'un taux de succès hors distribution de 17,5 % à 82,9 % tout en maintenant 96,9 % en distribution ; sur RoboTwin 2.0, Feat2Go atteint 88,8 % de succès moyen en domain randomization, dépassant les méthodes RL antérieures. Le framework est compatible avec PPO et GRPO, et couvre manipulation bras unique et bras bimanuels. L'intérêt de cette contribution est qu'elle attaque un problème structurel du RL robotique : soit on conçoit à la main des fonctions de récompense tâche par tâche, soit on reste captif de lourds datasets d'imitation. Feat2Go contourne ces deux contraintes en extrayant automatiquement un signal de progrès granulaire depuis un world model, ce qui le rend théoriquement compatible avec des architectures VLA existantes sans modification majeure du pipeline. Un saut de 17,5 % à 82,9 % hors distribution représente un écart brut significatif, mais il faut souligner que ces chiffres restent obtenus en simulation : la chaîne sim-to-real n'est pas validée sur hardware réel, une limite habituelle mais non négligeable. Cette approche s'inscrit dans une tendance large où le RL sert de couche de fine-tuning au-dessus de fondations VLA pré-entraînées, après des travaux récents comme π0 de Physical Intelligence, GROOT N2 de NVIDIA, ou les architectures de 1X et Figure AI. La question du signal de récompense était le chaînon manquant dans ce paradigme ; Feat2Go propose une réponse agnostique au modèle. Aucun partenariat industriel ni déploiement terrain n'est annoncé, la contribution restant académique à ce stade.

RechercheOpinion
1 source
RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement
125arXiv cs.RO 

RDGen : génération de démonstrations pour l'apprentissage robotique par renforcement

Une équipe de chercheurs a publié le 30 mai 2026 sur arXiv (référence 2605.30957) un framework appelé RDGen, pour "Reinforcement Learning Demonstration Generation", destiné à automatiser la collecte de données d'entraînement pour les modèles Vision-Language-Action (VLA). Le système combine trois composants : un module d'analyse de tâches basé sur un modèle de langage visuel (VLM), un localisateur d'objets fondé sur Grounding DINO, et une politique de contrôle entraînée par apprentissage par renforcement (RL) en simulation puis transférée sur un robot réel. Testé sur une tâche de saisie et de dépose, RDGen atteint un taux de succès élevé après transfert sim-to-real, sans que les auteurs ne publient de chiffre précis dans le résumé disponible. Les trajectoires générées sont ensuite réutilisées directement comme données d'entraînement pour affiner des politiques VLA en aval. L'enjeu central est celui du goulot d'étranglement dans la chaîne d'entraînement des robots généralistes : la télé-opération humaine, méthode dominante pour collecter des démonstrations, est lente, coûteuse, et produit des trajectoires variables selon l'opérateur. RDGen propose de substituer cet effort humain par une politique RL, qui génère des trajectoires mécaniquement cohérentes et reproductibles, plus lisses selon les auteurs que ce que produit un opérateur humain, et avec un coût marginal quasi nul en simulation. Cela renforce l'hypothèse que le problème sim-to-real pour des tâches de manipulation simples est largement résolu, et déplace la question vers la scalabilité de la diversité des tâches plutôt que la qualité individuelle des démos. RDGen s'inscrit dans un débat actif sur la meilleure façon d'alimenter les VLA, dont les architectures de référence actuelles incluent pi0 (Physical Intelligence), OpenVLA et les travaux de RT-2/RT-X chez Google DeepMind. La collecte de données reste le principal frein industriel à leur déploiement, ce que tentent aussi d'adresser des approches concurrentes comme la génération vidéo synthétique (ex. travaux UniSim, Genie) ou l'augmentation par world models. La contribution de RDGen est plus modeste et ciblée : un pipeline sim-to-real structuré pour des tâches de manipulation définies, avec réutilisation des rollouts réussis. Il s'agit d'un preprint non encore peer-reviewed ; les expériences restent limitées à pick-and-place, et l'absence de métriques quantitatives précises dans le résumé invite à attendre la version complète avant d'en tirer des conclusions générales sur la scalabilité.

RechercheOpinion
1 source
Apprentissage auto-régressif forcé : vers un modèle du monde pour la navigation robotique à long horizon
126arXiv cs.RO 

Apprentissage auto-régressif forcé : vers un modèle du monde pour la navigation robotique à long horizon

Une équipe de chercheurs (arXiv:2605.31314, mai 2026) propose AR Forcing, une stratégie d'entraînement autorégressive pour les world models de navigation robotique basés sur la diffusion. Le problème adressé est un écart de distribution persistant : ces modèles sont entraînés avec une supervision parallèle, mais exécutent une inférence autorégressive au moment du planning de trajectoire. Cette asymétrie déstabilise les prédictions sur des horizons longs. AR Forcing l'attaque à la source en intégrant la fonction de perte diffusion standard dans la boucle autorégressive : à chaque étape, le modèle utilise ses propres prédictions pour mettre à jour le contexte et optimiser l'objectif de prédiction de bruit pas à pas. Les expériences ont été menées sur quatre jeux de données multi-domaines couvrant des environnements variés : RECON et SCAND (navigation urbaine et extérieure), HuRoN (interactions humain-robot) et TartanDrive (tout-terrain). L'intérêt pratique de cette approche tient à sa sobriété architecturale : AR Forcing ne requiert ni discriminateur supplémentaire, ni fonction de distribution-matching, et conserve le framework diffusion d'origine ainsi que son sampler. Pour les équipes développant des robots mobiles autonomes (AMR) ou des systèmes de navigation vision-only, cela signifie une intégration sans refonte de pipeline. Les résultats déclarés montrent une meilleure cohérence des images générées sur de longs horizons temporels et une amélioration de la précision des trajectoires prédites, y compris dans des environnements inconnus. Le bémol habituel s'applique ici : les métriques sont évaluées sur des datasets publics en conditions contrôlées, et le gap sim-to-real sur du hardware réel reste à démontrer. Les world models pour la navigation robotique constituent un axe de recherche actif, en lien direct avec les VLA (Vision-Language-Action models) et des travaux comme DreamerV3 ou UniSim. La dérive cumulative sur les horizons longs est précisément le verrou historique que AR Forcing tente de lever, là où les approches concurrentes recourent souvent à des mécanismes d'ancrage externes plus lourds. Le code source doit être publié prochainement selon les auteurs, ce qui permettra à la communauté de valider les résultats sur ses propres domaines applicatifs. Ce papier est un preprint arXiv non encore évalué par les pairs, sans financement industriel déclaré ni déploiement annoncé.

RecherchePaper
1 source
L’IA physique : le prochain marché que surveille déjà Wall Street
127Robot Magazine FR 

L’IA physique : le prochain marché que surveille déjà Wall Street

Wall Street identifie désormais la "Physical AI" comme le prochain cycle d'investissement majeur après l'IA générative. Selon plusieurs cabinets spécialisés, le marché mondial de la robotique intelligente et de l'IA physique pourrait dépasser 3 000 milliards de dollars d'ici 2040. Goldman Sachs est plus précis sur le segment humanoïde : 150 milliards de dollars d'ici 2035, avec un marché global de robotique intelligente franchissant les 400 milliards. NVIDIA, valorisé à plus de 3 000 milliards de dollars en 2026, est présenté comme le principal bénéficiaire actuel de cette tendance, son PDG Jensen Huang ayant publiquement intégré la "Physical AI" à sa feuille de route. Tesla, de son côté, est repositionnée dans cette grille de lecture grâce à son robot humanoïde Optimus, au-delà de son coeur de marché automobile. À noter : ces chiffres sont des projections de marché, pas des revenus confirmés, et l'article ne cite aucune métrique opérationnelle de déploiement. La rupture que pointe cet article est structurelle : l'IA générative est restée confinée aux écrans (texte, images, code), tandis que la Physical AI vise à en faire une force de travail dans le monde réel, capable de manipuler des objets, se déplacer et exécuter des tâches physiques de manière autonome. Pour un COO industriel ou un intégrateur, ce changement de paradigme est pertinent dans un contexte de pénuries de main-d'oeuvre persistantes et d'accélération de l'automatisation. Ce qui change pour les décideurs B2B, c'est l'horizon de planification : les fonds se positionnent déjà, ce qui signifie que les valuations des acteurs émergents (robotique, simulation, edge computing industriel) vont probablement se comprimer dans les 18 à 36 prochains mois, avant même que des déploiements à grande échelle soient prouvés. Ce récit s'inscrit dans un cycle bien rodé : après le cloud (AWS, Azure), puis l'IA générative (NVIDIA, OpenAI), les analystes financiers cherchent le prochain thème de surperformance. NVIDIA a amorcé ce pivot avec ses plateformes Isaac (simulation robotique) et Cosmos (world model pour robots), et ses partenariats avec Figure, 1X, Agility Robotics ou Boston Dynamics. Tesla joue la même carte avec Optimus, dont les premières vidéos de ligne de production interne ont été diffusées fin 2024, sans chiffres de cadence publiés. L'article reste toutefois une analyse financière généraliste : il ne cite aucun robot spécifique avec des métriques techniques (DOF, payload, cycle time), aucun site de déploiement confirmé, et aucun acteur européen malgré la pertinence d'entreprises comme Wandercraft ou Enchanted Tools sur ce segment. Les prochaines étapes annoncées restent floues, ce qui est caractéristique du registre "thème d'investissement émergent" plutôt que d'un bilan opérationnel.

UELa dynamique d'investissement Wall Street sur la Physical AI devrait indirectement comprimer les valorisations des startups robotiques européennes dans les 18-36 mois, avant tout déploiement prouvé, ce qui rend la fenêtre de levée de fonds pour des acteurs comme Wandercraft ou Enchanted Tools potentiellement plus courte.

IA physiqueOpinion
1 source
Modèle du monde pour la navigation sociale de robots guidée par la logique
128arXiv cs.RO 

Modèle du monde pour la navigation sociale de robots guidée par la logique

Des chercheurs ont publié NaviWM (Navigation World Model), un système de navigation robotique socialement consciente qui couple un grand modèle de langage (LLM) avec un modèle de monde structuré et un module de raisonnement logique déductif. Le système repose sur deux composants principaux : un modèle spatio-temporel qui capture en temps réel les positions, vitesses et activités des agents présents dans l'environnement, et un module de raisonnement par chaîne-de-pensée (chain-of-thought) guidé par des règles formelles. La nouveauté centrale est l'encodage des normes sociales en logique du premier ordre (first-order logic), ce qui rend le raisonnement du robot vérifiable et interprétable, contrairement aux approches par prompt engineering ou fine-tuning. Les expériences menées montrent une amélioration du taux de succès de navigation et une réduction des violations sociales dans les environnements encombrés. L'article, disponible en version 2 sur arXiv (référence 2510.23509), est accompagné de vidéos de démonstration publiées par les auteurs. Ce travail s'attaque à une faille bien documentée des LLM appliqués à la planification de trajectoires en robotique mobile : le manque d'ancrage physique et de cohérence logique lorsqu'ils opèrent seuls. En environnements dynamiques peuplés d'humains, les LLM purs produisent des comportements imprévisibles, voire dangereux. En ajoutant une couche de raisonnement formel en aval du LLM sous des contraintes explicites (espace personnel, évitement de collision, gestion du timing), NaviWM propose une solution plus robuste. Pour un intégrateur travaillant sur des robots de service en intérieur, livraison hospitalière ou navigation en entrepôt mixte humain-robot, cela représente un levier concret pour réduire le gap entre démonstration en laboratoire et déploiement opérationnel. Le caractère interprétable du raisonnement constitue également un atout pour les exigences de traçabilité et de certification en milieu industriel ou médical. La navigation sociale pour robots mobiles est un champ en forte effervescence, où coexistent des approches classiques comme ORCA (Optimal Reciprocal Collision Avoidance), des prédicteurs à base de réseaux LSTM sociaux, et plus récemment des systèmes intégrant des VLA (Vision-Language-Action models) comme Pi-0 ou les architectures embarquées de Boston Dynamics et Figure. NaviWM se positionne dans un segment distinct : il ne cherche pas à remplacer le LLM mais à le contraindre via un modèle du monde explicite et des règles formelles, une approche hybride neuro-symbolique proche des travaux du MIT CSAIL sur la planification task-and-motion. Les prochaines étapes naturelles seront de valider l'architecture sur des plateformes physiques hors simulation et de tester la robustesse des règles logiques face à des scénarios sociaux non anticipés lors de leur encodage initial.

RecherchePaper
1 source
Apprentissage en boucle fermée d'un modèle du monde vidéo et d'une politique VLA
129arXiv cs.RO 

Apprentissage en boucle fermée d'un modèle du monde vidéo et d'une politique VLA

Une équipe de chercheurs a publié en février 2026 sur arXiv (identifiant 2602.06508v2) World-VLA-Loop, un cadre d'entraînement qui couple un modèle de monde vidéo et une politique VLA (Vision-Language-Action) dans une boucle d'amélioration mutuelle. Le problème de départ est concret : raffiner une politique VLA par apprentissage par renforcement (RL) dans le monde physique coûte cher, entre les rollouts répétés, les remises à l'état initial, la supervision humaine et les risques de sécurité. Les approches existantes utilisent des modèles de monde vidéo conditionnés sur les actions comme simulateurs virtuels, mais ces simulateurs peinent à reproduire les échecs proches du succès ("near-success failures") et ne produisent pas nativement de signal de récompense. World-VLA-Loop propose deux innovations fondamentales : SANS, un protocole de curation qui mélange délibérément trajectoires réussies et trajectoires quasi-réussies pour améliorer l'alignement action-résultat ; et un modèle de monde vidéo "state-aware" qui prédit simultanément frames futures et récompenses binaires à partir des latents de diffusion, intégrant l'estimation de récompense directement dans le générateur plutôt que dans un module séparé. L'apport principal est d'adresser le problème du décalage de distribution dynamique. Lorsqu'une politique VLA évolue pendant le RL, un simulateur figé se désaligne progressivement avec la politique mise à jour. World-VLA-Loop ferme cette boucle en réinjectant les rollouts de chaque politique améliorée pour affiner le modèle de monde, lequel alimente à son tour le post-entraînement VLA suivant. Cette co-évolution itérative réduit la dépendance aux interactions physiques coûteuses. Les expériences couvrent des environnements de simulation et des robots réels, avec des améliorations de performance significatives annoncées, bien que les métriques précises et les benchmarks ne soient pas détaillés dans le résumé disponible, ce qui limite l'évaluation indépendante à ce stade. Ce travail s'inscrit dans l'essor rapide des politiques VLA depuis 2024 : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA ou Helix de Figure AI constituent l'écosystème de référence. L'enjeu commun est de dépasser le behavior cloning pur pour intégrer du RL sans exploser les coûts de collecte de données réelles. World-VLA-Loop reste un preprint académique en attente de révision par les pairs, sans déploiement industriel annoncé. Les concurrents directs sur la thématique des world models appliqués à la robotique incluent DreamerV3 et les approches de Google DeepMind. Les prochaines étapes naturelles seraient une validation sur des tâches de manipulation plus complexes et une comparaison quantitative publiée contre ces baselines.

IA physiqueOpinion
1 source
GigaAI dévoile son système « Dual Pyramid » d'IA générale physique pour surmonter le mur du passage à l'échelle de l'IA incarnée
130Pandaily 

GigaAI dévoile son système « Dual Pyramid » d'IA générale physique pour surmonter le mur du passage à l'échelle de l'IA incarnée

Le 20 mai 2026, lors d'un événement de lancement dans l'Optical Valley de Wuhan, la startup chinoise GigaAI a dévoilé ce qu'elle appelle une architecture "Dual Pyramid" pour l'intelligence physique générale. Le système repose sur deux couches parallèles : une couche données qui fusionne dans un seul pipeline d'entraînement des données issues de robots réels (pour la physique de référence), de vidéos internet (pour la diversité situationnelle à grande échelle) et de simulation (pour la couverture synthétique illimitée) ; et une couche algorithmique qui empile des world models et des modèles VLA (Vision-Language-Action) comme piliers complémentaires. En parallèle, GigaAI a lancé SeeLight, une sous-marque dédiée aux environnements domestiques, ainsi que le SeeLight S1, son premier robot humanoïde polyvalent pour la maison. Une flotte de 100 unités est déjà déployée dans des foyers réels à Wuhan, avec un passage en opérations à grande échelle prévu pour le troisième trimestre 2026. La feuille de route sur 12 mois prévoit trois releases successives de modèles de base, GigaBrain-1, GigaBrain-2 et GigaBrain-3, que la société positionne comme l'équivalent du "moment GPT-3" pour la robotique physique généraliste. L'enjeu stratégique de cette annonce dépasse la présentation d'un nouveau robot : GigaAI s'attaque frontalement au débat qui structure le champ depuis deux ans. Le camp des world models, représenté par NVIDIA Cosmos et Google Genie, défend l'idée que des modèles vidéo génératifs peuvent fournir de la donnée d'entraînement à l'échelle industrielle. Le camp des modèles d'action, incarné par Physical Intelligence avec sa série pi-0 et les chercheurs en Diffusion Policy, argue que seules les données collectées sur robots réels permettent de généraliser les compétences de manipulation. En proposant une architecture hybride qui refuse ce choix binaire, GigaAI parie que world models et VLA ne sont pas concurrents mais codépendants. Si le déploiement des 100 unités en conditions réelles se confirme au-delà des vidéos de démonstration sélectionnées, cela constituerait une preuve sérieuse du sim-to-real scaling sur des tâches domestiques non structurées. La revendication d'un "GPT-3 moment" reste un signal marketing à surveiller avec prudence, mais l'architecture elle-même est techniquement cohérente avec les travaux récents sur les données hybrides. GigaAI s'inscrit dans une vague de startups chinoises en robotique humanoïde qui ont accéléré leurs sorties produit depuis 2024, en réponse directe aux annonces d'Agility Robotics (Digit), Figure (Figure 02), et Tesla (Optimus Gen 2). L'Optical Valley de Wuhan est devenu un pôle de référence pour la robotique en Chine, au même titre que Shenzhen pour le hardware grand public. La prochaine étape observable sera la publication de métriques de performance des unités SeeLight S1 dans des conditions d'utilisation domestique réelle, ainsi que le lancement de GigaBrain-1 selon le calendrier annoncé. Aucun acteur européen n'est directement impliqué dans cette annonce, mais les intégrateurs industriels et les décideurs robotique suivront de près la montée en échelle du Q3 2026 comme premier test de vérité.

UELa montée en échelle du SeeLight S1 prévue en Q3 2026 constituera un indicateur de compétitivité chinoise en robotique domestique que les acteurs industriels et décideurs européens devront intégrer dans leur veille stratégique.

Chine/AsieOpinion
1 source
V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)
131arXiv cs.RO 

V-VLAPS : planification guidée par valeur pour les modèles vision-langage-action (VLA)

Des chercheurs proposent V-VLAPS (Value-Guided Vision-Language-Action Planning and Search), une méthode qui augmente les modèles VLA (Vision-Language-Action) d'un signal de valeur appris pour améliorer la planification en manipulation robotique. Les VLA encodent perception visuelle, langage et commande motrice pour générer des actions, mais leur comportement purement réactif se dégrade hors distribution d'entraînement ou sur des tâches à horizon long. V-VLAPS ajoute une tête de valeur légère (value head), entraînée sur des trajectoires hors-ligne (offline rollouts), qui prédit les retours Monte Carlo et guide un MCTS (Monte Carlo Tree Search) vers les branches de plus haute valeur. Sur les cinq suites du benchmark LIBERO, V-VLAPS égale la baseline sans valeur au budget de recherche standard ; avec un budget élargi, il la dépasse dans toutes les suites, avec +6 points de pourcentage sur LIBERO-Object et +4 points sur LIBERO-10. L'apport central est de démontrer que les représentations internes des VLA encodent non seulement des informations sur l'échec d'une trajectoire (déjà documenté dans la littérature), mais peuvent aussi estimer la valeur pendant la planification. Cela ouvre une voie pragmatique pour les intégrateurs : renforcer des politiques VLA existantes sans réentraînement complet, par simple ajout d'une tête de valeur et d'un budget de recherche accru. L'analyse révèle toutefois une limite claire : la majorité des échecs durs sont des timeouts au niveau racine, là où les valeurs prédites restent peu différenciées, ce qui plafonne le gain observé et indique que le signal de valeur est encore insuffisamment discriminant en début de trajectoire. Ce travail (préprint arXiv, janvier 2026) s'inscrit dans une série de méthodes cherchant à coupler la puissance générative des VLA modernes (RT-2, OpenVLA, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) avec des mécanismes de planification structurée, face aux approches concurrentes par world models et diffusion planifiante. Les résultats sont obtenus uniquement en simulation sur LIBERO et ne sont pas encore validés sur robot réel, limite classique de ce type de contribution arxiv. La prochaine étape naturelle est une évaluation sim-to-real pour vérifier si le signal de valeur appris se transfère hors simulation, notamment sur des tâches à contacts complexes ou en environnement non structuré.

RechercheOpinion
1 source
Du chaos à l'ordre : révolution de la fourniture de données et structuration des compétences pour l'IA incarnée
13236Kr 

Du chaos à l'ordre : révolution de la fourniture de données et structuration des compétences pour l'IA incarnée

Lors de la conférence AI+ Industry 2026 de Beijing Yizhuang, Xu Liangwei, CTO et cofondateur de Zhiyu Jishi (智域基石), a exposé un pipeline de compilation de données en cinq couches destiné à l'intelligence incarnée (embodied AI). Son argument central: la loi de mise à l'échelle (Scaling Law) qui sous-tend les grands modèles de langage ne se transfère pas aux robots. Un LLM peut absorber des textes hétérogènes en masse, mais un robot opérant dans le monde physique nécessite des données multimodales couplées dans le temps et dans l'espace, où qualité et traçabilité priment sur le volume brut. Le pipeline de Zhiyu Jishi comprend cinq étapes séquentielles: contrôle qualité des données brutes, alignement spatio-temporel, extraction sémantique et causale (séquence contexte-action-conséquence), traitement à grande échelle avec indexation multi-dimensionnelle, et livraison aux équipes de modèles. Xu Liangwei précise que ce pipeline s'applique indifféremment aux architectures VLA (Vision-Language-Action, apprentissage par imitation) et aux world models, les deux paradigmes convergeant vers le même besoin: des données physiques structurées et tracées. L'enjeu concret pour les intégrateurs et les équipes de modèles est la traçabilité des défaillances terrain. En 2026, certains robots commencent à passer de pilotes laboratoire à des déploiements industriels en petit lot, et les équipes peinent à relier un comportement anormal à un sample d'entraînement défaillant. Xu Liangwei précise que les modèles fixent le plafond de capacité d'un robot, mais que la qualité des données dans les cas d'échec, de reprise et de retry conditionne la fiabilité en environnement dégradé. Sans cette traçabilité bout en bout, la boucle fermée données-modèle-terrain-données ne peut pas converger à l'échelle industrielle, rendant impossible le passage du petit lot à la production réelle. Zhiyu Jishi se positionne dans une niche émergente, les "data foundry" pour l'embodied AI, distincte des services de labeling classiques par la dimension temporelle et multimodale des données robotiques. Le discours de Xu Liangwei s'oppose implicitement au modèle fragmenté actuel, où fabricants de plateformes matérielles, développeurs de modèles et intégrateurs industriels produisent chacun leurs données en silo. Sa proposition est de structurer un écosystème à trois acteurs avec une séparation claire des responsabilités, comparable à une couche d'infrastructure partagée. La présentation ne comporte aucun chiffre de déploiement vérifiable ni de client cité, ce qui la positionne davantage comme une communication de positionnement stratégique que comme un bilan d'exécution. La suite annoncée est l'ouverture de ce pipeline à l'ensemble de l'écosystème robotique chinois, sans calendrier précis communiqué.

Chine/AsieOpinion
1 source
SCAR : apprentissage auto-supervisé de représentations d'actions continues
133arXiv cs.RO 

SCAR : apprentissage auto-supervisé de représentations d'actions continues

Une équipe de chercheurs a publié début mai 2026 sur arXiv (référence 2605.16412) un framework baptisé SCAR, pour Self-Supervised Continuous Action Representation Learning, visant à apprendre des représentations d'actions unifiées et transférables entre différents robots à partir de simples transitions visuelles. L'architecture repose sur un backbone génératif préentraîné, couplé à deux modules complémentaires : un modèle de dynamique inverse (IDM) qui infère des actions latentes à partir de paires d'observations, et un modèle de dynamique directe (FDM) qui prédit les états futurs conditionnés sur ces actions latentes. Pour éviter que l'espace latent ne devienne un simple goulot d'étranglement visuel générique, les auteurs régularisent la distribution postérieure des actions vers un prior gaussien standard, et introduisent une contrainte d'invariance adversariale pour supprimer les facteurs propres à chaque morphologie de robot ou à chaque environnement. Les expériences sont conduites sur les benchmarks Procgen et Robotwin, et montrent que SCAR surpasse les actions brutes spécifiques à chaque embodiment comme interface de conditionnement pour les world models, notamment en régimes de faibles données. L'enjeu industriel est significatif : l'un des verrous les plus coûteux du déploiement robotique est précisément le besoin de recollecte massive de données à chaque changement de plateforme matérielle. Si une représentation d'action partagée peut effectivement abstraire le "changement contrôlable" indépendamment de l'actuation physique, les intégrateurs pourraient réutiliser des world models pré-entraînés sur un robot pour en adapter un autre avec beaucoup moins d'exemples. SCAR apporte un argument empirique au débat sur la transférabilité des VLA (Vision-Language-Action models) : là où des architectures comme pi-0 ou GR00T N2 s'appuient sur des actions en espace proprioceptif brut, l'approche latente supervisée de façon auto-cohérente pourrait constituer une interface de conditionnement plus robuste. Le contexte est celui d'une compétition intense autour des world models pour la robotique, portée côté industrie par des acteurs comme Physical Intelligence (pi-0), NVIDIA (GR00T), et Figure AI, et côté académique par des travaux sur les modèles d'espace d'état et les représentations de politique. SCAR se distingue en traitant l'action non comme un signal de contrôle auxiliaire mais comme un facteur représentationnel à part entière, ce qui est une position théorique distincte des approches VLA classiques. Les auteurs ne mentionnent pas de code public ni de partenariat industriel dans la prépublication, et les résultats restent à confirmer sur des benchmarks physiques réels, Procgen et Robotwin étant deux environnements de simulation. L'absence de métriques sur du matériel réel est à garder à l'esprit avant toute extrapolation vers des cas industriels.

UESi validé sur matériel physique, ce framework de représentation d'actions transférables pourrait réduire les coûts de ré-entraînement pour les intégrateurs robotiques européens lors du changement de plateforme matérielle.

RechercheOpinion
1 source
Génération de vidéo 4D intégrant la géométrie pour la manipulation robotique
134arXiv cs.RO 

Génération de vidéo 4D intégrant la géométrie pour la manipulation robotique

Des chercheurs ont publié sur arXiv (référence 2507.01099, version 4) un modèle de génération vidéo 4D destiné à améliorer la planification et la manipulation robotique. L'approche prend en entrée une seule image RGB-D par point de vue, c'est-à-dire une image couleur couplée à une carte de profondeur, et génère des séquences vidéo futures alignées spatialement et temporellement depuis de nouveaux angles de caméra, sans nécessiter la connaissance préalable des poses de caméra. La cohérence géométrique multi-vue est imposée pendant l'entraînement par une supervision fondée sur l'alignement de nuages de points inter-vues (cross-view pointmap alignment), forçant le modèle à construire une représentation 3D partagée de la scène. Les vidéos 4D prédites sont ensuite exploitées par un tracker de pose 6DoF disponible sur étagère pour reconstituer les trajectoires de l'effecteur terminal du robot, produisant des politiques de manipulation qui généralisent à des points de vue inédits. Les expériences portent sur plusieurs jeux de données robotiques simulés et réels, avec de meilleures performances visuelles et spatiales que les approches de référence. Ce résultat s'attaque directement à l'un des verrous majeurs du déploiement industriel de la manipulation robotique : la dépendance à une calibration précise des caméras et à leur positionnement fixe. En apprenant implicitement la géométrie de la scène plutôt qu'en la recevant comme entrée explicite, le modèle produit des prédictions visuellement stables là où les approches concurrentes dérivent dès qu'on change l'angle de vue. Pour un intégrateur ou un COO industriel, cela signifie qu'une cellule robotisée pourrait potentiellement réutiliser une politique apprise sans reconfigurer l'ensemble du système de vision si une caméra est déplacée. L'utilisation d'un tracker 6DoF hors catalogue pour extraire les trajectoires limite par ailleurs le besoin d'infrastructure propriétaire et simplifie l'intégration. Ce travail s'inscrit dans la vague des "world models" appliqués à la robotique, aux côtés d'approches comme UniSim ou des modèles VLA (Vision-Language-Action) à grande échelle qui cherchent eux aussi à donner aux robots une compréhension prédictive de leur environnement. La principale réserve est que le papier est une prépublication arXiv, sans validation industrielle annoncée ni partenaire de déploiement identifié : c'est de la recherche amont, pas un produit expédié. Les méthodes concurrentes s'appuyant sur des poses de caméra explicites, comme les approches NeRF ou 3D Gaussian Splatting pour la manipulation, offrent parfois une précision supérieure dans des environnements très contrôlés, mais au prix d'une configuration plus contraignante. Les prochaines étapes naturelles seraient une validation sur des tâches de manipulation plus complexes, une montée en échelle sur des plateformes comme les bras Franka ou UR, et une intégration dans des pipelines de politique complète de type diffusion ou transformer.

IA physiquePaper
1 source
OrbiSim : des modèles du monde comme moteurs physiques différentiables pour l'IA incarnée
135arXiv cs.RO 

OrbiSim : des modèles du monde comme moteurs physiques différentiables pour l'IA incarnée

Une équipe de chercheurs a déposé sur arXiv en mai 2026 (réf. 2605.16395) un article présentant OrbiSim, un nouveau paradigme de simulation robotique qui repositionne les modèles du monde (world models) comme des moteurs physiques entièrement différentiables. Là où les world models existants, tels que DreamerV3 ou TD-MPC2, opèrent dans des espaces latents ou visuels sans contraintes physiques explicites, OrbiSim construit une chaîne unifiée et physiquement ancrée reliant trois composantes : des actifs de scène structurés, une dynamique neurale apprise, et l'entraînement par renforcement en aval. L'architecture garantit une différentiabilité de bout en bout sur l'ensemble de la boucle de simulation, depuis les transitions d'état explicites jusqu'à la génération d'observations visuelles. Cette propriété permet des tâches jusqu'ici peu tractables pour les simulateurs classiques : modélisation différentiable des contacts, optimisation de politique par gradient sous récompenses éparses, et inférence physique intuitive. Les auteurs affirment qu'OrbiSim surpasse significativement les world models de l'état de l'art en fidélité prédictive et en performance de contrôle, sans toutefois publier de métriques chiffrées dans l'abstract. L'enjeu industriel est réel : le fossé sim-to-real reste l'un des principaux freins au déploiement de robots en environnement non contrôlé. Les simulateurs classiques comme MuJoCo, Isaac Sim (NVIDIA) ou PyBullet ne sont pas différentiables au niveau des contacts, ce qui bloque l'optimisation par gradient lors des phases de manipulation ou de locomotion complexe. Les world models neuronaux offrent la flexibilité, mais au prix de la cohérence physique. OrbiSim propose une synthèse des deux approches. Si les résultats se confirment à plus grande échelle, la capacité à optimiser des politiques par gradient sous récompenses éparses pourrait réduire significativement les temps de convergence en apprentissage par renforcement, un gain direct pour les équipes développant des robots manipulateurs ou bimanes destinés à l'industrie. Il faut souligner qu'il s'agit d'un preprint non encore soumis à peer review, sans affiliation industrielle explicite ni validation sur hardware physique annoncée. Le domaine de la simulation différentiable est activement disputé : DiffTaichi, Warp (NVIDIA) et Brax (Google DeepMind) couvrent déjà certains aspects de la physique différentiable, mais sans intégrer la génération visuelle neurale. OrbiSim se positionne dans un espace hybride encore peu occupé. Les prochaines étapes crédibles seraient une validation sur benchmarks standardisés comme RoboSuite ou IsaacLab, et surtout des expériences de transfert sim-to-real sur robot physique, dont aucune n'est annoncée à ce stade.

RecherchePaper
1 source
RoboFlow4D : un modèle du monde de flux léger pour la manipulation robotique guidée par flux en temps réel
136arXiv cs.RO 

RoboFlow4D : un modèle du monde de flux léger pour la manipulation robotique guidée par flux en temps réel

Des chercheurs ont publié le 22 mai 2026 sur arXiv (référence 2605.17522) les travaux autour de RoboFlow4D, un modèle de planification en flux 3D destiné à la manipulation robotique temps réel. L'approche repose sur ce que les auteurs appellent un "flow world model" : plutôt que d'empiler plusieurs sous-modèles spécialisés dans un pipeline modulaire classique, RoboFlow4D prédit directement des flux de mouvement 3D sur plusieurs trames temporelles à partir d'observations visuelles et d'instructions textuelles. Ce flux explicite sert de plan intermédiaire pour guider la génération d'actions motrices, bouclant ainsi un cycle perception-planification-exécution en une seule architecture de bout en bout. L'exécution repose sur une collaboration dite "slow-fast" entre le prédicteur de flux et le contrôleur d'action, visant à réduire la latence globale. Les résultats présentés couvrent des benchmarks en simulation et des expériences en environnement réel, avec des gains annoncés sur les taux de succès de manipulation et sur l'efficacité computationnelle, sans que les chiffres précis soient détaillés dans l'abstract. L'intérêt de cette direction de recherche réside dans la réduction de la charge de calcul associée aux pipelines VLA (Vision-Language-Action) contemporains. Les architectures modulaires dominantes, comme celles utilisées dans Pi-0 (Physical Intelligence) ou les variantes de GR00T N2 (NVIDIA), impliquent des inférences en cascade coûteuses qui limitent la réactivité en conditions industrielles. RoboFlow4D tente de consolider perception et planification dans un seul modèle léger, ce qui, si les performances se confirment à l'échelle, pourrait abaisser les exigences matérielles pour déployer des politiques de manipulation dextres sur des robots à ressources contraintes. Du côté du contexte compétitif, le domaine des planificateurs par flux optique 3D est actif depuis les travaux sur UniFlow et Flowbot3D, mais leur intégration dans des boucles temps réel reste un défi ouvert. RoboFlow4D se positionne comme une réponse légère à ces limitations. Il s'agit pour l'instant d'un preprint non évalué par les pairs, sans code ni modèle publiés, ce qui invite à la prudence avant tout benchmark indépendant. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés type RLBench ou LIBERO, et une comparaison directe avec les baselines modulaires qu'il prétend dépasser.

RechercheOpinion
1 source
IA incarnée : la startup Zenbot lève près de 100 millions de yuans lors de son tour d'amorçage
137Pandaily 

IA incarnée : la startup Zenbot lève près de 100 millions de yuans lors de son tour d'amorçage

La startup chinoise Zenbot, spécialisée dans l'infrastructure d'IA embodied, a bouclé un tour de financement d'amorçage de près de 100 millions de yuans (environ 14 millions de dollars). Le tour est co-piloté par trois industriels cotés de la fabrication de précision : ChangYing Precision (300115.SZ), Kedali (002850.SZ) et Zhaoming Technology (301000.SZ), auxquels s'ajoutent le fonds entrepreneurial L2F Light Source et Sirius Capital. L'utilisation des fonds cible quatre axes : le développement d'un world model à vocation généraliste pour l'IA embodied, la production en série de modules articulaires exploitant des drivers GaN de troisième génération, le déploiement d'une architecture de communication temps réel dite "cerveau-colonne vertébrale" (brain-spine), et le renforcement des capacités de conception full-stack pour la production de masse de produits complets. Ce financement signale une tendance structurelle dans l'écosystème robotique chinois : les équipementiers de précision entrent directement au capital des startups d'IA embodied, cherchant à sécuriser un accès précoce aux briques technologiques critiques. L'intégration de drivers GaN dans les modules articulaires est un pari technique notable, ces composants semi-conducteurs de troisième génération promettent une densité de puissance supérieure et des pertes réduites par rapport au silicium classique, ce qui est déterminant pour l'autonomie et la compacité des robots humanoïdes. L'architecture brain-spine en temps réel répond à un verrou bien identifié du secteur : la latence de communication entre le contrôleur central et les actionneurs périphériques, souvent citée comme obstacle au déploiement industriel fiable. Zenbot s'inscrit dans une vague dense de startups chinoises d'IA embodied qui cherchent à concurrencer Figure, Boston Dynamics ou 1X Technologies sur le terrain des briques d'infrastructure plutôt que sur celui des robots finis. Le co-fondateur Dr. Jia Zhenzhong, diplômé du département d'instruments de précision de Tsinghua et docteur de l'Université du Michigan, positionne l'entreprise à l'intersection de la robotique, de la vision par ordinateur et des grands modèles d'IA. Aucun prototype public, ni timeline de production en série, ni client annoncé à ce stade : ce tour reste une annonce d'intention, avec des jalons technologiques ambitieux encore à démontrer.

Chine/AsieOpinion
1 source
Modèle du monde multimodal pour interactions physiques : prédictions visuelles et tactiles simultanées pour une précision accrue
138arXiv cs.RO 

Modèle du monde multimodal pour interactions physiques : prédictions visuelles et tactiles simultanées pour une précision accrue

Des chercheurs ont publié sur arXiv (2304.11193v2) une étude portant sur l'intégration du retour tactile dans les modèles prédictifs de perception pour la manipulation robotique. L'approche, baptisée "visuo-tactile prediction", consiste à entraîner un modèle de monde capable de générer simultanément des prédictions visuelles et tactiles à partir d'observations de poussée d'objets. Pour alimenter ces travaux, deux jeux de données inédits ont été constitués à l'aide d'un capteur tactile à base magnétique : le premier contient des objets visuellement identiques mais aux propriétés physiques différentes (masse, rigidité), isolant explicitement l'ambiguïté physique ; le second reproduit les benchmarks classiques de robot-pushing avec des regroupements d'objets du quotidien. Le code source et les données sont mis à disposition publiquement. Le résultat central de cette recherche remet en question un postulat implicite de nombreux systèmes de world models robotiques : la vision seule ne suffit pas pour prédire fidèlement les interactions physiques dès lors que les objets sont visuellement indiscernables. Dans ces régimes ambigus, l'intégration tactile améliore significativement la précision et la robustesse des prédictions. En revanche, lorsque la dynamique est visuellement déductible, les gains tactiles restent limités. Pour les intégrateurs et équipes de R&D en manipulation, cela signifie que le retour tactile n'est pas un luxe mais une nécessité sélective : son déploiement est justifié précisément là où la vision échoue, typiquement lors de la manipulation d'objets déformables, transparents ou de densité variable. Ce travail s'inscrit dans un effort plus large de la communauté robotique pour dépasser les modèles de monde purement visuels, qui montrent leurs limites dans les tâches de contact. Des travaux concurrents comme ceux de Meta AI (v-jepa), de Google DeepMind (RT-2) ou de Physical Intelligence (Pi-0) explorent également les représentations multimodales, mais restent majoritairement centrés sur la vision et le langage. L'usage d'un capteur magnétique plutôt que optique (comme ceux de GelSight/Digit popularisés par Meta) constitue un choix technique notable, potentiellement plus robuste en conditions industrielles. La mise à disposition des données en accès libre ouvre la voie à des évaluations comparatives plus rigoureuses, un manque criant dans le domaine de la manipulation tactile.

RecherchePaper
1 source
Des futurs imaginés aux actions exécutables : mélange d'actions latentes pour la manipulation robotique
139arXiv cs.RO 

Des futurs imaginés aux actions exécutables : mélange d'actions latentes pour la manipulation robotique

Des chercheurs ont publié sur arXiv (référence 2605.12167, mai 2026) une méthode baptisée MoLA, pour Mixture of Latent Actions, destinée à améliorer la manipulation robotique en exploitant les modèles génératifs de vidéo comme mécanisme d'anticipation. L'idée centrale : un robot peut "imaginer" la trajectoire visuelle future d'une tâche avant de l'exécuter, mais transformer ces séquences générées en commandes moteur concrètes reste un problème ouvert. MoLA introduit une interface dite orientée contrôle qui, au lieu de passer directement les images prédites à la politique de contrôle, mobilise un ensemble de modèles inverses de dynamique (IDM) pré-entraînés pour en extraire des actions latentes. Ces IDM sont multimodaux : ils capturent des indices sémantiques, de profondeur et de flux optique, fournissant une représentation structurée et physiquement ancrée des transitions d'état. L'approche a été évaluée sur les benchmarks simulés LIBERO, CALVIN et LIBERO-Plus, ainsi que sur des tâches de manipulation en conditions réelles, avec des gains annoncés en taux de succès, en cohérence temporelle et en généralisation. Le problème que MoLA tente de résoudre est structurel dans le domaine des VLA (Vision-Language-Action models) : les modèles de génération vidéo optimisent la fidélité perceptuelle, pas la pertinence pour le contrôle. Lorsqu'une politique est conditionnée sur des frames prédites, elle hérite de cette inadéquation, produisant un contrôle indirect et instable. En substituant aux frames brutes des représentations latentes inférées par des IDM complémentaires, MoLA réduit ce fossé structurel. Pour les intégrateurs et les équipes de recherche appliquée, c'est un signal important : l'imagination visuelle peut effectivement améliorer les politiques robotiques, à condition de disposer d'une couche de traduction adaptée plutôt que d'un couplage direct image-action. Ce travail s'inscrit dans un courant actif autour des world models appliqués à la robotique, où des approches comme DreamerV3 (DeepMind) ou SuSIE ont exploré des pistes similaires pour le reinforcement learning et la manipulation. Côté manipulation guidée par vidéo, UniSim et les travaux autour de Pi-0 de Physical Intelligence ont popularisé l'utilisation de prédictions futures pour structurer le comportement. MoLA se distingue par son architecture modulaire à IDM mixtes plutôt qu'un seul encodeur unifié. Aucune affiliation industrielle ni timeline de déploiement n'est mentionnée dans la publication, ce qui en fait pour l'instant une contribution de recherche fondamentale, dont la valeur pratique dépendra de la reproductibilité des gains annoncés en dehors des benchmarks de référence.

RechercheOpinion
1 source
Apprentissage par imitation 3D pour la robotique par imagination latente asymétrique et reclassement
140arXiv cs.RO 

Apprentissage par imitation 3D pour la robotique par imagination latente asymétrique et reclassement

Des chercheurs ont déposé en mai 2026 sur arXiv (identifiant 2605.10166) une proposition intitulée DALI-R, pour Data-Asymmetric Latent Imagination and Reranking, un cadre d'apprentissage par imitation robotique conçu pour exploiter des trajectoires de données mixtes plutôt que des démonstrations exclusivement optimales. Le système repose sur deux composants distincts : un Latent World Model entraîné sur des nuages de points 3D qui génère des rollouts imaginés à partir de trajectoires sous-optimales ou échouées, et un Task Completion Scorer qui reclasse des chunks d'actions candidates pour améliorer la prise de décision sans nécessiter de données supplémentaires de haute qualité. Évalué sur les benchmarks de manipulation Adroit et MetaWorld, DALI-R produit une amélioration moyenne de 6,8 % du taux de succès sur deux familles de politiques 3D de base, diffusion et flow-matching, avec un surcoût d'inférence inférieur à 0,7x par rapport aux politiques de référence. L'enjeu opérationnel est concret : collecter des démonstrations robotiques de haute qualité reste coûteux, chronophage et difficilement scalable en environnement industriel réel. Toute méthode permettant de recycler des trajectoires imparfaites ou échouées réduit mécaniquement la barrière à l'entrée pour entraîner des politiques performantes. Le gain de 6,8 % est modeste mais obtenu sans démonstrations supplémentaires, ce qui est précisément la contrainte dominante en déploiement. Il convient toutefois de noter que ces résultats restent cantonnés à des benchmarks de simulation standardisés ; l'article n'aborde pas le sim-to-real gap, et aucune validation sur hardware physique n'est présentée. Ce travail s'inscrit dans la vague des politiques de manipulation 3D initiée autour de 2023-2024 avec DP3, Diffusion Policy et ACT, qui ont déplacé le problème de l'architecture vers celui de la qualité et du volume des données. La question de l'apprentissage depuis des données sous-optimales est également au coeur des travaux de Physical Intelligence (pi0), de CMU et de Stanford sur l'imitation offline. La prochaine étape crédible pour DALI-R serait une validation sur des plateformes hardware réelles et des tâches industrielles représentatives, encore absente de ce preprint.

RecherchePaper
1 source
EA-WM : un modèle du monde génératif intégrant des champs d'action cinématique-visuel structurés
141arXiv cs.RO 

EA-WM : un modèle du monde génératif intégrant des champs d'action cinématique-visuel structurés

Des chercheurs ont déposé le 8 mai 2026 sur arXiv (2605.06192) un préprint présentant EA-WM (Event-Aware Generative World Model), un modèle de monde génératif pour la robotique fondé sur les modèles de diffusion vidéo préentraînés. L'originalité technique centrale réside dans l'introduction de "Structured Kinematic-to-Visual Action Fields" : plutôt que d'injecter les états articulaires ou les positions d'effecteur terminal sous forme de tokens abstraits de faible dimension, le modèle projette directement les actions et états cinématiques dans l'espace de la caméra cible, produisant une représentation géométriquement ancrée. Les auteurs introduisent également des blocs de fusion bidirectionnelle sensibles aux événements ("event-aware bidirectional fusion blocks"), qui modulent l'attention croisée entre branches et capturent les changements d'état des objets ainsi que la dynamique fine des interactions robot-objet. Évalué sur le benchmark WorldArena, EA-WM dépasse les baselines existantes par une marge que les auteurs qualifient de significative, sans préciser les écarts numériques dans l'abstract. L'enjeu est celui du "problème inverse" dans les world models robotiques : la plupart des approches actuelles traitent la génération vidéo comme une représentation auxiliaire au service de l'apprentissage de politiques, sans exploiter les signaux d'action pour guider la synthèse visuelle. EA-WM retourne cette perspective et produit des rollouts simulés qui préservent mieux la géométrie spatiale du robot et la dynamique des interactions, un défaut récurrent des world models qui génèrent des séquences visuellement plausibles mais cinématiquement incohérentes. Pour les équipes travaillant sur le sim-to-real, une meilleure fidélité géométrique dans les rollouts peut directement améliorer la qualité des politiques apprises sans données réelles supplémentaires, ce qui est l'un des arguments centraux de ce type d'approche. Les modèles de diffusion vidéo utilisés comme fondation pour les world models robotiques font l'objet d'une activité de recherche intense depuis 2024, avec des travaux comparables comme UniSim, IRASim ou Genie 2 de DeepMind. EA-WM se distingue par son traitement explicite de la géométrie cinématique projetée dans la vue caméra, là où la plupart des approches restent dans des espaces latents abstraits. Il s'agit strictement d'un article académique en préprint : aucun code public n'est mentionné, aucun partenariat industriel ni déploiement n'est annoncé. Les étapes suivantes attendues sont la validation sur des benchmarks de manipulation réels et l'intégration dans des pipelines de policy learning fondés sur des modèles VLA (Vision-Language-Action).

RechercheActu
1 source
RoboAlign-R1 : alignement multimodal des récompenses pour les modèles du monde vidéo robotique
142arXiv cs.RO 

RoboAlign-R1 : alignement multimodal des récompenses pour les modèles du monde vidéo robotique

Des chercheurs ont publié le 6 mai 2026 sur arXiv (arXiv:2605.03821) un framework baptisé RoboAlign-R1, conçu pour améliorer l'alignement des modèles vidéo du monde robotique avec les objectifs réels de prise de décision. Le coeur du travail repose sur un benchmark inédit, RobotWorldBench, qui rassemble 10 000 paires vidéo-instruction annotées issues de quatre sources de données robotiques, et sur un juge multimodal, RoboAlign-Judge, capable d'évaluer les vidéos générées selon six dimensions distinctes (instruction following, manipulation accuracy, plausibilité physique, entre autres). Ce juge enseignant est ensuite distillé en un modèle récompense léger pour un post-entraînement par renforcement. En parallèle, les auteurs introduisent une stratégie d'inférence sans entraînement supplémentaire, le Sliding Window Re-encoding (SWR), qui rafraichit périodiquement le contexte de génération pour limiter la dérive lors des prédictions à long horizon. Les gains mesurés sont de 10,1 % sur le score agrégé à six dimensions par rapport au meilleur baseline, dont 7,5 % en précision de manipulation et 4,6 % en suivi d'instructions. Le SWR apporte quant à lui une réduction de 9,8 % en LPIPS et une hausse de 2,8 % en SSIM, avec seulement environ 1 % de latence additionnelle. Ce travail pointe un problème structurel rarement nommé aussi clairement dans la littérature : les modèles vidéo robotiques sont généralement optimisés pour des métriques visuelles basses (reconstruction pixel, SSIM) qui ne corrèlent pas avec la performance réelle en manipulation ou en suivi d'instructions. Autrement dit, un modèle peut produire des vidéos visuellement cohérentes tout en étant inutilisable pour le contrôle d'un bras robotique. En transposant la logique du post-entraînement par récompense, inspirée du RLHF appliqué aux LLM, aux world models vidéo, RoboAlign-R1 propose une voie pour aligner simulation et tâche réelle. Pour les équipes qui utilisent ces modèles comme simulateurs de planification ou générateurs de données synthétiques, l'évaluation multi-dimensionnelle de RoboAlign-Judge pourrait devenir un protocole de référence, à condition que le benchmark soit publié et reproductible. Cette publication s'inscrit dans une dynamique plus large d'application des techniques d'alignement (post-training, distillation, RL) à la robotique incarnée, un domaine où des travaux comme UniSim, GROOT de NVIDIA ou IRASim ont posé les bases des world models vidéo. Le code et les données ne sont pas encore disponibles publiquement au moment de la publication, ce qui limite l'évaluation indépendante des résultats. La prochaine étape naturelle serait une validation sur robot physique en dehors du protocole in-domain utilisé ici, car les gains mesurés en simulation n'impliquent pas directement un transfert sim-to-real amélioré.

RechercheOpinion
1 source
Modèles du monde nativement physiques : perspective hamiltonienne pour la modélisation générative
143arXiv cs.RO 

Modèles du monde nativement physiques : perspective hamiltonienne pour la modélisation générative

Une équipe de chercheurs a déposé début mai 2026 sur arXiv (référence 2605.00412v1) un article de position proposant un nouveau cadre théorique pour les modèles du monde en IA incarnée : les Hamiltonian World Models. L'idée centrale est d'encoder les observations d'un robot ou d'un agent autonome dans un espace de phase latent structuré, de faire évoluer cet état via une dynamique inspirée du formalisme hamiltonien de la mécanique classique (avec des termes de contrôle, de dissipation et des résidus appris), puis de décoder la trajectoire prédite en observations futures exploitables pour la planification. Il s'agit d'un preprint théorique sans résultats expérimentaux publiés à ce stade. L'argument principal avancé est que le véritable goulot d'étranglement des modèles du monde n'est plus leur capacité à générer des futurs visuellement réalistes, mais à produire des prédictions physiquement cohérentes et exploitables pour la décision sur un horizon long. Les trois courants dominants actuels peinent chacun à garantir cette stabilité physique : les modèles vidéo génératifs 2D (à la Sora ou Genie), les modèles 3D centrés sur la reconstruction de scènes, et les modèles latents prédictifs de type JEPA (portés notamment par Yann LeCun chez Meta) progressent en silo sans répondre aux exigences du contrôle robotique réel. Pour les équipes de reinforcement learning basé sur modèles (MBRL) et les intégrateurs robotiques, cela se traduit concrètement par des politiques qui dérivent lors des rollouts simulés, fragilisant le transfert sim-to-real. Ancrer la dynamique latente dans le formalisme hamiltonien promettrait une meilleure interprétabilité des représentations internes, une moindre consommation de données d'entraînement et une stabilité accrue en inférence longue. Les auteurs reconnaissent eux-mêmes les obstacles pratiques majeurs : friction, contacts discontinus, forces non-conservatives et objets déformables rendent l'application directe du hamiltonien aux scènes robotiques réelles particulièrement complexe. Ce travail s'inscrit dans un renouveau plus large des world models, porté par Dreamer (Google DeepMind), JEPA (Meta), Genie 2 (Google DeepMind) et les travaux de Physical Intelligence sur les Visual-Language-Action models, mais il se distingue par un ancrage explicite en physique analytique plutôt qu'en apprentissage purement statistique. Aucun déploiement ni partenariat industriel n'est annoncé : l'article reste pour l'instant une contribution théorique ouvrant une direction de recherche.

RecherchePaper
1 source
Modélisation du monde centrée sur les événements avec récupération augmentée par mémoire pour la prise de décision en IA incarnée
144arXiv cs.RO 

Modélisation du monde centrée sur les événements avec récupération augmentée par mémoire pour la prise de décision en IA incarnée

Des chercheurs ont publié sur arXiv (identifiant 2604.07392v2) un cadre de modélisation du monde centré sur les événements, couplé à une mémoire augmentée par récupération, pour la prise de décision d'agents autonomes embarqués. Baptisé event-centric world modeling with memory-augmented retrieval, le système représente l'environnement comme un ensemble structuré d'événements sémantiques, encodés dans une représentation latente invariante aux permutations. La décision ne résulte pas d'une inférence neurale directe, mais d'une récupération dans une banque d'expériences antérieures, chaque entrée associant une représentation d'événement à une manœuvre candidate. L'action finale est calculée comme une combinaison pondérée des solutions récupérées. Les expériences ont été conduites sur des scénarios de vol de drones (UAV), où le framework a opéré dans les contraintes temps réel tout en maintenant un comportement interprétable et cohérent. L'intérêt de cette approche tient à sa rupture explicite avec l'apprentissage bout-en-bout (end-to-end), qui domine aujourd'hui la robotique embarquée mais souffre d'un manque d'interprétabilité et d'absence de garanties physiques formelles. En adoptant un raisonnement par cas (case-based reasoning), le système offre une traçabilité directe entre chaque décision et les expériences stockées qui l'ont motivée, propriété essentielle pour les environnements à criticité de sécurité tels que les drones autonomes ou la manipulation industrielle. L'intégration de connaissances physiques dans le processus de récupération réduit également le risque de comportements hors domaine, un défaut récurrent des modèles VLA (Vision-Language-Action) lors du passage en déploiement réel. Cette publication s'inscrit dans le débat actif entre architectures neurales end-to-end telles que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, et les méthodes hybrides structurées qui conservent une représentation explicite du monde. Le fossé demo-to-reality reste le principal frein aux VLA à grande échelle, et les approches à mémoire structurée visent précisément à combler cet écart en rendant le raisonnement auditable. Le travail demeure à ce stade un résultat de recherche, évalué sur UAV en conditions contrôlées, sans déploiement industriel ni partenariat applicatif annoncés. Les extensions naturelles concerneraient la manipulation physique ou la locomotion humanoïde, ainsi que la validation sur matériel réel en environnements non contrôlés.

RecherchePaper
1 source
Un robot humanoïde chinois grandeur nature avec 18 000 capteurs maîtrise 115 degrés de liberté
145Interesting Engineering 

Un robot humanoïde chinois grandeur nature avec 18 000 capteurs maîtrise 115 degrés de liberté

Kinetix AI, une entreprise de recherche en IA basée à Shenzhen, a dévoilé KAI, un robot humanoïde de taille réelle mesurant 173 cm pour 70 kg. Le robot affiche 115 degrés de liberté (DoF) au total, dont 72 concentrés dans les mains, soit 36 DoF par main combinant 22 articulations actives à commande précise et 14 articulations passives jouant le rôle d'amortisseurs mécaniques. KAI peut se déplacer à 5 km/h, soulever jusqu'à 20 kg, et fonctionne 4 heures par charge grâce à une batterie semi-solide de 1,7 kWh. Sa peau tactile synthétique embarque 18 000 points de capteurs capables de détecter des forces à partir de 0,1 newton, permettant une manipulation haptic-aware en temps réel. Le prix annoncé est inférieur à 40 000 dollars, avec une production en série prévue pour fin 2026. Il s'agit pour l'instant d'une annonce avec démonstration vidéo, sans déploiement commercial confirmé. Le nombre de degrés de liberté des mains est la donnée qui retient l'attention des intégrateurs : la majorité des humanoïdes actuels en compétition (Figure 03, Tesla Optimus Gen 3, Agility Digit) plafonnent à 20-30 DoF manuels, rendant la préhension d'objets complexes ou fragiles difficile à fiabiliser. Les 36 DoF par main de KAI, couplés aux 18 000 capteurs tactiles, visent directement ce goulot d'étranglement. Si les performances annoncées se confirment hors conditions de labo, cela représente un argument sérieux pour les cas d'usage de tri, d'assemblage fin et d'interaction service. Le choix de la batterie semi-solide mérite également d'être noté : en réduisant le risque d'emballement thermique par rapport aux cellules Li-ion classiques, Kinetix adresse un frein réel au déploiement en environnement humain. La cible déclarée reste le service (retail, conciergerie, assistance domicile) et non l'industrie lourde, ce qui situe KAI dans la même catégorie commerciale que Sanctuary AI ou Apptronik. Kinetix AI est une structure relativement peu connue hors de Chine, opérant dans un écosystème humanoïde domestique qui comprend des acteurs déjà bien financés comme Unitree (G1, H1), DEEP Robotics et Fourier Intelligence. Pour entraîner KAI, la société a développé un dispositif portable baptisé KAI Halo, permettant à des opérateurs humains de générer des données d'entraînement lors de tâches quotidiennes via capture vidéo première personne, mouvements corporels et données spatiales. L'architecture d'intelligence repose sur un "World Model" à trois couches (base, action, évaluation) intégrant une simulation prédictive avant exécution de mouvement, approche cohérente avec les tendances actuelles en Physical AI (pi0 de Physical Intelligence, GR00T N2 de NVIDIA). La prochaine étape structurante sera la confirmation de pilotes industriels ou de partenariats distributeurs pour valider la transition du prototype vers le produit livrable.

Chine/AsieOpinion
1 source
EvolvingAgent : un agent à curriculum auto-évolutif avec modèle du monde continu pour les tâches à long horizon
146arXiv cs.RO 

EvolvingAgent : un agent à curriculum auto-évolutif avec modèle du monde continu pour les tâches à long horizon

Une équipe de chercheurs propose EvolvingAgent, un agent incarné conçu pour accomplir des tâches à horizon long (Long-Horizon, LH) dans des mondes ouverts, sans intervention humaine. Publié sur arXiv (2502.05907, version 3), le système repose sur trois modules en boucle fermée : un planificateur de tâches piloté par les expériences accumulées, qui utilise un LLM pour décomposer une tâche complexe en sous-tâches exécutables ; un contrôleur d'actions guidé par un World Model (WM) continu, chargé de générer les actions de bas niveau et de mettre à jour automatiquement la base d'expériences multimodales via un mécanisme de vérification interne ; et un réflecteur fondé sur l'apprentissage par curriculum (Curriculum Learning, CL) en deux étapes, qui sélectionne les expériences pertinentes pour adapter le WM à chaque nouvelle tâche. Les expériences ont été conduites principalement sur Minecraft, environnement de référence pour les agents incarnés. Résultats revendiqués : +111,74 % de taux de succès moyen par rapport aux approches existantes, réduction d'un facteur supérieur à 6 des actions inefficaces, et généralisation à l'environnement Atari avec des performances comparables au niveau humain. L'apport central d'EvolvingAgent est de s'attaquer simultanément à deux limitations bien documentées dans la littérature : la dépendance aux curricula et données créés par l'humain, et l'oubli catastrophique lors de l'exposition à de nouvelles tâches. La boucle planificateur-contrôleur-réflecteur permet une mise à jour autonome des connaissances du monde sans réentraînement explicite. Pour les chercheurs en IA incarnée et les équipes travaillant sur des agents opérationnels en environnement dynamique (robotique industrielle, systèmes autonomes), cela représente un pas vers une adaptabilité continue sans supervision humaine permanente. Le gain de +111,74 % est néanmoins à contextualiser : il s'appuie sur Minecraft, un sandbox 3D simulé, et les vidéos ou démonstrations n'ont pas été publiées en open access à ce stade. Les travaux sur les agents LH en monde ouvert ont connu une accélération notable depuis Voyager (2023, Microsoft/UT Austin, GPT-4), DEPS, et les approches basées sur des planificateurs symboliques. EvolvingAgent s'inscrit dans ce courant en remplaçant la supervision humaine par une boucle d'auto-amélioration multimodale. Côté concurrent, des systèmes comme GROOT (vidéo-conditionné) ou les agents Minecraft basés sur MineRL continuent de servir de baseline. L'article reste à ce stade un preprint arXiv (v3, sans revue par les pairs confirmée), et aucun déploiement industriel ni partenariat n'est annoncé. Les prochaines étapes naturelles seraient une validation sur des environnements physiques simulés (Isaac Sim, MuJoCo) ou des robots réels, pour mesurer le sim-to-real gap de l'approche.

RecherchePaper
1 source
LLMPhy : un raisonnement physique à paramètres identifiables combinant grands modèles de langage et moteurs physiques
147arXiv cs.RO 

LLMPhy : un raisonnement physique à paramètres identifiables combinant grands modèles de langage et moteurs physiques

Des chercheurs du laboratoire MERL (Mitsubishi Electric Research Laboratories) ont publié LLMPhy, un framework d'optimisation en boîte noire couplant grands modèles de langage (LLM) et simulateurs physiques pour résoudre un problème rarement adressé : l'identification des paramètres physiques latents d'une scène, tels que la masse ou le coefficient de friction des objets. Le système décompose la construction d'un jumeau numérique en deux sous-problèmes distincts : l'estimation continue des paramètres physiques et l'estimation discrète de la disposition spatiale de la scène. À chaque itération, LLMPhy demande au LLM de générer des programmes encodant des estimations de paramètres, les exécute dans un moteur physique, puis utilise l'erreur de reconstruction résultante comme signal de rétroaction pour affiner ses prédictions. Les auteurs introduisent également trois nouveaux jeux de données conçus pour évaluer le raisonnement physique en contexte zéro-shot, comblant un vide dans les benchmarks existants qui ignorent systématiquement la question de l'identifiabilité des paramètres. La quasi-totalité des méthodes d'apprentissage pour le raisonnement physique contournent cette identification, se contentant de prédire des comportements sans modéliser les propriétés intrinsèques des objets. Or, pour des applications critiques comme l'évitement de collision ou la manipulation robotique, connaître la masse exacte ou le frottement d'un objet est souvent non négociable. Sur ses trois benchmarks, LLMPhy revendique des performances à l'état de l'art, avec une récupération des paramètres plus précise et une convergence plus fiable que les méthodes en boîte noire antérieures, selon les résultats rapportés par les auteurs eux-mêmes. L'approche articule deux niveaux de connaissance complémentaires : le savoir physique textuel encodé dans les LLM et les modèles du monde implémentés dans les moteurs de simulation modernes. LLMPhy s'inscrit dans un courant actif autour des world models et de la fermeture du fossé sim-to-real en robotique. MERL, filiale de recherche appliquée de Mitsubishi Electric, positionne ce travail face à des approches alternatives comme les world models neuronaux de type DreamerV3 ou UniSim, et aux modèles d'action-vision-langage (VLA) qui opèrent sans moteur physique explicite, gagnant en flexibilité au détriment de l'interprétabilité des paramètres. La version publiée (arXiv:2411.08027v3, troisième révision) ne mentionne pas d'intégration sur des systèmes robotiques physiques : les résultats restent confinés à la simulation, et aucune timeline de déploiement réel n'est annoncée.

RecherchePaper
1 source