Aller au contenu principal
LaST1.0 : un modèle du monde et d'action latent unifié, avec raisonnement spatio-temporel centré sur le contrôleIllustration générée par IA
IA physiquearXiv cs.RO 

LaST1.0 : un modèle du monde et d'action latent unifié, avec raisonnement spatio-temporel centré sur le contrôle

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv LaST1.0, un World-Action Model latent unifié pour la manipulation robotique. Le modèle couple l'apprentissage des actions à la prédiction du futur, mais abandonne la reconstruction vidéo complète au profit de cibles latentes compactes, sensibles à la géométrie, dérivées des vues futures de la caméra poignet. L'architecture retire l'encodeur visuel classique au profit d'un simple patch embedder léger, qui expose directement les indices visuels fins au backbone. Elle introduit aussi LaST-Attention, un mécanisme d'attention structurant les interactions spatio-temporelles entre modalités. Les évaluations couvrent deux plateformes robotiques, cinq tâches de manipulation jugées difficiles et trois benchmarks en simulation (RLBench, LIBERO et LIBERO-Plus). Les auteurs revendiquent des taux de réussite à l'état de l'art et une généralisation à des scénarios inédits. L'extrait fourni ne détaille ni les scores chiffrés, ni la taille du modèle, ni les robots utilisés, ni les tâches précises.

L'enjeu tient à une critique de fond adressée aux World-Action Models actuels. Beaucoup prédisent des vidéos futures complètes et consacrent ainsi une large part de leur capacité à des détails d'apparence (textures, éclairage, arrière-plan) sans lien avec le contrôle. LaST1.0 soutient qu'il vaut mieux supervisionner l'évolution des interactions robot-objet, seules pertinentes pour la manipulation fine. Si cela se confirme hors des benchmarks, cela rendrait ces modèles moins coûteux à entraîner et à faire tourner, et plus robustes aux variations visuelles, un point sensible pour les intégrateurs qui redéploient des politiques d'un site à l'autre. Le choix d'une vue poignet comme source de supervision est cohérent avec les pratiques de terrain, mais il ancre le modèle dans des tâches où le contact et la proximité dominent. Il faut aussi rester prudent : RLBench et LIBERO sont des environnements simulés très utilisés, où les écarts de scores se jouent souvent en points de pourcentage. Seules les expériences sur robots réels, ici cinq tâches sur deux plateformes, renseignent sur le fossé entre démonstration et fiabilité industrielle. Aucun temps de cycle, taux de réussite en conditions de production ni volume d'essais n'est précisé dans le résumé.

Ce travail s'inscrit dans la montée des politiques vision-langage-action (VLA) et des modèles du monde, qui cherchent à donner aux robots une représentation anticipatrice de la dynamique de leur environnement. Il se positionne contre les approches génératives vidéo, plus lourdes, et rejoint un courant de prédiction dans l'espace latent, plus économe. Le retrait de l'encodeur visuel pré-entraîné va aussi à contre-courant de nombreuses architectures qui s'appuient sur de grands encodeurs figés. LIBERO-Plus, qui teste la robustesse aux perturbations, sert ici d'argument de généralisation. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations indépendantes sur d'autres embodiments, et des comparaisons directes avec les VLA ouverts de référence sur des tâches longues et des scènes non contrôlées.

À lire aussi

SelfWAM : un modèle unifié d'action et du monde auto-fondé pour le contrôle rapide de robots
Illustration générée par IA
1arXiv cs.RO 

SelfWAM : un modèle unifié d'action et du monde auto-fondé pour le contrôle rapide de robots

Une nouvelle publication arXiv (2608.00725v1) présente SelfWAM, un modèle unifié de type "World Action Model" (WAM) conçu pour le contrôle rapide de robots manipulateurs. Contrairement aux WAM classiques qui prédisent les observations futures uniquement à partir du prompt de tâche et du contexte visuel, ce qui les pousse à capturer une progression générique de la tâche plutôt que les conséquences précises de l'action exécutée, SelfWAM s'appuie sur une architecture Mixture-of-Transformers (MoT) spécialisée par modalité. Elle prédit simultanément trois éléments: l'action à exécuter, les images RGB futures conditionnées par cette action, et des masques de silhouette du robot lui-même. Pendant l'entraînement conjoint, le modèle laisse la branche vidéo attendre une copie "propre" de l'action démontrée, ce qui transforme cette branche en modèle des conséquences spécifiques à chaque action, sans ralentir le chemin d'inférence rapide dédié uniquement à l'action. Les auteurs ajoutent des objectifs spécifiques au prompt pour la prédiction des masques du robot, une supervision qui retire les détails d'apparence et concentre l'apprentissage sur les changements visuels directement liés au mouvement du bras. Les tests sur le benchmark RoboTwin 2.0 et sur des tâches de manipulation en conditions réelles montrent des prédictions plus sensibles à l'action et une amélioration des performances de la politique de contrôle, sans dégrader la vitesse d'inférence. Pour le secteur, ce travail s'attaque à un problème connu des modèles vision-langage-action (VLA): la difficulté à faire coïncider prédiction visuelle et effet réel de l'action, un écart qui limite souvent le transfert entre simulation et monde réel. En couplant explicitement la prédiction future à une action "propre" et à la silhouette du robot, SelfWAM cherche à combler ce fossé sans sacrifier la latence, un compromis central pour tout déploiement industriel où le temps de cycle compte. Il s'agit ici d'une publication de recherche déposée sur arXiv, sans produit commercial ni déploiement annoncé: SelfWAM s'inscrit dans la lignée des World Action Models qui gagnent du terrain comme alternative aux politiques purement réactives, en misant sur une modélisation conjointe action-observation pour améliorer la généralisation des robots manipulateurs.

IA physiqueActu
1 source
GigaBrain-WBC-0.5 : un modèle du monde comportemental pour un contrôle corporel robuste avec interaction environnementale
Illustration générée par IA
2arXiv cs.RO 

GigaBrain-WBC-0.5 : un modèle du monde comportemental pour un contrôle corporel robuste avec interaction environnementale

Des chercheurs ont publié le 20 août 2026 (arXiv:2608.18234v1) GigaBrain-WBC-0.5, présenté comme le premier "Behavior World Model" (BWM) pour le contrôle corps entier de robots humanoïdes. Contrairement aux trackers de mouvement classiques, entraînés sur sol plat et incapables d'apprendre comment le contact avec le terrain ou des objets modifie leur dynamique, ce système repose sur un Transformer causal qui prédit simultanément sa prochaine action, son prochain état et la distribution de ses prochaines commandes comportementales latentes. Un pipeline d'annotation automatique reconstruit la géométrie de contact 3D à partir de mouvements retargetés, permettant d'annoter des jeux de données de mouvement à grande échelle sans travail manuel. Cette distribution prédite sert aussi en déploiement à détecter les commandes jugées implausibles et à les ramener vers des comportements appris, pour une exécution en mode "best effort". Face à trois trackers de référence à grande échelle, GigaBrain-WBC-0.5 obtient les meilleurs taux de réussite sur les quatre régimes testés: 81,3% en interaction avec le terrain (4,3 fois le meilleur concurrent), 83,1% sous commandes implausibles et 99,3% en récupération après chute (16,8 fois le meilleur concurrent). Des essais matériels montrent une robustesse face aux appuis manquants et aux perturbations; le modèle entraîné sur le Unitree G1 se transfère au robot Maker L01 avec un simple fine-tuning. Pour l'industrie robotique, ce travail s'attaque à un angle mort récurrent: la plupart des trackers actuels fonctionnent bien en démo sur sol lisse mais s'effondrent dès que le terrain devient irrégulier ou que des objets entrent en jeu, un écart entre démonstration et déploiement réel que le secteur peine encore à combler. En modélisant explicitement comment l'environnement contraint les comportements possibles, plutôt qu'en empilant des corpus de mouvements toujours plus vastes, l'approche ouvre une piste pour rendre les humanoïdes plus fiables hors des environnements contrôlés, entrepôts encombrés ou chantiers compris. Le taux de récupération après chute à 99,3% pèse particulièrement pour les intégrateurs, chaque chute non gérée interrompant généralement une tâche. La portabilité démontrée entre le Unitree G1 et le Maker L01 suggère par ailleurs une indépendance vis-à-vis du matériel, un enjeu commercial pour les fournisseurs de "cerveaux" robotiques. Ce travail s'inscrit dans la lignée des modèles vision-langage-action et des "world models" appliqués à la robotique, aux côtés d'approches comme GR00T N2 de NVIDIA, Helix de Figure AI ou Pi-0 de Physical Intelligence, qui visent toutes une couche de contrôle plus généraliste que les trackers traditionnels. GigaBrain-WBC-0.5 cible spécifiquement le contrôle bas niveau corps entier, un maillon souvent traité comme un simple suivi de trajectoire dans les piles logicielles concurrentes. Les trois trackers de référence comparés ne sont pas nommés dans le résumé, ce qui limite la comparaison directe avec des systèmes commerciaux connus. Aucun calendrier de déploiement industriel n'est mentionné: il s'agit d'une publication de recherche accompagnée d'essais matériels limités, pas d'un produit commercialisé.

IA physiquePaper
1 source
LaST₀ : raisonnement spatio-temporel latent en chaîne pour les modèles VLA robotiques
Illustration générée par IA
3arXiv cs.RO 

LaST₀ : raisonnement spatio-temporel latent en chaîne pour les modèles VLA robotiques

Des chercheurs ont proposé LaST₀ (Latent Spatio-Temporal Chain-of-Thought), un framework pour modèles Vision-Langage-Action (VLA) appliqués à la manipulation robotique, publié en janvier 2026 sur arXiv (2601.05248, v4). Évalué sur 10 tâches réelles couvrant la manipulation sur table, la manipulation sur base mobile et la manipulation dextre, le système améliore le taux de succès moyen de respectivement 13 %, 14 % et 14 % par rapport aux meilleures méthodes VLA actuelles. L'architecture repose sur un design Mixture-of-Transformers dual : un "expert raisonnement" opérant à basse fréquence pour l'inférence latente, et un "expert action" générant des commandes motrices à haute fréquence, les deux modules fonctionnant à des cadences hétérogènes pour permettre un basculement adaptatif. Le raisonnement intermédiaire s'effectue dans un espace latent compact encodant la dynamique visuelle future, la structure 3D de la scène et les états proprioceptifs du robot, sans passer par du texte en langage naturel. L'enjeu central est le compromis latence/raisonnement qui freine le déploiement industriel des VLA. Les approches qui génèrent des traces de raisonnement en langage naturel avant d'agir, comme certaines variantes de Pi-0 (Physical Intelligence) ou OpenVLA, introduisent une latence d'inférence incompatible avec les cycles rapides de la manipulation robotique. LaST₀ court-circuite ce goulot en déplaçant le raisonnement dans un espace latent plus dense informationnellement, plus rapide à générer, et capable de capturer des attributs physiques difficiles à verbaliser comme la friction ou la compliance des objets. Les gains mesurés sur des environnements réels, et non en simulation, constituent un signal notable : le sim-to-real gap n'est pas le seul obstacle, et la représentation interne du raisonnement importe autant que la qualité des données d'entraînement. Les VLA ont émergé comme architecture dominante pour la généralisation en robotique depuis les travaux de Google sur RT-2 (2023), puis se sont accélérés avec Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et Helix de Figure AI en 2025. Le débat structurant du secteur oppose raisonnement explicite de type LLM et politiques réactives de type diffusion. LaST₀ propose une troisième voie, un système dual à fréquences hétérogènes combinant les deux sans les latences du premier ni les limites de généralisation du second. La publication reste pour l'instant purement académique, sans pilote industriel annoncé, mais l'architecture est directement transposable aux manipulateurs commerciaux et aux plateformes humanoïdes existantes.

IA physiqueOpinion
1 source
Modèle vision-langage-action pour la modélisation du monde, le raisonnement et la synthèse d'actions
Illustration générée par IA
4arXiv cs.RO 

Modèle vision-langage-action pour la modélisation du monde, le raisonnement et la synthèse d'actions

Des chercheurs présentent WLA (World-Language-Action), une nouvelle classe de modèles de fondation incarnés pour la robotique, dans un preprint arXiv publié début juin 2026. Le modèle prototype WLA-0, fort de 2 milliards de paramètres actifs, prend en entrée des instructions textuelles, des images et l'état du robot pour générer simultanément des sous-tâches textuelles, des images de sous-objectifs et des commandes motrices. Sur l'NVIDIA RTX 5090, le temps d'inférence est de 40 ms par cycle, ce qui reste dans les plages acceptables pour le contrôle temps réel. Les évaluations atteignent 92,94 % de taux de succès sur le benchmark RoboTwin2.0 Clean et 56,5 % sur RMBench, deux protocoles de référence pour les tâches multi-objets et longue portée. L'intérêt architectural réside dans la fusion de deux paradigmes jusqu'ici distincts : le world modeling, qui consiste à apprendre une représentation prédictive du monde à partir de vidéos égocentrées, et le language reasoning propre aux modèles VLA (Vision-Language-Action) tels que Pi-0 ou OpenVLA. WLA opte pour un backbone Transformer autorégressif plutôt que le Transformer de diffusion bidirectionnel utilisé dans les WAM (World-Action Models), ce qui permet de prédire l'état suivant en deux niveaux complémentaires : intention sémantique textuelle d'un côté, dynamiques physiques fines de l'autre. Un mécanisme de meta-queries rend l'influence du world modeling implicite à l'inférence, mais peut être activé pour du test-time scaling, technique qui améliore le contrôle en allouant davantage de calcul à l'exécution. La capacité annoncée d'apprendre de nouvelles tâches à partir de vidéos cross-embodiment sans annotations d'actions est notable, mais reste à valider sur des robots hétérogènes en dehors d'environnements simulés. WLA s'inscrit dans une course dense à l'unification des modèles robotiques. Face à Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui misent chacun sur des architectures diffusion ou VLA, WLA propose une troisième voie autoregressive combinant génération de sous-objectifs visuels et raisonnement linguistique. L'article reste un preprint non validé par les pairs, sans déploiement industriel annoncé. Les prochaines étapes naturelles seraient une évaluation sur des plateformes physiques variées et des benchmarks réels, les performances simulées étant connues pour surestimer les capacités en conditions d'exploitation. Aucun acteur européen n'est impliqué dans ces travaux.

IA physiqueOpinion
1 source