RecherchearXiv cs.RO 16 juillet 2026

GigaWorld-Policy-0.5 : un WAM plus rapide et puissant grâce à AutoResearch

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

GigaWorld-Policy-0.5, développé par une équipe de recherche chinoise, s'attaque à un problème concret des World Action Models (WAM), ces architectures qui améliorent l'apprentissage de politiques robotiques en modélisant conjointement les actions et l'évolution future de la scène visuelle. Le défaut des WAM existants est de générer explicitement des vidéos futures au moment de l'inférence, ce qui alourdit fortement le calcul et empêche un déploiement en boucle fermée temps réel. GigaWorld-Policy-0.5 conserve la dynamique visuelle future comme signal d'entraînement mais bascule à l'inférence vers un décodage uniquement orienté action. Le modèle combine un entraînement mixte Action-Conditioned World Modeling (AC-WM) et WAM classique, renforçant le couplage entre dynamique visuelle et actions robotiques. Côté architecture, une Mixture-of-Transformers sépare les experts dédiés à la modélisation visuelle de ceux dédiés à la génération d'actions, réduisant le calcul actif lors de l'inférence pure. Résultat annoncé : 85 millisecondes de latence d'inférence sur une configuration locale RTX 4090. Les auteurs ajoutent un pipeline agentique baptisé AutoResearch pour rechercher automatiquement les configurations d'entraînement optimales, réduisant le temps et l'intervention manuelle nécessaires au réglage des hyperparamètres.

Cette approche répond à une tension centrale du secteur robotique : les modèles vision-langage-action (VLA) les plus performants s'appuient souvent sur une prédiction vidéo coûteuse pour ancrer physiquement leurs décisions, ce qui les rend inadaptés à un contrôle en temps réel sur du matériel embarqué. En démontrant qu'il est possible de conserver les bénéfices d'entraînement liés à la dynamique visuelle future tout en s'affranchissant de sa génération explicite à l'inférence, GigaWorld-Policy-0.5 offre une piste concrète pour rapprocher les WAM d'un usage industriel réel, sur des GPU consumer plutôt que des clusters dédiés. Pour les intégrateurs et décideurs B2B, la latence de 85 ms mesurée sur une RTX 4090 reste un chiffre en environnement contrôlé, sans précision sur la tâche exécutée ni sur la charge du système complet (perception, planification), ce qui invite à la prudence avant d'en déduire une performance transposable telle quelle en production.

GigaWorld-Policy-0.5 s'inscrit dans la lignée des World Action Models qui ont émergé pour pallier les limites des VLA purement réactifs, en s'inspirant des travaux sur les modèles du monde utilisés en simulation avant d'être transposés au contrôle robotique réel. Le papier ne détaille pas de comparaison chiffrée directe avec des systèmes concurrents comme Pi-0, GR00T N2 ou Helix, ce qui limite l'évaluation de son positionnement compétitif réel. L'apport revendiqué de la version 0.5 tient surtout à l'architecture Mixture-of-Transformers et au pipeline AutoResearch, présentés comme des briques permettant d'itérer plus vite sur les configurations d'entraînement. Le document, publié sur arXiv (2607.13960v1), reste à ce stade une contribution de recherche sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

GigaWorld-1 : une feuille de route pour créer des modèles du monde évaluant les politiques robotiques

Une équipe de recherche publie GigaWorld-1, un modèle du monde spécialement conçu pour évaluer les politiques robotiques, accompagné de WMBench, un banc d'essai construit à partir de données réelles de téléopération et de rollouts de politiques appariés sur des tâches de manipulation variées. L'étude analyse 7 modèles du monde vidéo, 4 schémas de représentation d'action et plus de 324 000 rollouts de politiques simulés mis en correspondance avec des exécutions robotiques réelles, en s'appuyant aussi sur les soumissions de la communauté au CVPR 2026 GigaBrain Challenge, des trajectoires synthétiques et plus de 12 000 heures de vidéos d'entraînement. Trois résultats principaux ressortent : la qualité d'un évaluateur dépend surtout de la cohérence des rollouts sur de longs horizons temporels et de leur fidélité à l'action réelle, plutôt que du simple réalisme visuel à court terme ; les gains de pré-entraînement viennent autant d'un équilibre entre connaissances générales et contrôlabilité spécifique au robot que de la seule taille des données ; et des choix d'architecture comme l'encodage d'action, la conception de la mémoire et le post-entraînement orienté évaluation déterminent fortement l'alignement avec le comportement réel du robot. Code, modèles, jeux de données et outils sont publiés en intégralité. Ce travail s'attaque à un vrai goulot d'étranglement du secteur : contrairement aux LLM, évaluables via des benchmarks numériques rapides, les politiques robotiques nécessitent des essais physiques lents, coûteux et limités par le matériel et la supervision humaine. Utiliser des modèles du monde comme évaluateurs de substitution promet d'accélérer drastiquement l'itération sur les modèles fondation embarqués (VLA), en simulant les conséquences d'une action avant tout déploiement réel. Mais jusqu'ici, personne n'avait établi méthodiquement ce qui rend un modèle du monde fiable pour ce rôle précis d'évaluateur, plutôt que pour la génération vidéo générique. En démontrant que le réalisme visuel court terme est un mauvais proxy et que la cohérence long-horizon compte davantage, l'étude remet en cause une hypothèse implicite du secteur, celle voulant qu'un bon générateur vidéo fasse automatiquement un bon simulateur d'évaluation, avec des implications directes pour tous les laboratoires qui entraînent des politiques de manipulation (type GR00T N2, Pi-0 ou Helix) et cherchent à réduire leur dépendance aux essais sur banc réel. Le travail s'inscrit dans la montée en puissance des modèles du monde comme brique d'infrastructure pour la robotique fondation, un axe de recherche porté ces derniers mois par des acteurs comme World Labs, Genie de DeepMind ou les initiatives associées au GigaBrain Challenge du CVPR 2026, dont les soumissions communautaires alimentent d'ailleurs directement WMBench. La démarche se distingue par son échelle : plus de 12 000 heures de vidéos d'entraînement et 324 000 rollouts appariés à des exécutions réelles, un volume rarement atteint pour ce type d'analyse comparative. En publiant intégralement code, modèles et jeux de données, les auteurs positionnent GigaWorld-1 et WMBench comme une référence ouverte que d'autres laboratoires pourront reprendre pour benchmarker leurs propres politiques, une étape qui pourrait accélérer la comparaison objective entre familles de modèles VLA concurrentes, aujourd'hui difficile faute de protocole d'évaluation standardisé.

RecherchePaper

1 source

2arXiv cs.RO

Transport d'objets par occlusion autour d'obstacles grâce à un essaim de robots miniatures

Des chercheurs ont publié sur arXiv (référence 2605.13006) une extension d'une stratégie existante de transport collectif par essaim robotique, permettant désormais aux robots de contourner des obstacles qui bloquent la ligne de vue vers la cible. Le système repose sur une approche dite par occlusion : chaque robot minuscule utilise sa capacité à détecter si l'objet à déplacer masque ou non la lumière émise par la balise-objectif pour décider de sa position et de sa poussée. La nouveauté consiste à permettre à n'importe quel membre de l'essaim de se positionner comme sous-objectif intermédiaire, formant ainsi une chaîne de relais visuels entre l'objet et la destination finale. Le comportement global émerge d'une machine à états finis individuelle et simple, sans aucune communication entre robots et sans coordinateur central. Cinq séries d'expériences simulées démontrent la robustesse du système face à des obstacles convexes et concaves, à des positions de départ variables et à différentes tailles de swarm. Cette approche lève la principale limite pratique des stratégies d'occlusion précédentes, qui exigeaient un couloir dégagé entre l'objet et la cible, une hypothèse rarement vérifiable dans un environnement industriel réel encombré de rayonnages, palettes ou machines. L'absence totale de communication entre agents élimine les goulots d'étranglement réseau et les points de défaillance uniques qui pénalisent les flottes d'AMR classiques dès que la densité de robots augmente. La capacité à traiter des obstacles concaves, géométriquement plus complexes, suggère une transposabilité raisonnable vers des configurations d'entrepôts non standardisés. Il convient cependant de noter que les résultats restent purement simulés : le fossé sim-to-real sur des robots physiques miniatures, avec friction, glissement et variabilité de capteurs, n'est pas encore adressé. La stratégie par occlusion pour transport en essaim a été posée par des travaux antérieurs, notamment dans les groupes travaillant sur les kilobots et les microbots à faibles ressources computationnelles. Ce domaine se distingue des approches multi-robots classiques (ROS 2, planification centralisée) par son paradigme ascendant, plus proche des algorithmes bio-inspirés type stigmergie. Les concurrents directs dans l'espace du transport collectif décentralisé incluent des travaux sur les robots vibratoires de Harvard et les systèmes de manipulation collective du MIT CSAIL. La prochaine étape logique annoncée implicitement par les auteurs est la validation sur hardware réel, où les contraintes physiques des robots miniatures rendront les résultats réellement exploitables par les intégrateurs de solutions de manutention autonome.

RecherchePaper

1 source

3Interesting Engineering

Les robots humanoïdes plient, ramassent et manipulent des objets fragiles avec plus de précision grâce à une nouvelle technologie

Des chercheurs de Carnegie Mellon University (CMU) et du Bosch Center for AI ont publié un nouveau système d'IA baptisé HTD (Humanoid Transformer with Touch Dreaming), conçu pour améliorer la manipulation d'objets par des robots humanoïdes dans des environnements à contact complexe. Le framework combine l'apprentissage par imitation avec un module de prédiction tactile, permettant au robot d'anticiper l'évolution des forces de contact et du retour haptique avant et pendant la saisie. Testé sur cinq tâches réelles, insertion d'objet en T, rangement de livres, pliage de serviette, ramassage de litière et service du thé, HTD affiche une amélioration relative de 90,9 % du taux de réussite moyen par rapport à la baseline ACT, un modèle d'imitation de référence dans le domaine. Le système repose sur une architecture dissociée : un contrôleur bas-corps entraîné par renforcement en simulation via une méthode teacher-student stabilise l'orientation du torse, la vitesse et l'équilibre, tandis que la cinématique inverse et le retargeting de main gèrent les mouvements du haut du corps et la dextérité digitale. Les représentations tactiles ne sont pas reconstruites brutes mais encodées dans un espace latent compact via un réseau cible mis à jour lentement, ce qui filtre le bruit sensoriel et améliore la stabilité de la manipulation. Ce résultat est notable parce qu'il adresse directement l'un des verrous persistants de la robotique humanoïde : la cohabitation entre locomotion et manipulation fine sans dégradation mutuelle. La séparation architecturale bas/haut corps n'est pas nouvelle en soi, mais son intégration avec un modèle prédictif tactile dans une politique unifiée évite le recours à un pré-entraînement tactile séparé ou à un world model externe, ce qui simplifie le pipeline de déploiement. Les études d'ablation sont particulièrement instructives : incorporer le toucher comme entrée brute supplémentaire ne suffit pas, la prédiction dans l'espace latent apporte 30 % de gain relatif supplémentaire sur le raw tactile. Pour les intégrateurs qui envisagent des humanoïdes dans des cellules de manutention délicate, c'est un signal clair que la qualité de la représentation sensorielle prime sur la quantité de capteurs. HTD s'inscrit dans une vague de travaux cherchant à combler le sim-to-real gap pour la manipulation contact-riche. Le controller bas-corps a été entraîné sur le dataset AMASS, qui fournit des mouvements humains réalistes pour perturber le torse pendant l'apprentissage, une approche de robustification déjà utilisée dans des projets comme Isaac Lab de NVIDIA ou les travaux de Stanford sur whole-body control. Dans le paysage concurrentiel, Figure (Figure 03), Physical Intelligence (Pi-0), Boston Dynamics et 1X Technologies travaillent tous sur des architectures VLA (Vision-Language-Action) pour la manipulation généraliste, mais peu publient des résultats quantitatifs sur des tâches aussi précises que l'insertion de connecteurs ou la manipulation de textiles. CMU n'a pas encore annoncé de partenariat industriel ni de calendrier de transfert vers un produit commercial, mais le Bosch Center for AI comme co-auteur suggère un intérêt applicatif concret dans l'automatisation industrielle à manipulation variable.

UELe Bosch Center for AI (Allemagne) co-auteur du papier signale un intérêt applicatif concret pour l'automatisation industrielle européenne à manipulation variable, sans calendrier de transfert industriel annoncé.

RechercheOpinion

1 source

4arXiv cs.RO

SeFA-Policy : apprentissage rapide et précis de politiques visuomotrices par alignement de flux sélectif

Une équipe de recherche a publié SeFA-Policy (Selective Flow Alignment), une nouvelle méthode d'apprentissage de politiques visuomotrices par imitation pour la robotique, décrite dans une version révisée sur arXiv (2511.08583v2) et accompagnée d'un code source disponible sur GitHub (RongXueZoe/SeFA). Le problème ciblé concerne les approches récentes de "rectified flow", qui accélèrent la génération d'actions robotiques mais souffrent d'un défaut connu : après distillation itérative, les actions générées finissent par dévier des actions réelles associées à l'observation visuelle en cours, ce qui accumule l'erreur au fil des cycles de reflow et déstabilise l'exécution des tâches. SeFA introduit un mécanisme de correction de cohérence qui réaligne sélectivement les actions générées sur les démonstrations expertes, tout en conservant la capacité du modèle à représenter plusieurs solutions possibles (multimodalité). Sur des tâches de manipulation simulées et réelles, les auteurs annoncent une précision et une robustesse supérieures aux politiques de référence basées sur la diffusion ou sur le flow, avec une latence d'inférence réduite de plus de 98%. Pour l'industrie robotique, l'enjeu dépasse la performance académique brute : le goulot d'étranglement des politiques par diffusion a toujours été le nombre d'étapes de débruitage nécessaires à chaque décision, incompatible avec du contrôle temps réel sur bras manipulateurs ou robots mobiles. Les méthodes à un seul pas d'inférence promettent de lever ce verrou, mais au prix, jusqu'ici, d'une fidélité dégradée aux observations réelles. En traitant explicitement ce compromis précision/vitesse plutôt qu'en l'ignorant, SeFA apporte un signal utile aux intégrateurs qui évaluent si les politiques de type flow sont mûres pour un déploiement embarqué, au-delà des démonstrations en laboratoire. Ce travail s'inscrit dans la lignée des Diffusion Policy puis des politiques par rectified flow, apparues ces deux dernières années comme alternative aux architectures de type transformer pour l'apprentissage par imitation en robotique. Il se positionne explicitement contre les méthodes de diffusion et de flow "state of the art" existantes, sans toutefois nommer d'acteur industriel ni annoncer de déploiement commercial : il s'agit d'une contribution de recherche, publiée en v2 après une première soumission, avec code ouvert pour reproduction par la communauté.

RechercheActu

1 source