IA physiquePandaily 10 septembre 2026

AgiBot dévoile GE-Act 2.0, son modèle monde-action natif avec un passage à l'échelle des données x100

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Paragraphe 1: AgiBot a présenté GE-Act 2.0, un modèle "world-action" entraîné depuis une initialisation aléatoire sur des données de manipulation robotique, plutôt qu'adapté d'un générateur vidéo préexistant, en entraînant conjointement représentation visuelle, prédiction du futur et prédiction d'action. La société en fait le premier test systématique de la mise à l'échelle des données: le volume d'entraînement passe de 300 à 30 000 heures, sans réglage fin par tâche ni démonstration au moment de l'évaluation. Sur un protocole zéro-shot, avec scènes, éclairages et objets inédits, couvrant 100 tâches élémentaires et environ 20 familles de compétences sur deux robots, le taux de réussite grimpe de 17,1% à 44,1% sur la plateforme G1-OP et de 13,4% à 31,1% sur G2-90D, avec des progrès encore mesurables entre les paliers de 5 000 et 30 000 heures. Le nombre de tâches réussies au moins une fois passe de 39 à 76 sur G1-OP et de 24 à 72 sur G2-90D; des gestes fins comme plier une serviette, empiler des gobelets en papier, reposer un capuchon de stylo ou arranger des fleurs dans des scènes inédites n'apparaissent de façon fiable qu'au plus haut palier de données. G2-90D, qui ne représente que 2% des données contre plus de la moitié pour G1-OP, gagne malgré tout 17,7 points grâce au transfert entre robots. Un encodeur CoAE compresse chaque image de 256 par 384 pixels en 24 tokens, un planificateur visuel prédit un segment de futur et un modèle de dynamique inverse le traduit en actions, pour un temps de cycle d'environ 104 millisecondes sur une RTX 5090. Après réglage fin, AgiBot revendique 60,52% sur les tests hors distribution de RoboTwin et 0,770 sur le suivi d'instructions de GenieSim, devant plusieurs modèles comparés; les documents sont publiés sur ge-act-v2.github.io.

Paragraphe 2: Ces résultats visent le débat sur la généralisation des modèles VLA (vision-language-action) et l'écart entre démonstration et déploiement réel: une architecture native, plutôt qu'un empilement de modules pré-entraînés séparément, passerait mieux à l'échelle des données. Pour les intégrateurs et décideurs industriels, l'enjeu est la robustesse hors distribution, qui réduit le coût de reconfiguration site par site, frein majeur à l'adoption des humanoïdes en usine ou en logistique. L'apparition tardive des compétences fines suggère que la course entre AgiBot, Figure, 1X ou Physical Intelligence se joue autant sur le volume et la diversité des données de téléopération que sur l'architecture du modèle. Le transfert observé entre G1-OP et G2-90D appuie l'idée qu'un apprentissage partagé entre robots différents peut compenser la rareté de données propre à chaque plateforme. Ces chiffres restent toutefois auto-publiés par AgiBot, sans validation indépendante ni comparaison en conditions réelles avec des modèles concurrents comme GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure.

Paragraphe 3: GE-Act 2.0 s'inscrit dans la pile logicielle GE d'AgiBot, où GE-Sim gère l'évaluation de politiques et la construction d'environnements simulés, tandis que GE-Act convertit les futurs prédits en mouvements robotiques. La société chinoise, déjà connue pour ses humanoïdes commerciaux et ses jeux de données de téléopération à grande échelle, présente cette publication comme une étape de recherche plutôt qu'un produit livré: les documents techniques sont diffusés sur une simple page de projet, sans partenaire industriel, site pilote ni calendrier de commercialisation annoncés pour ce modèle précis. La comparaison revendiquée face à RoboTwin et GenieSim, deux bancs d'essai utilisés par les laboratoires chinois et occidentaux, vise à positionner AgiBot dans une compétition où les vidéos soigneusement sélectionnées restent souvent difficiles à distinguer d'une capacité réellement généralisable en production.

Dans nos dossiers

AgiBot NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

Xiaomi-Robotics-1 : passage à l'échelle des modèles vision-langage-action avec plus de 100 000 heures de trajectoires réelles

Xiaomi a dévoilé Xiaomi-Robotics-1, un modèle vision-langage-action (VLA) fondation entraîné sur plus de 100 000 heures de trajectoires de manipulation collectées en conditions réelles via des dispositifs UMI (Universal Manipulation Interface). L'entraînement se déroule en deux temps : une phase de pré-entraînement qui dote le modèle de capacités générales de génération d'actions, appuyée sur un pipeline d'auto-annotation générant des descriptions en langage naturel des transitions d'état de la scène, puis une phase de post-entraînement qui aligne ces capacités sur des instructions impératives et sur des embodiments robotiques spécifiques. Sur les benchmarks de simulation, le modèle établit un nouvel état de l'art avec 57,6% de taux de réussite sur RoboCasa365 (contre 46,6% précédemment) et un score moyen de 20,07 sur RoboDojo (contre 13,07 pour le meilleur résultat antérieur). Xiaomi annonce la publication future du code et des poids du modèle. L'intérêt principal tient au comportement de scaling observé : les performances progressent de façon cohérente avec la taille des données et du modèle en pré-entraînement, et ce gain se transfère directement au post-entraînement, avec de meilleures performances hors distribution sur robot réel. C'est un signal notable pour l'industrie, qui cherche à valider l'hypothèse que les modèles VLA généralistes, entraînés à grande échelle sur données réelles plutôt que simulées, peuvent servir de politique de base robuste, adaptable à des tâches dextres complexes avec peu de données de fine-tuning. Pour les intégrateurs et décideurs robotique, cela renforce la piste des foundation models comme alternative viable aux pipelines spécialisés tâche par tâche. Ce travail s'inscrit dans une compétition intense entre grands acteurs sur les modèles VLA fondation, aux côtés de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. L'usage de dispositifs UMI, portables et peu coûteux pour collecter des données de manipulation sans robot physique, s'inscrit dans une tendance à contourner le goulot d'étranglement de la téléopération classique. Reste à voir si la publication effective du code et des checkpoints, promise mais non encore livrée, confirmera la reproductibilité des résultats annoncés.

IA physiqueActu

1 source

2arXiv cs.RO

Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action

Des chercheurs ont publie sur arXiv le modèle VLAct, un système vision-langage-action (VLA) fonde sur un pré-entrainement continu qui privilégié la qualité de représentation plutôt que le seul volume de données robotiques. Le backbone VLM généraliste est étendu sur des trajectoires multi-robots hétérogènes, en préservant le prior du VLM et en unifiant partiellement les actions entre morphologies avant un fine-tuning par tache. Sur LIBERO-Plus et RoboTwin 2.0, VLAct devance les systèmes industriels ABot-M0 et LingBot-VLA avec 82,6% et 92,5% de réussite, et se classe sixième sur RoboDojo devant toutes les entrées "world-action model". Sur la morphologie humanoïde inédite RoboCasa-GR1, il bat le GR00T-N1.6 entraine sur 100% des données en n'en utilisant que 20%, le tout avec des données open-source et seulement 16 GPU d'entrainement. Ce résultat nuance l'hypothèse dominante selon laquelle la performance des VLA dépend surtout du volume de trajectoires collectées, sur le modèle du scaling des grands modèles de langage. En rivalisant avec des systèmes industriels grâce a seulement 16 GPU et des données publiques, les auteurs montrent que la qualité du transfert entre morphologies pèse davantage que la taille brute des données, un axe accessible a des équipes aux moyens plus modestes. Le résultat sur RoboCasa-GR1, ou une morphologie jamais vue est généralisée avec un cinquième des données habituelles, s'attaque directement au frein du transfert cross-embodiment. Ces résultats restent toutefois obtenus sur des bancs d'essai simules, sans déploiement industriel réel documente: une contribution de recherche, pas un produit commercialise. Les références choisies, les systèmes chinois ABot-M0 et LingBot-VLA et le GR00T-N1.6 de NVIDIA, situent VLAct dans une compétition dense entre modèles VLA généralistes, aux cotes d'acteurs comme Physical Intelligence (Pi-0) ou Figure AI (Helix), absents toutefois des baselines testées ici. Le modèle se positionne comme une alternative sobre en calcul face a la course a l'échelle des données menée par les grands laboratoires. Publie pour l'instant en preprint, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement; les étapes attendues restent la revue par les pairs et, le cas échéant, la publication du code et des poids, les données d'entrainement étant déjà open-source.

IA physiqueOpinion

1 source

3arXiv cs.RO

WALL-SS : le passage à l'échelle des modèles du monde à long terme via l'autorégression multi-échelle

Publié fin aout 2026 sur arXiv (2608.26239), WALL-SS est un "world model" conçu pour générer des futurs visuels pilotables par l'action sur de longs horizons, via une autorégression à échelles multiples ("next-scale autoregression"). Les trajectoires du robot y sont représentées comme des séquences causales entrelaçant observations et actions, ce qui rend explicite le lien action-conséquence. Le système génère chaque image future du grossier au fin et combine trois briques : une prédiction "next-scale" conditionnée par l'action, une mémoire longue durée compressée par échelle (interactions récentes en haute résolution, passé compressé) renforcée par un mécanisme de "dream forcing" par échelle pour résister au bruit auto-généré, et un alignement on-policy optimisant des récompenses de suivi d'action et de cohérence long terme sans dériver de la distribution visuelle pré-entraînée. Résultat annoncé : rollouts cohérents sur plusieurs minutes en flux continu, sous mémoire bornée, avec une dérive d'action réduite. Pour l'industrie robotique, l'enjeu est concret : la plupart des modèles du monde génératifs décrochent au-delà de quelques secondes, produisant des trajectoires visuellement plausibles mais physiquement incohérentes dès que l'horizon s'allonge. Une simulation stable sur plusieurs minutes, à mémoire bornée, intéresse directement les équipes qui entraînent des politiques vision-langage-action (VLA) du type Pi-0, GR00T ou Helix, en offrant une boucle d'évaluation et d'entraînement moins coûteuse que la collecte de données réelles, y compris pour tester des scénarios d'échec sans risquer de matériel. C'est aussi un aveu implicite que le "sim-to-real gap" reste un chantier ouvert : la dérive d'action et l'incohérence long terme sont ici corrigées par un alignement a posteriori, pas éliminées par construction dès le départ. WALL-SS s'inscrit dans la vague de modèles du monde génératifs nourrie par les progrès de la génération vidéo et leur transposition à la prédiction d'états robotiques, aux côtés d'efforts comme GR00T N2 chez Nvidia ou Pi-0 chez Physical Intelligence sur le versant politiques VLA. Sa contribution est architecturale : remplacer la génération clip par clip par une autorégression à échelles multiples censée mieux gérer les horizons variables et le streaming continu. Publié comme simple preprint arXiv, sans laboratoire ni entreprise identifiés nommément dans le résumé, et sans code ni benchmark public annoncés, le travail reste à ce stade une contribution de recherche destinée à être validée par la communauté, et non un produit ou un déploiement industriel.

IA physiquePaper

1 source

4arXiv cs.RO

Apprentissage continu sans données pour un modèle d'action du monde, par relecture générative rectifiée

Des chercheurs proposent R²-WAM, une méthode d'apprentissage continu sans données pour les « world action models » (WAM), ces modèles construits sur des générateurs vidéo préentraînés qui prédisent conjointement observations et actions d'un robot. Le problème de départ est connu: un WAM s'adapte vite à une nouvelle tâche, mais oublie les précédentes lors d'un fine-tuning séquentiel. Le rejeu d'expérience (ER) limite cet oubli, mais il suppose de conserver les données anciennes, ce qui est rarement possible en robotique où une politique circule sous forme de poids seuls. L'équipe fait donc régénérer au modèle ses propres trajectoires complètes, de façon autorégressive, puis les rejoue. Brutes, ces trajectoires restent loin du rejeu de données réelles, pour deux raisons: le modèle ne reconnaît pas la fin d'une tâche et continue à produire des mouvements sans but, et, en génération en boucle ouverte, les actions dérivent peu à peu par rapport aux observations générées. R²-WAM corrige cela en coupant les trajectoires à l'achèvement de la tâche grâce à un évaluateur agentique, et en écartant celles dont les actions sont physiquement incohérentes avec les images. Sur les quatre suites du benchmark LIBERO et cinq tâches en conditions réelles, la méthode réduit l'oubli de plus de 90 % par rapport au fine-tuning séquentiel et se rapproche presque de l'ER, sans accéder à aucune donnée des tâches passées. L'enjeu est très concret pour qui déploie des politiques robotiques: les poids se partagent, les jeux de données beaucoup moins, pour des raisons de propriété, de confidentialité ou de volume. Pouvoir enrichir un modèle de nouvelles compétences sans repartir des données d'origine ouvre la voie à des mises à jour incrémentales chez les intégrateurs et les utilisateurs finaux. Les auteurs livrent aussi un résultat diagnostique utile: l'oubli se concentre dans la modélisation de la dynamique inverse. Un WAM « amnésique » produit toujours des images plausibles des tâches passées, mais ses actions échouent. Cela suggère que la qualité visuelle d'un modèle vidéo ne garantit pas la fiabilité du contrôle, et que les efforts de régularisation devraient viser la tête d'actions plutôt que la génération visuelle. Ce travail s'inscrit dans la montée des politiques vision-langage-action et des modèles de monde adossés à la vidéo, où l'apprentissage continu reste un verrou majeur face aux approches classiques de rejeu ou de régularisation. Les résultats reposent toutefois sur LIBERO, un benchmark de simulation, et seulement cinq tâches réelles: il reste à voir comment la méthode tient sur de longues séquences de tâches, des scènes plus variées ou des modèles de grande taille. La dépendance à un évaluateur agentique, dont le coût et la fiabilité ne sont pas détaillés ici, constitue une autre inconnue. Cette version v2 de l'article sur arXiv est accompagnée d'une page projet, mais aucun produit ni déploiement industriel n'est annoncé: il s'agit de recherche académique.

IA physiquePaper

1 source