FLORA : une suite de modèles ouverts pour le passage à l'échelle des moteurs de données en robotique

Rapport technique Qwen-RobotManip : l'alignement permet le passage à l'échelle des modèles fondation pour la manipulation robotique

L'équipe Qwen d'Alibaba a publié le 22 juin 2026 un rapport technique décrivant Qwen-RobotManip, un modèle fondation Vision-Langage-Action (VLA) conçu pour la manipulation robotique généraliste. Construit sur l'architecture Qwen-VL, le modèle introduit un cadre d'alignement unifié couvrant trois dimensions : la représentation sensorielle, le mouvement, et le comportement. Son corpus d'entraînement atteint environ 38 100 heures de données, constitué exclusivement de jeux de données open source et de vidéos en vue subjective des mains humaines, sans aucune collecte propriétaire. Un pipeline de synthèse convertit ces démonstrations égocentrées en trajectoires robot compatibles avec 15 plateformes matérielles différentes, dont AgileX ALOHA, Franka, UR et ARX. Évalué sur six benchmarks out-of-distribution (RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, RoboTwin-XE), Qwen-RobotManip surpasse les modèles précédents sur l'ensemble des configurations et remporte la première place du RoboChallenge avec une amélioration relative de 20 % par rapport à l'état de l'art antérieur. Ce résultat est significatif parce qu'il répond directement à une question centrale du secteur : peut-on appliquer aux données de manipulation robotique la même recette de scaling qui a propulsé les grands modèles de langage ? Jusqu'ici, la réponse restait négative, en raison de l'hétérogénéité structurelle des données de manipulation (formats, espaces d'action, embodiments incompatibles), qui rendait l'entraînement multi-sources incohérent plutôt que synergique. Qwen-RobotManip avance que l'alignement préalable des données résout ce problème, permettant l'absorption à grande échelle sans dégradation. Les capacités émergentes documentées (suivi d'instructions zero-shot, récupération d'erreurs réactive, transfert cross-embodiment) constituent, si elles se confirment en conditions industrielles réelles, un changement de paradigme pour les intégrateurs : moins de fine-tuning spécifique par robot, généralisation à de nouvelles tâches sans redéploiement complet du pipeline. Il convient toutefois de noter que les résultats reposent sur des benchmarks académiques et des validations en laboratoire réel ; aucun déploiement industriel n'est encore documenté, et l'écart sim-to-real reste une inconnue à l'échelle. Qwen-RobotManip s'inscrit dans une course serrée autour des VLA pour la manipulation, où Physical Intelligence (pi0 et pi0.5), Google DeepMind (RT-2, pi-0), et Hugging Face (LeRobot) occupent déjà des positions fortes. Le modèle de Qwen se distingue en revendiquant la performance la plus élevée sur les benchmarks OOD publiés à ce jour, et surtout en n'utilisant aucune donnée propriétaire, ce qui ouvre théoriquement la voie à une adoption plus large. La publication est un preprint arXiv (arXiv:2506.17846v1), pas encore soumis à peer review, et aucune date de disponibilité du modèle ni annonce de pilote industriel n'accompagne ce rapport. Les prochaines étapes probables incluent une intégration dans l'écosystème Hugging Face ou ModelScope et des évaluations indépendantes en conditions réelles.

💬 L'obstacle au scaling en robotique, c'était pas le manque de données, c'était leur incohérence structurelle. Qwen le prouve ici : aligner avant de scaler, et les benchmarks OOD s'envolent de 20%. Bon, c'est encore du labo et je ne vois aucun déploiement industriel documenté, mais avec zéro donnée propriétaire dans le corpus, les intégrateurs sur Franka ou UR ont une vraie porte d'entrée.

Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action

Des chercheurs ont publie sur arXiv le modèle VLAct, un système vision-langage-action (VLA) fonde sur un pré-entrainement continu qui privilégié la qualité de représentation plutôt que le seul volume de données robotiques. Le backbone VLM généraliste est étendu sur des trajectoires multi-robots hétérogènes, en préservant le prior du VLM et en unifiant partiellement les actions entre morphologies avant un fine-tuning par tache. Sur LIBERO-Plus et RoboTwin 2.0, VLAct devance les systèmes industriels ABot-M0 et LingBot-VLA avec 82,6% et 92,5% de réussite, et se classe sixième sur RoboDojo devant toutes les entrées "world-action model". Sur la morphologie humanoïde inédite RoboCasa-GR1, il bat le GR00T-N1.6 entraine sur 100% des données en n'en utilisant que 20%, le tout avec des données open-source et seulement 16 GPU d'entrainement. Ce résultat nuance l'hypothèse dominante selon laquelle la performance des VLA dépend surtout du volume de trajectoires collectées, sur le modèle du scaling des grands modèles de langage. En rivalisant avec des systèmes industriels grâce a seulement 16 GPU et des données publiques, les auteurs montrent que la qualité du transfert entre morphologies pèse davantage que la taille brute des données, un axe accessible a des équipes aux moyens plus modestes. Le résultat sur RoboCasa-GR1, ou une morphologie jamais vue est généralisée avec un cinquième des données habituelles, s'attaque directement au frein du transfert cross-embodiment. Ces résultats restent toutefois obtenus sur des bancs d'essai simules, sans déploiement industriel réel documente: une contribution de recherche, pas un produit commercialise. Les références choisies, les systèmes chinois ABot-M0 et LingBot-VLA et le GR00T-N1.6 de NVIDIA, situent VLAct dans une compétition dense entre modèles VLA généralistes, aux cotes d'acteurs comme Physical Intelligence (Pi-0) ou Figure AI (Helix), absents toutefois des baselines testées ici. Le modèle se positionne comme une alternative sobre en calcul face a la course a l'échelle des données menée par les grands laboratoires. Publie pour l'instant en preprint, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement; les étapes attendues restent la revue par les pairs et, le cas échéant, la publication du code et des poids, les données d'entrainement étant déjà open-source.

AgiBot dévoile GE-Act 2.0, son modèle monde-action natif avec un passage à l'échelle des données x100

Paragraphe 1: AgiBot a présenté GE-Act 2.0, un modèle "world-action" entraîné depuis une initialisation aléatoire sur des données de manipulation robotique, plutôt qu'adapté d'un générateur vidéo préexistant, en entraînant conjointement représentation visuelle, prédiction du futur et prédiction d'action. La société en fait le premier test systématique de la mise à l'échelle des données: le volume d'entraînement passe de 300 à 30 000 heures, sans réglage fin par tâche ni démonstration au moment de l'évaluation. Sur un protocole zéro-shot, avec scènes, éclairages et objets inédits, couvrant 100 tâches élémentaires et environ 20 familles de compétences sur deux robots, le taux de réussite grimpe de 17,1% à 44,1% sur la plateforme G1-OP et de 13,4% à 31,1% sur G2-90D, avec des progrès encore mesurables entre les paliers de 5 000 et 30 000 heures. Le nombre de tâches réussies au moins une fois passe de 39 à 76 sur G1-OP et de 24 à 72 sur G2-90D; des gestes fins comme plier une serviette, empiler des gobelets en papier, reposer un capuchon de stylo ou arranger des fleurs dans des scènes inédites n'apparaissent de façon fiable qu'au plus haut palier de données. G2-90D, qui ne représente que 2% des données contre plus de la moitié pour G1-OP, gagne malgré tout 17,7 points grâce au transfert entre robots. Un encodeur CoAE compresse chaque image de 256 par 384 pixels en 24 tokens, un planificateur visuel prédit un segment de futur et un modèle de dynamique inverse le traduit en actions, pour un temps de cycle d'environ 104 millisecondes sur une RTX 5090. Après réglage fin, AgiBot revendique 60,52% sur les tests hors distribution de RoboTwin et 0,770 sur le suivi d'instructions de GenieSim, devant plusieurs modèles comparés; les documents sont publiés sur ge-act-v2.github.io. Paragraphe 2: Ces résultats visent le débat sur la généralisation des modèles VLA (vision-language-action) et l'écart entre démonstration et déploiement réel: une architecture native, plutôt qu'un empilement de modules pré-entraînés séparément, passerait mieux à l'échelle des données. Pour les intégrateurs et décideurs industriels, l'enjeu est la robustesse hors distribution, qui réduit le coût de reconfiguration site par site, frein majeur à l'adoption des humanoïdes en usine ou en logistique. L'apparition tardive des compétences fines suggère que la course entre AgiBot, Figure, 1X ou Physical Intelligence se joue autant sur le volume et la diversité des données de téléopération que sur l'architecture du modèle. Le transfert observé entre G1-OP et G2-90D appuie l'idée qu'un apprentissage partagé entre robots différents peut compenser la rareté de données propre à chaque plateforme. Ces chiffres restent toutefois auto-publiés par AgiBot, sans validation indépendante ni comparaison en conditions réelles avec des modèles concurrents comme GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure. Paragraphe 3: GE-Act 2.0 s'inscrit dans la pile logicielle GE d'AgiBot, où GE-Sim gère l'évaluation de politiques et la construction d'environnements simulés, tandis que GE-Act convertit les futurs prédits en mouvements robotiques. La société chinoise, déjà connue pour ses humanoïdes commerciaux et ses jeux de données de téléopération à grande échelle, présente cette publication comme une étape de recherche plutôt qu'un produit livré: les documents techniques sont diffusés sur une simple page de projet, sans partenaire industriel, site pilote ni calendrier de commercialisation annoncés pour ce modèle précis. La comparaison revendiquée face à RoboTwin et GenieSim, deux bancs d'essai utilisés par les laboratoires chinois et occidentaux, vise à positionner AgiBot dans une compétition où les vidéos soigneusement sélectionnées restent souvent difficiles à distinguer d'une capacité réellement généralisable en production.

À l'intérieur de XRZero-G0, un nouveau jeu de données ouvert de 2 000 heures pour la recherche en robotique

X Square Robot a mis en open source XRZero-G0, un système de collecte de données robotiques combinant un casque VR PICO 4 à tracking spatial inside-out, une caméra frontale et deux caméras poignet, ainsi qu'une paire de grippers physiques duals, un gripper en H à actionnement par pression et un gripper en G à entraînement digital. Le dispositif assure une estimation de pose 6-DOF à précision millimétrique et intègre un parsing spatiotemporel embarqué pour synchroniser flux visuels, données de trajectoire et annotations langagières. En parallèle, la société publie le G0-Dataset : 2 000 heures de démonstrations humaines multimodales, disponibles sur HuggingFace avec le code source sur GitHub. Sous conditions expérimentales contrôlées, X Square Robot annonce une réduction des besoins en données réelles pouvant atteindre un facteur 20x : environ 10 épisodes collectés sans robot, combinés à un seul épisode sur robot réel, suffiraient à égaler les performances d'un entraînement purement issu de données robotiques. L'enjeu est direct pour les équipes qui développent des politiques de manipulation dextre : le goulot d'étranglement de l'embodied AI n'est pas le compute, c'est la donnée de qualité à grande échelle. XRZero-G0 formalise ce que le secteur cherche depuis plusieurs années, une pipeline fermée "collecte-inspection-entraînement-évaluation" qui filtre automatiquement les trajectoires invalides via cinématique inverse corps entier avec contraintes de collision et de limites articulaires, et valide par rejeu réel sur robot avant d'intégrer les épisodes à l'entraînement. Si les chiffres de réduction 20x se confirment sur des tâches variées hors conditions de labo, cela change structurellement l'économie de déploiement des VLA (Vision-Language-Action models) : les industriels pourraient composer leurs datasets sans immobiliser de flotte robotique pendant des semaines. Le transfert cross-embodiment revendiqué, démontration humaine transférable à des plateformes non vues à l'entraînement, reste la promesse la plus forte, et la plus à vérifier indépendamment. X Square Robot s'inscrit dans un mouvement plus large de standardisation de la collecte de données robotiques, aux côtés d'initiatives comme Open-X Embodiment (Google DeepMind, 2023), DROID (Berkeley, 2024) ou les efforts de Physical Intelligence autour de pi0. Le positionnement open source du G0-Dataset rappelle la stratégie d'Hugging Face avec LeRobot, visant à créer une infrastructure commune de benchmarking. Aucun concurrent européen direct n'est impliqué ici, bien qu'Enchanted Tools et Wandercraft opèrent sur des segments adjacents (interaction et mobilité bipède) qui pourraient bénéficier de telles ressources de préentraînement. Les prochaines étapes annoncées incluent l'utilisation du dataset pour du préentraînement à grande échelle et des expériences de transfert cross-embodiment, sans timeline commerciale précisée, ce projet reste pour l'instant dans le périmètre recherche.