IA physiquearXiv cs.RO 17 juin 2026

Rapport technique Qwen-RobotManip : l'alignement permet le passage à l'échelle des modèles fondation pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE Pourquoi ça compte

L'équipe Qwen d'Alibaba a publié le 22 juin 2026 un rapport technique décrivant Qwen-RobotManip, un modèle fondation Vision-Langage-Action (VLA) conçu pour la manipulation robotique généraliste. Construit sur l'architecture Qwen-VL, le modèle introduit un cadre d'alignement unifié couvrant trois dimensions : la représentation sensorielle, le mouvement, et le comportement. Son corpus d'entraînement atteint environ 38 100 heures de données, constitué exclusivement de jeux de données open source et de vidéos en vue subjective des mains humaines, sans aucune collecte propriétaire. Un pipeline de synthèse convertit ces démonstrations égocentrées en trajectoires robot compatibles avec 15 plateformes matérielles différentes, dont AgileX ALOHA, Franka, UR et ARX. Évalué sur six benchmarks out-of-distribution (RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, RoboTwin-XE), Qwen-RobotManip surpasse les modèles précédents sur l'ensemble des configurations et remporte la première place du RoboChallenge avec une amélioration relative de 20 % par rapport à l'état de l'art antérieur.

Ce résultat est significatif parce qu'il répond directement à une question centrale du secteur : peut-on appliquer aux données de manipulation robotique la même recette de scaling qui a propulsé les grands modèles de langage ? Jusqu'ici, la réponse restait négative, en raison de l'hétérogénéité structurelle des données de manipulation (formats, espaces d'action, embodiments incompatibles), qui rendait l'entraînement multi-sources incohérent plutôt que synergique. Qwen-RobotManip avance que l'alignement préalable des données résout ce problème, permettant l'absorption à grande échelle sans dégradation. Les capacités émergentes documentées (suivi d'instructions zero-shot, récupération d'erreurs réactive, transfert cross-embodiment) constituent, si elles se confirment en conditions industrielles réelles, un changement de paradigme pour les intégrateurs : moins de fine-tuning spécifique par robot, généralisation à de nouvelles tâches sans redéploiement complet du pipeline. Il convient toutefois de noter que les résultats reposent sur des benchmarks académiques et des validations en laboratoire réel ; aucun déploiement industriel n'est encore documenté, et l'écart sim-to-real reste une inconnue à l'échelle.

Qwen-RobotManip s'inscrit dans une course serrée autour des VLA pour la manipulation, où Physical Intelligence (pi0 et pi0.5), Google DeepMind (RT-2, pi-0), et Hugging Face (LeRobot) occupent déjà des positions fortes. Le modèle de Qwen se distingue en revendiquant la performance la plus élevée sur les benchmarks OOD publiés à ce jour, et surtout en n'utilisant aucune donnée propriétaire, ce qui ouvre théoriquement la voie à une adoption plus large. La publication est un preprint arXiv (arXiv:2506.17846v1), pas encore soumis à peer review, et aucune date de disponibilité du modèle ni annonce de pilote industriel n'accompagne ce rapport. Les prochaines étapes probables incluent une intégration dans l'écosystème Hugging Face ou ModelScope et des évaluations indépendantes en conditions réelles.

💬 Le point de vue du dev

L'obstacle au scaling en robotique, c'était pas le manque de données, c'était leur incohérence structurelle. Qwen le prouve ici : aligner avant de scaler, et les benchmarks OOD s'envolent de 20%. Bon, c'est encore du labo et je ne vois aucun déploiement industriel documenté, mais avec zéro donnée propriétaire dans le corpus, les intégrateurs sur Franka ou UR ont une vraie porte d'entrée.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique

À lire aussi

1arXiv cs.RO

RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D

RynnVLA-Latent est un cadre de pré-entraînement de politiques robotiques de type VLA (vision-langage-action) qui contourne la rareté des démonstrations annotées en actions. Son noyau, RynnLAM, apprend des « actions latentes » continues et ancrées en 3D à partir de simples transitions visuelles, sans exiger les commandes natives d'un robot. Il combine trois ingrédients: la prédiction résiduelle de caractéristiques futures, une supervision par flux 3D compensé du mouvement de caméra, et un découplage explicite du mouvement de caméra. Appliqué à 30,1 K heures de vidéos humaines, robotiques et simulées, RynnLAM produit 745,52 millions de descripteurs d'actions latentes. Le modèle RynnVLA-Latent, de 4 milliards de paramètres, apprend ensuite à prédire des blocs d'actions latentes à partir des observations et du langage par flow matching, puis adapte son backbone et son « action expert » aux actions propres à chaque robot. Les auteurs rapportent 98,8 % de réussite sur LIBERO, 84,7 % sur LIBERO-Plus sans adaptation spécifique au benchmark, 51,9 % en moyenne sur cinq pistes de VLABench et 88,6 % sur le benchmark bimanuel RoboTwin 2.0. Sur six tâches réelles, avec mains dextres et manipulateurs mobiles à pince, il obtient les meilleurs taux parmi les méthodes comparées. L'enjeu est le goulot d'étranglement de la donnée. Les VLA se heurtent à deux limites: le faible volume de téléopération annotée, et l'incompatibilité des espaces de contrôle d'une morphologie à l'autre. Extraire une supervision utilisable de vidéos hétérogènes, dont des vidéos humaines abondantes, indique une voie d'extension qui ne dépend plus de la collecte robotique native. Pour un intégrateur, cela laisse entrevoir une réutilisation de corpus existants et un transfert plus simple entre plateformes. Il faut toutefois rester prudent: LIBERO est proche de la saturation à 98,8 %, ce qui le rend peu discriminant, et les benchmarks simulés ne mesurent pas la fiabilité en production. Les six tâches réelles sont peu nombreuses, la comparaison se limite aux méthodes choisies par les auteurs, et les taux de succès bruts ne disent rien des temps de cycle, de la robustesse sur la durée ni de la reprise sur erreur. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ces travaux s'inscrivent dans la lignée des modèles d'actions latentes appris sans étiquettes d'action, comme LAPA ou la famille Genie, et face aux VLA généralistes tels que Pi-0, OpenVLA ou GR00T, qui reposent encore surtout sur des données annotées avec actions. La spécificité ici tient à l'ancrage 3D et à la compensation du mouvement de caméra, censés isoler le mouvement pertinent pour le contrôle plutôt que les simples changements d'apparence. Le préfixe Rynn évoque la famille RynnVLA, dont les antécédents ne sont pas détaillés dans le résumé. La suite logique serait une validation sur davantage de tâches réelles, des tests inter-morphologies plus larges et des courbes de passage à l'échelle publiées. Aucun calendrier de pilote ni partenaire industriel n'est mentionné.

IA physiquePaper

1 source

2arXiv cs.RO

MIND-V : modèle du monde hiérarchique pour la manipulation robotique à long horizon avec alignement physique par RL

Des chercheurs ont publié MIND-V, un modèle de monde hiérarchique conçu pour générer automatiquement des vidéos d'entraînement de manipulation robotique à long horizon, problème resté en grande partie non résolu jusqu'ici. L'architecture s'articule autour de trois modules : un Semantic Reasoning Hub (SRH) qui s'appuie sur un vision-language model pré-entraîné pour la planification de tâches, un Behavioral Semantic Bridge (BSB) qui traduit ces instructions abstraites en représentations invariantes au domaine, et un Motor Video Generator (MVG) chargé du rendu vidéo conditionnel. Pour garantir la cohérence physique des séquences générées, les auteurs ont introduit une phase de post-entraînement par reinforcement learning GRPO pilotée par une récompense inédite, la Physical Foresight Coherence (PFC), qui mobilise V-JEPA2 (le modèle de monde de Meta) comme arbitre de physique dans l'espace latent. Les expériences en simulation montrent des résultats état de l'art sur les benchmarks long-horizon, selon les auteurs. Le problème central que MIND-V adresse est la pénurie de données diversifiées pour l'intelligence incarnée : entraîner des politiques de manipulation requiert des milliers d'épisodes réussis sur des tâches enchaînées, données coûteuses à collecter en réel et difficiles à simuler de façon convaincante. L'approche est entièrement autonome, sans trajectoires définies manuellement, ce qui la distingue des générateurs de vidéos robotiques antérieurs limités à des clips courts et des gestes simples. La valeur opérationnelle est directe pour les équipes qui développent des VLA (Vision-Language-Action models) : des pipelines de synthèse de données à grande échelle pourraient réduire significativement la dépendance aux démonstrations téléopérées, principal goulot d'étranglement des robots comme Figure 03, Optimus ou 1X NEO. Ce travail s'inscrit dans une vague de recherche sur les world models pour la robotique, aux côtés de Dreamer, GAIA-1 adapté au robot, et du propre V-JEPA2 de Meta qu'il intègre comme brique de validation physique. L'article, initialement soumis en décembre 2024 (arXiv:2512.06628) et mis à jour en juin 2026, reste à ce stade un résultat en simulation uniquement : aucun déploiement physique ni intégration industrielle n'est mentionné, et le franchissement du sim-to-real gap reste à démontrer sur hardware réel.

IA physiqueOpinion

1 source

3NVIDIA Developer Blog

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Un courant de recherche en robotique met en avant les « World Action Models » (WAM) comme prolongement des modèles Vision-Language-Action (VLA) utilisés pour la manipulation. Le problème central est la généralisation : une politique entraînée par démonstrations réussit dans la scène d'apprentissage mais échoue dès que la forme des objets, leur position ou l'éclairage changent. Généraliser exige que le modèle comprenne la physique sous-jacente de la tâche plutôt que d'imiter les démonstrations, une capacité qui proviendrait du backbone, l'architecture de base du modèle d'action. Cette reformulation compte pour les intégrateurs et décideurs B2B car elle interroge l'approche dominante depuis deux ans, fondée sur le clonage de comportement à partir de larges jeux de démonstrations. Si la généralisation réelle suppose une compréhension physique plutôt qu'une simple imitation, les architectures purement VLA risquent de buter sur le même écart entre démonstration et déploiement réel déjà observé sur le terrain. Pour un secteur qui vise à industrialiser la manipulation au-delà de scénarios scriptés, cette piste remet en cause l'hypothèse selon laquelle accumuler données et paramètres suffit à résoudre le passage de la simulation au réel. Les VLA se sont imposés ces dernières années comme paradigme dominant pour piloter bras robotisés et humanoïdes, avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Les World Action Models s'inscrivent en complément ou en alternative, en cherchant à doter les politiques d'un modèle du monde capable d'anticiper les conséquences physiques d'une action avant son exécution. Le contenu disponible ne mentionne ni déploiement, ni pilote industriel, ni calendrier précis, ce qui situe pour l'instant cette approche du côté de la recherche plutôt que du produit livré.

IA physiqueOpinion

1 source

4arXiv cs.RO

FLORA : une suite de modèles ouverts pour le passage à l'échelle des moteurs de données en robotique

Une équipe de recherche, dont les travaux alimentent l'entraînement des modèles fondation GR00T, publie sur arXiv Flora, une suite de modèles ouverts qui sert de moteur d'annotation pour les données robotiques. Un même système produit trois types de labels. Il génère des récompenses de résultat (la tâche a-t-elle réussi ?) pour surveiller les déploiements réels. Il produit des récompenses de processus pour le post-entraînement par apprentissage par renforcement. Il fournit aussi des légendes horodatées pour filtrer et rééquilibrer les données de pré-entraînement. Les auteurs annoncent des scores à l'état de l'art sur le benchmark de légendage WGO-Bench et sur les benchmarks de récompense RoboReward et Robometer. Sur leurs benchmarks internes, Flora serait comparable à GPT-6 Astra et supérieur aux autres modèles frontière. Le coût serait environ 125 fois inférieur à celui de GPT-6 Astra via API. Côté production, le système étiquette 200 000 heures de données par jour sur 512 GPU GB300, soit environ 390 heures de vidéo par GPU et par jour. Le code et les modèles sont publiés en open source. Le goulot d'étranglement de la robotique par apprentissage se déplace de la collecte vers l'annotation. Les politiques VLA (vision-langage-action) dépendent de données propres, légendées et notées. Faire passer ce travail par des API de modèles propriétaires devient prohibitif quand on traite des centaines de milliers d'heures. Un facteur 125 sur le coût, s'il se confirme hors du laboratoire, rend l'annotation de grands jeux de données accessible à des équipes bien plus petites. Des récompenses de processus fiables sont aussi la condition pour passer du clonage de comportement au RL sur robot réel. Une réserve s'impose toutefois : la comparaison à GPT-6 Astra repose sur des benchmarks internes, non reproductibles à ce stade, et le chiffre de débit vient des auteurs eux-mêmes. L'avantage de coût dépend aussi du matériel de référence retenu. Ce travail s'inscrit dans la course aux modèles généralistes, où GR00T de NVIDIA côtoie Pi-0 de Physical Intelligence et Helix de Figure. Chacun de ces acteurs a besoin de sa propre chaîne d'annotation, souvent restée interne. En ouvrant la sienne, l'équipe de Flora cherche à fédérer la recherche autour de ses outils. Elle cite deux usages émergents : l'auto-recherche physique, où des agents pilotent eux-mêmes des expériences, et le transfert de l'humain vers le robot à partir de vidéos de démonstration. La suite dépendra des reproductions indépendantes et de l'adoption par les laboratoires académiques et les intégrateurs, y compris européens, qui disposent rarement de telles capacités de calcul.

UEDes laboratoires et intégrateurs européens pourraient annoter leurs données robotiques à moindre coût, mais disposent rarement de la puissance de calcul nécessaire.

IA physiqueActu

1 source