IA physiquePandaily 11 août 2026

Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs de l'Université technologique de Nanyang (NTU), de l'Université de Pékin, de HKUST Guangzhou et du Beijing Academy of Artificial Intelligence (BAAI) ont publié Omega-0, un modèle d'action corps entier pour robots humanoïdes. Sur 11 tâches domestiques réelles, il atteint 81,8% de réussite, devançant pi-0.5, EgoVLA, GR00T-N1.7 et psi-0. Plutôt que de prédire les pixels futurs, Omega-0 prédit des caractéristiques visuelles latentes, à partir desquelles un transformeur de diffusion génère les actions du corps entier. L'entraînement suit trois étapes: un modèle vision-langage-action pré-entraîné via un tokenizer "Whole-Body FAST" qui affine Qwen3-VL-2B-Instruct avec des tokens de point de vue première et troisième personne, un pré-entraînement latent humain-robot inspiré de V-JEPA fusionnant vision, langage et proprioception, puis un affinage sur données domestiques réelles avec chunking temps réel pour la continuité des gestes. L'équipe a bâti pour cela Omega-HOME: 40,3 heures de données réelles, 4827 trajectoires téléopérées et 24 types de tâches, dont la prise d'objets, le nettoyage de surfaces et l'usage d'appareils électroménagers.

Le résultat pèse moins que la méthodologie: pour éviter toute contamination, l'équipe a retiré les 11 tâches d'évaluation du jeu de pré-entraînement Omega-HOME, un souci de rigueur rare dans un secteur où les vidéos de démonstration sont souvent sélectionnées après coup. Pour les intégrateurs et décideurs industriels, Omega-0 illustre une approche qui couple prédiction de l'environnement futur et génération d'action corps entier dans un seul modèle, plutôt que de traiter perception, navigation et manipulation comme des sous-systèmes séparés. Le domicile reste la cible la plus difficile pour un humanoïde: il exige une perception continue combinée à une coordination motrice globale, contrairement à l'usine où tâches et environnement sont contrôlés. Un score de 81,8% sur tâches réelles, non simulées, réduit l'écart entre démonstration scénarisée et exécution robuste, sans le combler: les auteurs reconnaissent eux-mêmes que l'autonomie longue durée, l'interaction sécurisée et la généralisation à de nouvelles tâches restent non résolues.

Le nom minimaliste du modèle suggère qu'Omega-0 est le premier d'une série, dans la lignée des modèles vision-langage-action qui structurent la recherche humanoïde depuis pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI. Omega-0 se mesure directement à ces références ainsi qu'à EgoVLA et psi-0, avec un protocole pensé pour limiter les biais de benchmark répandus dans le secteur. Aucun calendrier de commercialisation, de partenariat industriel ou de déploiement pilote n'est communiqué à ce stade: il s'agit d'une publication de recherche académique, pas d'un produit livré ni d'un déploiement réel à grande échelle. Les suites attendues portent vraisemblablement sur l'extension du jeu de données Omega-HOME au-delà de la sphère domestique et sur la validation de l'architecture latente sur d'autres plateformes robotiques, alors que la course humanoïde oppose désormais un nombre croissant de laboratoires universitaires chinois aux groupes commerciaux occidentaux.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1Interesting Engineering

MIT dévoile un modèle qui réduit les délais de réaction de 30 fois pour des mouvements robotiques plus rapides

Des chercheurs du MIT ont développé une nouvelle méthode baptisée VLASH, qui permet aux robots pilotés par des modèles vision-langage-action (VLA) de planifier leur prochaine séquence de mouvements pendant qu'ils exécutent encore la précédente, en anticipant leur position future plutôt qu'en attendant la fin du geste en cours pour ré-observer l'environnement. Cette seule modification réduit le délai de réaction de plus de 30 fois en supprimant la pause habituelle entre deux blocs d'actions. Une technique complémentaire, la quantification d'action, regroupe des mouvements suivant une même trajectoire en blocs plus larges ; elle réduit légèrement la précision mais accélère l'exécution des tâches de deux à trois fois. L'équipe a aussi conçu une méthode d'augmentation des données d'entraînement qui réorganise les données existantes pour diviser par cinq le temps d'entraînement, sans surcoût de calcul. En simulation, VLASH produit systématiquement des mouvements plus rapides sans perte de précision de manœuvre. Sur robots physiques, les gains se confirment sur des tâches de prise-dépose, d'empilement et de tri : dans une démonstration, un robot triant des cubes colorés a été deux fois plus rapide que les systèmes de référence, avec 90% de précision, un score équivalent à la meilleure méthode conventionnelle testée. Le système gère aussi des activités très dynamiques comme le tennis de table ou le Whack-a-Mole. Cette avancée cible un goulot d'étranglement connu du déploiement des VLA, de plus en plus utilisés comme "cerveau" des robots pour interpréter leur environnement et générer des actions physiques : le coût de calcul de l'inférence introduit des délais qui rendent les robots lents et saccadés face aux changements de leur environnement, un frein concret pour les intégrateurs visant des environnements dynamiques. Doubler la vitesse d'exécution sans matériel supplémentaire ni entraînement plus long change la donne économique. C'est un signal utile pour la course actuelle aux VLA généralistes (Pi-0, GR00T N2, Helix, ou les modèles embarqués dans des humanoïdes comme Figure 03 ou Optimus) : la latence d'inférence reste un frein réel à la fluidité mise en avant dans les vidéos de démonstration, et des optimisations logicielles comme celle-ci pourraient compter autant que la taille des modèles. Les chercheurs évoquent aussi des applications en recherche et sauvetage, où la réactivité aux changements est critique. Le travail s'inscrit dans les recherches du MIT sur l'intégration des VLA en robotique physique, un domaine où les grands laboratoires (Physical Intelligence, NVIDIA, Figure AI, Tesla) misent surtout sur des modèles plus lourds pour gérer perception et planification. VLASH prend l'angle inverse : restructurer le cycle observation-planification-exécution plutôt que changer le modèle. Aucun acteur français ou européen n'est cité dans ces travaux, qui restent à ce stade un résultat académique validé en simulation et sur quelques démonstrations en laboratoire, sans partenariat industriel ni calendrier commercial annoncés. La prochaine étape pour l'équipe consiste à combiner VLASH avec des modèles de monde génératifs capables de prédire l'évolution de l'environnement, et non plus seulement l'état futur du robot.

IA physiqueActu

1 source

2arXiv cs.RO

Qwen-VLA : un modèle vision-langage-action (VLA) unifié pour les tâches, environnements et morphologies de robots

Qwen-VLA, présenté en préprint arXiv par l'équipe Qwen d'Alibaba (arXiv:2605.30280, mai 2026), est un modèle de fondation incarné qui unifie dans un seul système la manipulation robotique, la navigation vision-et-langage et la prédiction de trajectoires. L'architecture étend la pile vision-langage de Qwen par un décodeur d'action basé sur un Diffusion Transformer (DiT), permettant de générer des actions continues en plus du raisonnement perceptif. L'entraînement joint combine trajectoires de manipulation réelles, démonstrations égocentrées humaines, données de simulation synthétique et jeux de données de navigation. Sur les benchmarks publiés, Qwen-VLA-Instruct atteint 97,9 % sur LIBERO, 86,1 %/87,2 % sur RoboTwin-Easy/Hard, 73,7 % sur Simpler-WidowX, et 69,0 % de taux de succès d'objectif sur R2R en navigation. En conditions réelles sur plateforme ALOHA, le modèle affiche 76,9 % de succès moyen hors-distribution (OOD) et 26,6 % en zéro-shot sur DOMINO, une tâche de manipulation dynamique. La contribution principale est le "embodiment-aware prompt conditioning" : des descriptions textuelles propres à chaque robot spécifient morphologie et conventions de contrôle, permettant théoriquement à un seul jeu de poids de s'adapter à plusieurs plateformes sans réentraînement dédié. Pour les intégrateurs et les COO industriels, c'est directement le problème du cross-embodiment qui freine les déploiements à l'échelle. Les scores OOD sont pertinents mais méritent d'être nuancés : ils portent sur des environnements de laboratoire, et les 76,9 % sur ALOHA concernent une plateforme à deux bras en contexte contrôlé, pas un robot industriel en conditions de production. La sélection des séquences de démonstration dans les preprints arXiv est notoirement favorable aux cas réussis. Qwen-VLA s'inscrit dans la course aux VLA généralistes, aux côtés de pi-0 de Physical Intelligence (spécialisé manipulation, 400 M$ levés), GR00T N2 de NVIDIA (cross-embodiment annoncé en 2025) et OpenVLA d'UC Berkeley. Son décodeur DiT le rapproche des approches diffusion-based de pi-0, par opposition aux méthodes token-based. Qwen étant déjà un modèle ouvert d'Alibaba largement adopté dans des stacks vision-langage, son extension à l'action physique offre aux équipes de recherche et d'intégration un point d'entrée solide pour le fine-tuning multi-tâche multi-robot. Aucun déploiement commercial n'est annoncé à ce stade : c'est un travail de recherche, pas un produit lancé.

UELes équipes de recherche et d'intégration robotique européennes peuvent exploiter ce modèle ouvert Alibaba pour du fine-tuning multi-robot multi-tâche, mais aucun partenariat ni déploiement européen n'est annoncé.

IA physiqueOpinion

1 source

3Pandaily

AgiBot dévoile GE-Act 2.0, son modèle monde-action natif avec un passage à l'échelle des données x100

Paragraphe 1: AgiBot a présenté GE-Act 2.0, un modèle "world-action" entraîné depuis une initialisation aléatoire sur des données de manipulation robotique, plutôt qu'adapté d'un générateur vidéo préexistant, en entraînant conjointement représentation visuelle, prédiction du futur et prédiction d'action. La société en fait le premier test systématique de la mise à l'échelle des données: le volume d'entraînement passe de 300 à 30 000 heures, sans réglage fin par tâche ni démonstration au moment de l'évaluation. Sur un protocole zéro-shot, avec scènes, éclairages et objets inédits, couvrant 100 tâches élémentaires et environ 20 familles de compétences sur deux robots, le taux de réussite grimpe de 17,1% à 44,1% sur la plateforme G1-OP et de 13,4% à 31,1% sur G2-90D, avec des progrès encore mesurables entre les paliers de 5 000 et 30 000 heures. Le nombre de tâches réussies au moins une fois passe de 39 à 76 sur G1-OP et de 24 à 72 sur G2-90D; des gestes fins comme plier une serviette, empiler des gobelets en papier, reposer un capuchon de stylo ou arranger des fleurs dans des scènes inédites n'apparaissent de façon fiable qu'au plus haut palier de données. G2-90D, qui ne représente que 2% des données contre plus de la moitié pour G1-OP, gagne malgré tout 17,7 points grâce au transfert entre robots. Un encodeur CoAE compresse chaque image de 256 par 384 pixels en 24 tokens, un planificateur visuel prédit un segment de futur et un modèle de dynamique inverse le traduit en actions, pour un temps de cycle d'environ 104 millisecondes sur une RTX 5090. Après réglage fin, AgiBot revendique 60,52% sur les tests hors distribution de RoboTwin et 0,770 sur le suivi d'instructions de GenieSim, devant plusieurs modèles comparés; les documents sont publiés sur ge-act-v2.github.io. Paragraphe 2: Ces résultats visent le débat sur la généralisation des modèles VLA (vision-language-action) et l'écart entre démonstration et déploiement réel: une architecture native, plutôt qu'un empilement de modules pré-entraînés séparément, passerait mieux à l'échelle des données. Pour les intégrateurs et décideurs industriels, l'enjeu est la robustesse hors distribution, qui réduit le coût de reconfiguration site par site, frein majeur à l'adoption des humanoïdes en usine ou en logistique. L'apparition tardive des compétences fines suggère que la course entre AgiBot, Figure, 1X ou Physical Intelligence se joue autant sur le volume et la diversité des données de téléopération que sur l'architecture du modèle. Le transfert observé entre G1-OP et G2-90D appuie l'idée qu'un apprentissage partagé entre robots différents peut compenser la rareté de données propre à chaque plateforme. Ces chiffres restent toutefois auto-publiés par AgiBot, sans validation indépendante ni comparaison en conditions réelles avec des modèles concurrents comme GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure. Paragraphe 3: GE-Act 2.0 s'inscrit dans la pile logicielle GE d'AgiBot, où GE-Sim gère l'évaluation de politiques et la construction d'environnements simulés, tandis que GE-Act convertit les futurs prédits en mouvements robotiques. La société chinoise, déjà connue pour ses humanoïdes commerciaux et ses jeux de données de téléopération à grande échelle, présente cette publication comme une étape de recherche plutôt qu'un produit livré: les documents techniques sont diffusés sur une simple page de projet, sans partenaire industriel, site pilote ni calendrier de commercialisation annoncés pour ce modèle précis. La comparaison revendiquée face à RoboTwin et GenieSim, deux bancs d'essai utilisés par les laboratoires chinois et occidentaux, vise à positionner AgiBot dans une compétition où les vidéos soigneusement sélectionnées restent souvent difficiles à distinguer d'une capacité réellement généralisable en production.

IA physiqueOpinion

1 source

4Pandaily

Amap met en open source Lambda-0, un modèle humanoïde corps entier entraîné uniquement sur des données humaines à la première personne

Amap, la filiale de cartographie et de localisation d'Alibaba Group, a publié en open source Lambda-0, un modèle de fondation « whole-body » pour robots humanoïdes entraîné uniquement sur des données humaines en vue subjective. Le travail a été mené avec le groupe d'activités ATH d'Alibaba. Le code est disponible sur GitHub sous licence Apache 2.0, accompagné d'un papier sur arXiv. L'équipe a collecté 500 heures de données humaines en environnement ouvert, réunies dans le jeu HumanVerse-500, qui aligne vision, mouvements du corps et actions des mains. Les opérateurs portent des appareils grand public et enregistrent leurs déplacements dans des lieux quotidiens, sans robot. Pour une tâche représentative, une démonstration prend environ 29 secondes à collecter, contre environ 100 secondes avec un robot physique, soit un gain d'efficacité d'environ 3,4 fois. L'entraînement se fait en trois étapes (interaction manuelle, coordination du corps entier, puis adaptation à l'embodiment humanoïde). Il s'appuie sur une mise en correspondance des points de vue et sur un alignement d'actions « du grossier au fin », destinés à compenser les écarts morphologiques entre humain et robot. Selon le papier, Lambda-0 obtient environ 90 % sur le benchmark de simulation SIMPLE. Sur sept tâches de manipulation mobile à corps entier et à long horizon, il est transféré en zero-shot sur un Unitree G1 avec des données humaines seules, pour un taux de réussite réel de 62,5 %, soit 22,5 points de plus que la meilleure référence. L'enjeu est le coût de la donnée, aujourd'hui principal goulot d'étranglement des modèles vision-langage-action (VLA) pour humanoïdes. La téléopération de robots réels est chère et lente à passer à l'échelle. Si des humains équipés de capteurs légers peuvent produire des démonstrations 3,4 fois plus vite, et que ces données se transfèrent à une machine sans démonstration robotique, l'économie de l'apprentissage change nettement. Le point le plus intéressant est que, à démonstrations robot constantes, ajouter des données humaines corps entier continue d'améliorer les performances réelles. C'est un signal en faveur d'une loi d'échelle côté données humaines, y compris pour la locomotion et la posture, alors que la plupart des VLA en vue subjective se concentrent sur les mains et les bras. Il faut toutefois rester prudent. Les chiffres viennent du papier de l'équipe et n'ont pas été reproduits de façon indépendante. Un taux de 62,5 % sur sept tâches reste loin d'une fiabilité industrielle. Le gain de 3,4 fois porte sur une seule tâche choisie comme représentative. L'écart entre benchmark de simulation et déploiement réel demeure donc entier. Pour les intégrateurs, il s'agit pour l'instant d'une brique de recherche réutilisable, pas d'un produit livrable. Ce lancement prolonge les travaux récents d'Amap sur les modèles du monde appliqués aux villes en 3D, auxquels il ajoute un volet incarné, après la sortie d'ABot-Earth 0.7. Il s'inscrit dans une tendance plus large. Plusieurs laboratoires chinois et américains cherchent à remplacer la téléopération par de la donnée humaine, à l'image de projets comme HIL-UMI, de l'Université de Pékin et PrimeBot. Face à eux, des acteurs comme Figure (Helix), Physical Intelligence (Pi-0) ou NVIDIA (GR00T) misent surtout sur des corpus robotiques propriétaires et de la simulation. La publication sous Apache 2.0 permet à d'autres équipes de tester l'approche sur d'autres plateformes que le G1 d'Unitree. Aucun pilote commercial ni calendrier de déploiement n'est annoncé, et la suite dépendra de la reproduction des résultats et de leur validation sur des tâches plus longues et plus variées.

UEPas d\'impact direct sur la France/UE

IA physiqueActu

1 source