IA physiquePandaily 30 juillet 2026

AgiBot WITA-Omni domine le classement mondial DailyOmni, devant Google Gemini, ByteDance Doubao et Alibaba Qwen en compréhension multimodale incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AgiBot a annoncé que son modèle multimodal maison WITA-Omni Preview a obtenu un score de 85,21 sur le classement DailyOmni, se plaçant devant Alibaba Qwen, Google Gemini, ByteDance Doubao et NVIDIA, avec la première place sur six des huit indicateurs évalués. Ce benchmark mesure la capacité à traiter simultanément des signaux audio et visuels en environnement réel : alignement audio-visuel (86,13), raisonnement temporel sur des événements (84,64), raisonnement croisé multimodal (85,06), ainsi que les meilleurs scores sur des tâches de compréhension vidéo de 30 et 60 secondes. Contrairement aux modèles multimodaux généralistes conçus pour l'interaction avec du contenu numérique, WITA-Omni est construit dès l'origine pour l'interaction incarnée, où un robot doit comprendre, répondre et agir dans un environnement physique en temps réel. Son architecture, baptisée Thinker-Talker-Actor, remplace le pipeline séquentiel classique (reconnaissance vocale, compréhension sémantique, génération de réponse, synthèse vocale, puis action) par trois modules exécutés en parallèle sur une même ligne temporelle : Thinker pour le raisonnement multimodal, Talker pour la génération de parole en flux continu, et Actor pour les gestes et expressions faciales. Le module Actor reçoit à la fois l'état sémantique de Thinker et les variables latentes audio de Talker, ce qui synchronise les mouvements du robot avec le rythme, les pauses, l'emphase et le ton émotionnel de la parole.

Cette annonce mérite d'être lue avec prudence : il s'agit d'un score de benchmark communiqué par AgiBot lui-même, sans validation indépendante ni accès public au modèle à ce stade, et la comparaison porte sur des systèmes multimodaux généralistes (Gemini, Doubao, Qwen) plutôt que sur des concurrents directement spécialisés dans l'incarnation robotique. Cela dit, si les chiffres se confirment, l'enjeu dépasse le simple classement technique. La suppression de la latence cumulative du pipeline séquentiel classique et la synchronisation geste-parole-expression touchent directement un problème concret pour les intégrateurs : la crédibilité des interactions humain-robot dans des environnements non contrôlés, au-delà de l'usine. Pour les décideurs B2B du secteur, cela illustre une thèse qu'AgiBot pousse activement : les entreprises d'IA incarnée peuvent surpasser les modèles généralistes adaptés après coup en optimisant directement pour les contraintes du monde réel, plutôt qu'en pariant sur la seule taille ou qualité générale du modèle.

Ce résultat s'inscrit dans une stratégie plus large chez AgiBot, qui avait déjà revendiqué la première place du classement WorldArena avec son modèle du monde Genie Envisioner-Sim 2.0. L'entreprise chinoise, l'un des acteurs majeurs de la course aux robots humanoïdes aux côtés de Figure, Unitree ou Fourier Intelligence, construit ainsi une pile en trois piliers : WITA-Omni pour l'interaction, un modèle du monde pour la compréhension physique, et le matériel robotique pour l'action. Sur ce terrain de l'interaction multimodale synchronisée, encore peu disputé frontalement par les géants généralistes chinois et américains, AgiBot cherche à se positionner comme référence avant que la compétition ne s'intensifie, à mesure que les robots humanoïdes quittent les usines pour des espaces sociaux non structurés où la coordination entre parole et geste devient un critère de différenciation aussi important que la dextérité physique elle-même.

Dans nos dossiers

Unitree AgiBot Fourier Intelligence IA physique & VLA

À lire aussi

1arXiv cs.RO

Pelican-Unified 1.0 : un modèle d'IA incarnée unifié pour la compréhension, le raisonnement, l'imagination et l'action

Une équipe de recherche a publié Pelican-Unified 1.0 (arXiv 2605.15153), un modèle de fondation incarné qui intègre dans un seul checkpoint quatre capacités habituellement confiées à des modules distincts : compréhension visuelle, raisonnement, imagination et génération d'actions robotiques. L'architecture repose sur un unique VLM (Vision-Language Model) qui encode scènes, instructions et historiques d'actions dans un espace sémantique partagé. Ce même VLM génère en un seul forward pass des chaînes de pensée orientées tâche, projetées dans une variable latente dense. Un module baptisé Unified Future Generator (UFG) conditionne ensuite sur cette latente pour produire simultanément vidéos futures et séquences d'actions via deux têtes de sortie dans le même processus de débruitage (denoising). Les performances annoncées : 64,7 sur huit benchmarks VLM standards (meilleur parmi les modèles de taille comparable), 66,03 sur WorldArena (premier rang) et 93,5 sur RoboTwin (deuxième meilleure moyenne parmi les méthodes comparées). L'article est déposé en preprint, sans validation par les pairs à ce stade. L'enjeu architectural est direct : les systèmes robotiques avancés actuels reposent quasi universellement sur des experts spécialisés distincts pour percevoir, raisonner, planifier et exécuter. Ce papier cherche à démontrer qu'un modèle unique, optimisé conjointement sur des pertes de langage, vidéo et action, peut égaler ces spécialistes sans compromis de performance. Si ces résultats se confirment hors simulation, l'impact pour les intégrateurs est double : un seul checkpoint à maintenir et une meilleure généralisation inter-tâches. Le couplage imagination-action dans le même processus de débruitage rappelle l'approche de Physical Intelligence avec Pi-0.5, mais l'intégration du raisonnement textuel dans la même passe constitue un degré d'unification plus poussé. Le score sur RoboTwin reste néanmoins un indicateur sim-to-real à valider en conditions réelles. La course aux modèles VLA (Vision-Language-Action) s'est accélérée en 2024-2025 avec Pi-0 et Pi-0.5 de Physical Intelligence, GR00T N2 de NVIDIA, et les modèles RT-X de Google DeepMind, chacun maintenant des composants partiellement séparés pour la planification et la génération motrice. Pelican-Unified 1.0 se positionne comme une alternative radicalement unifiée, mais reste au stade académique : aucun déploiement, aucun partenariat industriel annoncé, et l'équipe auteure n'est pas identifiée dans le résumé public, ce qui limite l'évaluation de la crédibilité institutionnelle. La revendication de "premier modèle unifié" mérite d'être nuancée, plusieurs architectures combinant déjà compréhension et action. Les prochaines étapes naturelles passent par une validation sur des benchmarks en conditions réelles et une soumission à CoRL ou ICRA.

IA physiqueOpinion

1 source

2TechNode

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

UEImpact indirect sur l'écosystème européen : la suite open-source d'Alibaba accentue la pression concurrentielle sur les initiatives VLA portées par des acteurs à ancrage européen comme Hugging Face (LeRobot), sans déploiement physique documenté en Europe à ce stade.

IA physiqueOpinion

1 source

3arXiv cs.RO

OmniVLA-RL : modèle vision-langage-action avec compréhension spatiale et apprentissage par renforcement en ligne

OmniVLA-RL, une nouvelle architecture Vision-Language-Action (VLA), est présentée dans un préprint arXiv (référence 2604.17706) dont les affiliations institutionnelles ne sont pas précisées dans la version disponible. Le modèle repose sur un design Mix-of-Transformers (MoT) qui orchestre trois experts spécialisés : raisonnement général, compréhension spatiale, et génération d'action motrice. Les auteurs introduisent également Flow-GSPO, une méthode qui reformule le flow matching comme un processus d'équations différentielles stochastiques (SDE), couplé à un algorithme d'optimisation de politique segmentée par groupes (GSPO). Les évaluations sont conduites sur les benchmarks LIBERO et LIBERO-Plus, deux suites de référence pour la manipulation robotique en simulation, sur lesquelles OmniVLA-RL affiche des performances annoncées supérieures aux méthodes actuellement considérées comme état de l'art. La contribution adresse trois failles structurelles bien documentées dans la littérature VLA : la perception spatiale imprécise, la fusion multimodale sous-optimale, et l'instabilité de l'entraînement par renforcement en ligne sur des espaces d'action continus. En séparant explicitement raisonnement, spatialisation et planification motrice dans des sous-réseaux distincts, OmniVLA-RL évite la dilution de ces capacités dans un unique transformer généraliste, une critique récurrente faite aux VLA de première génération. Flow-GSPO propose un cadre mathématique plus rigoureux pour stabiliser le RL, un enjeu central dans la course au sim-to-real. Pour les intégrateurs et décideurs industriels, ce type d'avancée a un intérêt indirect mais réel : si la robustesse à l'entraînement en ligne s'améliore, le coût de généralisation des bras manipulateurs à de nouvelles tâches sans retraining complet pourrait baisser significativement. Les VLA sont aujourd'hui au centre d'une compétition intense entre groupes académiques et industriels. Physical Intelligence pousse Pi-0 et Pi-0.5 vers la manipulation dextre ; Google DeepMind fait progresser RT-2 et ses dérivés ; du côté des systèmes embarqués dans des humanoïdes, Figure (Figure 03), Tesla (Optimus Gen 3) et 1X intègrent des architectures comparables. OmniVLA-RL se positionne sur le segment recherche fondamentale, avec des résultats limités à la simulation et aucune démonstration sur robot physique annoncée à ce stade. L'évaluation exclusive sur LIBERO ne permet pas de conclure sur les performances en conditions réelles, et le gap sim-to-real reste entier. La prochaine étape naturelle serait une validation sur plateformes physiques, dans des environnements de manipulation non structurés, pour confirmer si les gains observés en simulation tiennent effectivement sur le terrain.

IA physiqueActu

1 source

4Pandaily

Dexmal lance MaaS incarné et DexOS, résolvant le passage à l'échelle des modèles en conditions réelles

Dexmal, anciennement connue sous le nom de Yuanli Lingji, a dévoilé lors de sa première conférence développeurs Action une suite complète de produits d'IA incarnée destinée à répondre au problème structurel de la mise à l'échelle des modèles fondationnels sur du matériel robotique hétérogène. Au centre de l'annonce, le modèle DM0.5 voit ses paramètres doubler pour atteindre 4 milliards, entraîné sur 150 000 heures de données dont 50 000 heures issues de robots réels avec annotation 3D au millimètre près des points clés de la main, complétées par 100 000 heures d'enregistrements d'opérations humaines à la première personne. Trois choix d'architecture distinguent ce modèle : une mémoire native supportant jusqu'à 60 secondes de contexte via une couche d'abstraction intégrée au pré-entraînement, un système de raisonnement à deux niveaux qui sépare la planification des tâches de la génération de mouvement avec un entraînement contrefactuel censé garantir une réelle compréhension des instructions, et un alignement des actions par programmation dynamique contrainte pour normaliser des trajectoires exécutées à des vitesses différentes. Autour de ce modèle, Dexmal lance DexOS, présenté comme l'équivalent d'un système d'exploitation standardisé pour la robotique avec un protocole ouvert baptisé ECP, permettant aux développeurs d'intégrer leur modèle une seule fois puis de le déployer sur plusieurs plateformes matérielles. La plateforme DexDev regroupe DFOL 2.0, un système d'apprentissage par renforcement basé sur un modèle du monde (DW0.5) qui réduirait de 60% le volume de données d'entraînement robotique réel nécessaire et de 40% les coûts associés, ainsi qu'un service MaaS d'inférence facturé à l'usage. Dexmal revendique une latence d'inférence de 50 millisecondes et la possibilité d'effectuer du post-entraînement sur une simple carte grand public RTX 4090. Deux nouvelles plateformes matérielles, Apex pour l'industrie et Ferrata pour la logistique, viennent s'ajouter au bras double existant Mint. L'enjeu réel derrière cette annonce est le problème dit du N fois M : sans couche de standardisation, chaque modèle doit être réadapté à chaque configuration matérielle, ce qui freine toute diffusion à l'échelle. En misant sur un écosystème ouvert de développeurs plutôt que sur une intégration verticale fermée à la manière de Tesla ou Figure, Dexmal cherche à devenir la couche logicielle commune du secteur plutôt qu'un fournisseur de robots parmi d'autres. Le fondateur Tang Wenbin a d'ailleurs posé le vrai critère de réussite : que les développeurs choisissent DM0.5 plutôt que les alternatives open source, un test que les modèles précédents de l'entreprise n'avaient pas franchi selon lui. La promesse de réduction des données réelles nécessaires grâce à la simulation dans un modèle du monde touche directement au fossé sim-to-real qui limite encore le déploiement des VLA en conditions réelles, mais ces gains restent pour l'instant des chiffres communiqués par l'entreprise, sans validation indépendante. Le rebranding depuis Yuanli Lingji s'inscrit dans la vague d'entreprises chinoises d'IA incarnée cherchant à se positionner face aux acteurs américains comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), ainsi qu'aux humanoïdes concurrents tels qu'Optimus. Aucun acteur français ou européen n'apparaît dans cette annonce. La suite dépendra de l'adoption réelle du protocole ECP par des développeurs tiers et de déploiements pilotes concrets sur les nouvelles plateformes Apex et Ferrata, dont aucun calendrier précis n'a été communiqué.

IA physiqueActu

1 source