IA physiquePandaily 14 octobre 2026

EchoPolicy-0 de MagicLab prend la tête du classement combiné MolmoSpaces d'AI2 avec 75,4 % de réussite en manipulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

MagicLab affirme que son framework d'agent VLM pour la manipulation générale, EchoPolicy-0, a pris la première place du classement Combined de MolmoSpaces, le benchmark de l'Allen Institute for AI (AI2), avec un taux de succès moyen pondéré à parts égales de 75,4 % sur les quatre tâches de manipulation de la version 1. MolmoSpaces est un benchmark d'IA incarnée en zero-shot, bâti sur plus de 230 000 environnements intérieurs et environ 130 000 objets. Pandaily a recoupé l'annonce avec les données publiées par AI2: EchoPolicy-0 y figure sous le nom de MagicLab, associé à Gemini-3.8-Flash comme modèle vision-langage et évalué sur un bras Franka, sur les quatre tâches (Pick, Pick and Place, Open et Close). La moyenne des quatre scores donne environ 75,5 %, cohérente avec les 75,4 % annoncés après arrondi, et c'est le meilleur résultat parmi les entrées couvrant l'ensemble des tâches. Le système relie un VLM, des outils géométriques de manipulation et une politique d'action générale dans une boucle fermée: observer, comprendre l'objectif, choisir une compétence, agir, vérifier le résultat. En cas d'échec, il peut poursuivre, réessayer, replanifier ou revenir en arrière. Son principe central est la sélection de trajectoire guidée par la cible: le modèle d'action propose plusieurs mouvements candidats, projetés sur l'image, et le VLM retient celui qui correspond le mieux à la cible avant exécution et vérification. MagicLab a aussi engagé MagicBrain, un système maison de 3,4 milliards de paramètres, qu'elle dit classé quatrième du classement combiné, avec 94,4 % de réussite sur la tâche Pick selon les données d'AI2.

Pour les intégrateurs et les décideurs, ce résultat illustre surtout l'intérêt des architectures en couches: déléguer la désignation de la cible à un VLM et réserver au modèle d'action le seul mouvement semble plus efficace que de tout confier à une politique de bout en bout. MagicLab indique que la plupart des échecs de saisie qu'elle a étudiés venaient d'un mauvais choix d'objet plutôt que d'un geste instable, ce qui déplace le goulot d'étranglement vers la compréhension des instructions plutôt que vers le contrôle moteur. Le chiffre reste toutefois à relativiser: il s'agit d'un benchmark simulé, sur un bras Franka à pince, avec un VLM tiers très puissant dans la boucle, et rien ne dit que cette performance se transpose au monde réel, aux cadences industrielles ou à des environnements non vus. La boucle de vérification et de replanification multiplie par ailleurs les appels au VLM, d'où des questions de latence et de coût que le classement ne mesure pas. Ce travail reste néanmoins un signal utile dans le débat entre agents orchestrés et VLA monolithiques.

Côté contexte, le responsable de MagicLab Studio, le laboratoire de recherche de l'entreprise, explique que l'équipe privilégie une architecture en couches et voit le suivi d'instructions comme une difficulté majeure des modèles actuels. EchoPolicy-0 y répond par l'orchestration d'agents et le scoring de trajectoires, MagicBrain par un guidage visuel de bout en bout, que l'entreprise nomme guidage visuel en contexte. Dans la même veine, un autre travail récent, Zeva de Tsinghua AIR, fait passer le succès de manipulation de 26 % à 73 % sans réentraînement. MagicLab, plus connue pour ses démonstrations de coordination de robots en extérieur, n'a pas indiqué quand l'un ou l'autre de ces frameworks serait déployé sur ses robots commerciaux. Il s'agit donc d'un résultat de recherche en simulation, sans calendrier de produit ni pilote annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA

À lire aussi

1Pandaily

« FabriVLA de Youibot, modèle 1 milliard de paramètres, dépasse Pi-Zero et prend la tête du classement en IA incarnée »

Youibot a annoncé que son modèle FabriVLA, doté d'à peine 1 milliard de paramètres, s'est hissé en tête du classement Evo-SOTA sur le benchmark Meta-World MT50, avec un taux de réussite moyen de 90,0%, devançant ainsi Pi-Zero de Physical Intelligence. MT50 évalue la maîtrise simultanée de 50 tâches de manipulation distinctes, un test jugé représentatif des exigences multi-tâches du secteur industriel. L'innovation revendiquée par Youibot ne tient pas à la taille du modèle mais à son architecture, pensée spécifiquement pour la manipulation robotique plutôt que calquée sur la course générale au nombre de paramètres. Deux mécanismes sont mis en avant : une fusion de caractéristiques visuelles profondes et superficielles, censée permettre au modèle de saisir à la fois l'objectif sémantique global d'une tâche et le positionnement spatial fin, et un mécanisme d'auto-attention à portes qui relie chaque étape d'une séquence d'actions aux étapes précédentes et suivantes pour fluidifier les transitions. Une étude d'ablation fournie par l'entreprise indique que retirer la fusion profonde/superficielle fait chuter le score moyen de 90,0% à 82,9%, l'auto-attention à portes étant présentée comme le composant le plus déterminant de la tête d'action. Youibot revendique par ailleurs plus de 800 déploiements industriels réels dans les secteurs des semi-conducteurs, de l'énergie et des batteries, ainsi que 4 000 commandes enregistrées dès le lancement de son robot humanoïde Fengxi. L'enjeu commercial de ce résultat, s'il se confirme au-delà du seul classement, tient à la taille du modèle. Un modèle plus compact consomme moins de puissance de calcul, réduit la latence et peut fonctionner directement sur le matériel embarqué du robot sans dépendre du cloud, un facteur clé dans des usines où la connectivité réseau n'est pas garantie. Cela vient contredire l'hypothèse dominante selon laquelle la performance en intelligence embarquée passerait nécessairement par une montée en échelle massive des paramètres, à l'image des modèles VLA les plus lourds du marché. Il convient toutefois de noter que les classements de type Evo-SOTA reposent sur des benchmarks en simulation, dont la représentativité vis-à-vis de conditions industrielles réelles reste à démontrer au cas par cas. Ce résultat s'inscrit dans une compétition de plus en plus vive entre modèles VLA (vision-langage-action), aux côtés d'acteurs comme Physical Intelligence, Nvidia avec GR00T N2, ou Figure AI avec Helix. Youibot, déjà présent industriellement en Chine, affiche un objectif de déploiement sur 10 000 sites, un chiffre que la légèreté de FabriVLA rendrait, selon l'entreprise, plus atteignable qu'auparavant faute d'infrastructure de calcul massive à installer sur chaque site.

IA physiqueActu

1 source

2arXiv cs.RO

SSI-Policy : apprentissage d'interfaces de scène structurées pour la manipulation robotique vision-langage

Des chercheurs ont déposé SSI-Policy sur arXiv (2606.26800, juin 2026), un framework modulaire pour la manipulation robotique en régime de faibles données. Le système repose sur une représentation intermédiaire appelée Structured Scene Interface (SSI), une couche RGB-only qui encode simultanément des caractéristiques de profondeur monoculaire, des dispositions spatiales d'objets ancrées dans le langage naturel, et des trajectoires 2D conditionnées par instruction. Sur le benchmark LIBERO avec seulement 10 démonstrations par tâche, SSI-Policy dépasse la meilleure méthode concurrente de près de 15 points, et reste compétitif face aux approches à 50 démonstrations recourant au préentraînement externe à large échelle. Les auteurs valident également sur 13 tâches réelles : raisonnement spatial, transfert cross-embodiment et manipulation avec contact. L'apport central est architectural : en découplant la perception du contrôle via l'interface SSI, la politique aval peut apprendre à partir de très peu de démonstrations. Que l'interface soit entraînable sur des vidéos sans annotation d'action est particulièrement précieux pour les intégrateurs industriels qui peinent à collecter des données de téléopération à grande échelle. L'absence de capteur de profondeur, le système fonctionnant en pure RGB, réduit les prérequis matériels et facilite le déploiement sur des bras standards. Le caractère robot-agnostique de SSI cible directement la faiblesse récurrente des VLA (Vision-Language Action models) comme Pi-0 de Physical Intelligence, OpenVLA ou GR00T N2 de NVIDIA : leur difficulté à transférer vers de nouveaux embodiments sans réentraînement coûteux. SSI-Policy se positionne face à trois familles de méthodes : les approches vidéo (SuSIE, UniSim), sujettes à dérive géométrique sur les horizons longs ; les méthodes 3D (Act3D, RoboPoint), qui exigent du RGB-D ; et les interfaces de flux optique, sans structure géométrique explicite. SSI-Policy prétend en combiner les avantages, affirmation partiellement étayée par les ablations publiées mais restant à confirmer sur des benchmarks plus larges comme RLBench ou DROID. L'article est un preprint, non soumis à évaluation par les pairs. La suite logique : validation sur plateformes humanoïdes complètes et pilotes industriels réels, deux domaines où la robustesse en faible nombre d'exemples reste le verrou commercial principal.

IA physiqueOpinion

1 source

3arXiv cs.RO

NestDex : apprentissage de politiques imbriquées avec téléopération assistée par copilote pour la manipulation dextérique

Un preprint publié sur arXiv en août 2026 (arXiv:2608.13362) présente NestDex, un framework de téléopération assistée pour entraîner des politiques de manipulation dextérique. Contrairement à une pince parallèle, une main à plusieurs doigts oblige l'opérateur à coordonner en même temps le mouvement du bras et des gestes fins, riches en contacts, ce qui complique la collecte de démonstrations complètes et cohérentes. Dans NestDex, l'opérateur pilote le bras et active la compétence de main voulue via un simple embrayage à un seul degré de liberté, pendant qu'une politique interne ajuste la main selon l'historique proprioceptif récent et qu'un sélecteur vision-langage choisit automatiquement la bonne compétence à chaque étape de la tâche. Ces démonstrations entraînent ensuite une politique visuomotrice externe distincte, qui pilote seule le bras et la main au moment du déploiement, sans plus recourir aux politiques internes; les commandes de main sont compressées par un autoencodeur variationnel tandis que celles du bras restent dans l'espace articulaire. Des essais réels montrent une collecte de démonstrations plus fiable et plus efficace, avec des vidéos disponibles sur aus.bot/research/nestdex. La contribution cible directement ce qui freine l'entraînement de mains robotiques à plusieurs doigts à l'échelle industrielle: la téléopération classique, par gants ou exosquelettes, produit des démonstrations lentes et peu fiables dès qu'il faut coordonner plusieurs doigts en même temps que le bras, ce qui limite la taille des jeux de données nécessaires aux politiques vision-langage-action (VLA). En déportant la coordination fine des doigts vers une politique déjà entraînée et en laissant l'humain gérer la stratégie de haut niveau, NestDex promet de réduire le coût et le temps de collecte, un enjeu central pour les intégrateurs qui visent des mains dextériques plutôt que de simples pinces parallèles plus limitées. L'article reste toutefois un travail de recherche présenté sans taux de succès chiffrés ni comparaison directe avec des systèmes commerciaux existants, ce qui invite à la prudence sur la portée réelle des gains annoncés. Ce travail s'inscrit dans les efforts récents pour rendre la manipulation dextérique aussi simple à entraîner que la manipulation par pince, à mesure que les politiques VLA généralistes se multiplient dans le secteur robotique. Il ne s'agit pas d'un produit commercial ni d'un déploiement client mais d'une publication scientifique, accompagnée de vidéos hébergées sur le site du projet, sans date de disponibilité ni feuille de route de commercialisation communiquée. Les prochaines étapes attendues, bien que non détaillées dans le résumé, porteraient logiquement sur l'extension à davantage de tâches, de mains robotiques et de plateformes, ainsi que sur des comparaisons chiffrées avec les méthodes de téléopération existantes.

IA physiqueOpinion

1 source

4arXiv cs.RO

DSDyn-VLA : un cadre à double flux pour la manipulation dynamique, avec perception du mouvement, anticipation et correction en temps réel

Des chercheurs proposent DSDyn-VLA, un cadre « lent-rapide » à double flux destiné à la manipulation d'objets en mouvement, comme sur un convoyeur, un cas où les modèles vision-langage-action (VLA) actuels décrochent. L'article, publié sur arXiv (2609.39198), identifie trois écarts. L'écart de perception : une image statique ne porte aucune information de mouvement. L'écart de latence : le temps d'inférence rend l'action obsolète quand elle est exécutée. L'écart de contrôle : les « action chunks » sont joués en boucle ouverte, sans ajustement en temps réel. Le « Flow-Planner », lent, joue le rôle de planificateur macro. Il ajoute au VLA du flux optique pour la perception temporelle, ainsi qu'un mécanisme de « conscience de l'état futur » qui anticipe la latence d'inférence. Le « Res-Refiner », rapide, est une politique d'apprentissage par renforcement légère qui injecte des corrections résiduelles haute fréquence, en boucle fermée, dans les chunks planifiés. Les auteurs publient aussi DynBench, un banc d'essai sous MuJoCo de neuf tâches de manipulation dynamique. Ils annoncent une baisse de plus de 76 % du taux d'échec face à l'état de l'art en configuration à forte latence sur le benchmark Kinetix. Ils annoncent aussi un taux de succès environ 6 fois supérieur à celui de PI0.5 en conditions réelles dynamiques, et environ 5 fois supérieur sur DynBench. Code et poids doivent être publiés en open source. Ces résultats visent une faiblesse que les intégrateurs connaissent bien : les VLA brillent en démonstration sur des scènes statiques, mais la logistique et la production réelles impliquent des pièces qui bougent, comme les convoyeurs, le tri à la volée ou le transfert vers un opérateur. Si ces gains tiennent, l'architecture suggère qu'un VLA généraliste ne suffit pas et qu'une couche de correction rapide, séparée du modèle de fondation, est nécessaire. Cela rejoint le découpage système 1 / système 2 déjà visible dans plusieurs architectures commerciales. Des réserves s'imposent toutefois. Les multiples (6x, 5x) sont relatifs à une base de comparaison PI0.5 qui n'était pas conçue pour ce régime, et un ratio élevé peut refléter un taux de succès de départ très bas. Le protocole réel (nombre d'essais, vitesse des objets, matériel) n'est pas précisé dans le résumé, et il s'agit d'une prépublication non évaluée par des pairs. Le travail s'inscrit dans la course à la réduction de la latence des VLA, notamment le « real-time chunking » et les approches d'exécution asynchrone, qui traitent surtout la continuité des actions plutôt que le suivi d'objets mobiles. Les concurrents directs sont les familles Pi de Physical Intelligence, dont PI0.5 sert de référence, et les modèles à double système comme Helix de Figure ou GR00T de NVIDIA. Aucun acteur européen n'est cité dans le résumé. La suite dépendra de la publication effective du code et des poids, de la reproduction des résultats par des tiers, et d'un passage de DynBench, entièrement simulé, à des cadences industrielles réelles.

IA physiqueOpinion

1 source