RecherchearXiv cs.RO 5 novembre 2026

Astra peut-il résoudre RoboMME sans exploser le budget ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Sur le benchmark RoboMME, consacré aux tâches de manipulation exigeant de la mémoire (retrouver un objet avant occlusion, respecter l'ordre d'une séquence démontrée), un système à trois niveaux atteint 79,13 % de réussite par épisode. Il combine GPT-6 Astra comme planificateur (« Système 2 »), qui choisit un sous-objectif ancré dans l'historique visuel stocké, une politique vision-langage-action π0.5 (« Système 1 ») qui exécute ce sous-objectif, et un moniteur Qwen3-VL-4B fine-tune (« Système 1.5 »). Ce dernier vérifie après chaque segment d'actions si le sous-objectif est terminé. L'instruction est conservée jusqu'à ce que le moniteur signale l'achèvement ou qu'un événement propre à la tâche survienne, pendant que la politique continue d'agir sur les nouvelles observations. Le coût moyen est de 3,63 appels à Astra et de 80,84 secondes par épisode. Le score dépasse de 34,62 points la meilleure référence publiée sans oracle, et reste 4,95 points sous GroundSG+Oracle, une configuration qui fournit à la politique bas niveau des sous-objectifs vérité terrain.

L'intérêt tient au compromis entre capacité de raisonnement et coût. Appeler un grand modèle de vision-langage avant chaque segment d'action est lent et cher, ce qui interdit en pratique tout déploiement cadencé. En ramenant les appels à moins de quatre par épisode, les auteurs montrent qu'un planificateur lourd peut être sollicité de façon parcimonieuse, un petit modèle de 4 milliards de paramètres assurant la surveillance continue. Le résultat suggère aussi que le goulot d'étranglement des VLA sur les tâches à mémoire se situe moins dans l'exécution que dans le raisonnement sur l'historique. L'écart de seulement 4,95 points avec l'oracle indique que la qualité des sous-objectifs générés est proche du plafond atteignable avec cette politique. Pour un intégrateur, c'est un argument en faveur d'architectures hiérarchiques plutôt que de politiques monolithiques à contexte long. Quelques réserves s'imposent : il s'agit d'un benchmark, vraisemblablement en simulation, et 80 secondes par épisode restent un temps de cycle peu compatible avec des cadences industrielles. Le chiffre ne dit rien non plus de la robustesse hors benchmark ni du coût financier réel des appels à Astra, malgré le titre qui le promet.

Ce travail s'inscrit dans la lignée des architectures « double système » popularisées par des modèles comme Helix de Figure ou GR00T, où un module lent délibère et un module rapide contrôle. Ici, π0.5 de Physical Intelligence sert d'exécutant, et l'ajout d'un étage intermédiaire de monitoring répond à la question de savoir quand relancer le planificateur. RoboMME pose un problème que les politiques réactives traitent mal, d'où l'écart de près de 35 points avec les meilleures bases non oracle. La suite logique consiste à tester le système sur robot réel, à mesurer la latence et le coût en conditions de production, et à comparer cette approche à des politiques dotées d'une mémoire native. Il s'agit d'une publication de recherche (preprint arXiv, v1) : aucun produit ni déploiement n'est annoncé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Combien le Best-of-N peut-il aider un modèle d'action du monde ? Mesurer la marge de sélection exploitable et la réaliser en boucle fermée

Les modèles « world action models » (WAM), qui prédisent les conséquences visuelles des actions qu'ils génèrent, se prêtent naturellement à la sélection au moment du test : on imagine le futur de plusieurs actions candidates et on exécute la meilleure (best-of-N). Une étude publiée sur arXiv (v1) mesure ce que ce principe peut réellement apporter. Les auteurs introduisent un protocole contrefactuel débruité, fondé sur des branchements reproductibles au bit près, des continuations répétées, des oracles tenus à l'écart et des nombres aléatoires communs. Il s'appuie sur quatre WAM, deux benchmarks et plus de 100 000 rollouts branchés, avec des tests préenregistrés. Pour trois WAM, 17 continuations par candidat situent la part sélectionnable des échantillons natifs entre 24 % et 66 %. Des perturbations structurées des actions créent jusqu'à 16 points de marge sélectionnable supplémentaires. Un sélecteur à déclenchement conditionnel, qui ne s'écarte du « chunk » d'actions de la politique que lorsqu'une lecture du WAM prédit un échec, fait passer le succès en boucle fermée de 76,9 % à 81,6 % sur des épisodes tenus à l'écart de tâches d'entraînement, et de 62,6 % à 69,8 % sur des tâches inédites. L'intérêt tient d'abord à la méthode. L'estimation habituelle exécute chaque candidat une seule fois et retient le meilleur résultat. Elle confond la qualité du candidat avec le hasard de tout ce qui suit, donc elle surestime le gain réel du best-of-N. Pour les équipes qui comptent sur le calcul au moment du test pour améliorer une politique figée sans la réentraîner, le plafond est plus bas qu'annoncé, mais il reste exploitable. Deuxième résultat : dans les deux WAM dotés d'une imagination conditionnée par l'action, les futurs imaginés portent autant d'information sur l'issue des candidats que les futurs réels, sans perte détectable. Cette information reste inutilisée par la tête de valeur de Cosmos Policy. Le gain est le plus marqué là où la politique échoue le plus souvent, ce qui cible les cas difficiles. Les gains absolus restent modestes (environ 5 points sur les tâches vues, 7 sur les tâches inédites), mesurés en simulation sur benchmarks, sans déploiement physique. Ce travail s'inscrit dans le mouvement des politiques vision-langage-action (VLA) vers des modèles du monde capables de prévoir leurs conséquences, dont Cosmos Policy est un exemple cité. Les approches de sélection ou de vérification au moment du test, déjà courantes pour les LLM, gagnent ainsi la manipulation robotique. L'article ne nomme pas d'acteurs industriels ni de calendrier de déploiement. La suite logique serait de valider le sélecteur sur robot réel, avec la latence de génération des futurs imaginés comme contrainte pratique, et de l'étendre à d'autres WAM.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2IEEE Spectrum Robotics

Cette main sans corps est tout le robot qu'il vous faut

Des chercheurs du Soft Robotics Lab de l'ETH Zurich ont transformé une main robotique du commerce, fournie par Wuji Technology, en robot autonome qui marche sur le bout des doigts et utilise ces mêmes doigts pour manipuler son environnement. Le projet est dirigé par Amirhossein Kazemipour, doctorant. La main embarque un sac à dos de 80 grammes contenant une batterie, une centrale inertielle (IMU) et un Raspberry Pi Zero. La locomotion a été apprise en simulation par apprentissage par renforcement. L'équipe a ajouté des « ressorts virtuels » : chaque doigt reçoit une position cible par rapport à la paume, correspondant à sa posture naturelle de marche, et toute dérive est pénalisée. Les mouvements avant-arrière sont moins pénalisés que les mouvements latéraux, ce qui rend la marche peu coûteuse. Quatre modèles distincts tiennent sur l'ordinateur de bord : marche, redressement après une chute, appui sur les touches d'un clavier et poussée d'objets vers une cible. Le contrôleur bascule de l'un à l'autre selon le besoin. Lors des essais réels, la main a traversé 14 surfaces, dont sols lisses, grilles métalliques, herbe et gravier, et a aussi réussi des virages. L'intérêt est d'abord méthodologique. Jusqu'ici, les mains marcheuses reposaient sur des mains conçues spécialement pour cela. Ici, la manipulation n'a pas été sacrifiée à la locomotion, et une main de catalogue, optimisée pour la préhension et non pour la marche, a été adaptée par la seule politique de contrôle. La difficulté technique est réelle : une main n'a pas la symétrie gauche-droite des quadrupèdes ou des bipèdes, ses doigts ont des longueurs différentes et elle comporte un pouce opposable. Les recettes classiques de la robotique à pattes ne s'appliquaient donc pas directement. Pour les intégrateurs, le message est celui d'un effecteur détachable et polyvalent, envisagé pour la maintenance dans des espaces confinés ou la recherche et le sauvetage. Ces usages restent des projections des auteurs : aucun test en situation industrielle n'est rapporté, ni mesure de vitesse, d'autonomie ou de charge utile. Ce travail s'inscrit dans une recherche sur les corps robotiques non assignés à un rôle unique. Kazemipour résume la question ainsi : que peut faire une main sans le reste du robot ? Il s'agit d'une démonstration de laboratoire, issue d'une équipe européenne, sans calendrier de transfert industriel ni partenaire commercial annoncé. Elle contraste avec la course aux humanoïdes complets, où Figure, Tesla et d'autres misent sur des mains attachées à un bras et à un tronc. Le choix d'un matériel standard, avec un calcul embarqué minimal, rend la démarche reproductible par d'autres laboratoires. Les suites probables sont des essais sur terrains plus difficiles, une meilleure autonomie énergétique et l'étude de la détachabilité de la main sur un robot hôte, aujourd'hui seulement suggérée.

UETravail issu d'un laboratoire européen (ETH Zurich, Suisse, hors UE), sans partenaire industriel ni calendrier de transfert, donc sans impact direct sur la France/UE à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Un VLM de pointe peut-il servir de politique robotique pour la manipulation dépendant de la mémoire ?

Des chercheurs ont utilisé GPT-6-Astra, un modèle vision-langage de pointe laissé gelé, comme politique de contrôle directe sur RoboMME, un benchmark de 16 tâches de manipulation qui exigent de la mémoire temporelle, spatiale, d'objet ou procédurale. Le modèle garde tout l'épisode en contexte et produit lui-même chaque waypoint de l'effecteur ainsi que chaque commande de pince, sans aucun entraînement spécifique à RoboMME. Sur les 800 épisodes de test, il réussit 92,1 % des cas. Le score humain publié auparavant est de 90,5 %, mais il a été obtenu avec une interface de compétences fournie par un oracle. Le meilleur résultat du classement atteint 60,8 %, et un système hiérarchique associant le même modèle à une politique entraînée sur RoboMME plafonne à 79,1 %. Le modèle égale ou dépasse le score humain sur 13 des 16 tâches. Ses 63 échecs se concentrent sur deux tâches et sont surtout des fins d'épisode déclarées trop tôt et des appuis sur bouton mal chronométrés ou involontaires. Code, prompts et journaux de tous les épisodes sont publiés. Ce résultat remet en cause la découpe habituelle entre planification long terme, mémoire et contrôle de l'effecteur, que la plupart des architectures robotiques traitent dans des modules distincts. Ici, un modèle généraliste sans entraînement spécifique bat à la fois les approches spécialisées et l'hybride, ce qui suggère que le goulot d'étranglement sur ces tâches tenait moins à l'absence de politique entraînée qu'à la capacité de raisonnement sur un contexte long. Pour un intégrateur, la leçon est prudente : la comparaison avec l'humain n'est pas équivalente, puisque le score de référence passe par une interface de compétences. L'extrait ne donne ni latence, ni coût par épisode, ni test sur matériel réel, des critères décisifs pour tout déploiement industriel. Il s'agit en outre d'un préprint évalué par ses propres auteurs. Ce travail prolonge la ligne des modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, qui entraînent des politiques dédiées sur de grands jeux de données de téléopération. Il adopte le chemin inverse : exploiter un modèle frontière généraliste tel quel. Les benchmarks de mémoire comme RoboMME servent justement à tester ce que les politiques réactives ne savent pas faire. La suite logique est de vérifier la reproductibilité par des tiers, de mesurer la tenue sur robots physiques et d'évaluer si cette approche tient dans les budgets de latence des cadences de production.

RecherchePaper

1 source

4arXiv cs.RO

HexaShell : un cadre minimaliste pour explorer les limites des agents VLM comme agents de programmation de robots

HexaShell, un système décrit dans un preprint arXiv (2610.23479) par l'équipe HexaFuture, confie le pilotage d'un robot bimanuel à un agent de code basé sur un modèle vision-langage (VLM), via une unique ligne de commande. Le « harnais » reste volontairement mince : il se limite à convertir les commandes de l'agent en mouvements. L'agent dispose de trois caméras RGB calibrées, lit les journaux après chaque échec, identifie la cause et écrit ou corrige de petits programmes, les « outils », qui conservent l'apprentissage sous forme de code. Ces outils n'exploitent que les observations du robot : triangulation entre deux caméras, ou intersection d'un rayon avec un plan connu (table, dessus d'un cube), et déplacement d'une caméra poignet pour obtenir une seconde vue si la caméra de tête ne suffit pas. Les outils sont construits sur dix configurations d'une seule graine par tâche, puis gelés et testés sur dix nouvelles configurations. Avec Codex et GPT-6-Astra à effort de raisonnement moyen, HexaShell atteint 39,7 % de succès et un score de progression de 48,0 sur les 42 tâches de RoboDojo, moyennés comme le classement officiel, ce que les auteurs présentent comme un nouvel état de l'art. Les outils sont publiés en open source sur GitHub. Le résultat est surtout instructif par sa répartition. Les tâches de poussée atteignent 92,5 % et celles qui demandent de la mémoire 65,0 %, mais l'insertion serrée plafonne à 8,3 %. Le goulot n'est donc pas le raisonnement : l'agent voit généralement son échec mais ne parvient pas à produire le mouvement de contact qui le corrige. Pour les intégrateurs, cela suggère que la perception géométrique et la planification de haut niveau peuvent être largement déléguées à un agent de code, tandis que la manipulation riche en contact reste le domaine où les politiques apprises ou le contrôle en force gardent l'avantage. Cela contredit aussi l'idée qu'un VLA entraîné de bout en bout serait indispensable pour battre les classements de manipulation. Plusieurs réserves s'imposent toutefois : un taux de succès inférieur à 40 % reste loin d'un usage industriel, le test porte sur une seule graine par tâche, la validation se fait en simulation, et le choix d'un modèle propriétaire limite la reproductibilité. Ce travail s'inscrit dans une tendance récente : des agents fondés sur des VLM rivalisent désormais avec des politiques apprises sur les classements de manipulation, en s'appuyant sur le code comme mémoire explicite plutôt que sur des poids réseau. Il se positionne face aux approches de type VLA (Pi-0, GR00T, Helix), qui apprennent le contrôle directement à partir de démonstrations, et face aux pipelines modulaires classiques de vision et de planification. Les auteurs ne font état d'aucun test sur robot réel ni d'une feuille de route de déploiement. La suite logique serait d'améliorer les outils de contact, par exemple avec un retour d'effort, et de vérifier que les outils gelés se transfèrent à d'autres graines, d'autres robots et au monde physique.

RecherchePaper

1 source