Évaluer un agent de pointe avec EBench : du contrôle direct à un harnais avec politique

Une équipe associée à l'écosystème InternRobotics publie sur arXiv un rapport technique qui évalue GPT-6-Astra, un modèle de langage multimodal (MLLM) de pointe, sur le benchmark EBench. Le modèle sert de cœur à un agent qui pilote un robot via un « harness » logiciel, avec le même protocole d'observation visuelle et proprioceptive que les politiques post-entraînées. Deux configurations sont comparées. En contrôle direct, l'agent génère lui-même des commandes de waypoints. En « harness avec politique », il peut aussi appeler une politique VLA (vision-langage-action) ou un WAM (world action model) post-entraîné pour exécuter l'action. Le résumé publié ne donne aucun chiffre précis : ni taux de succès, ni coût en tokens, ni nombre de tâches.

En contrôle direct, l'agent atteint une performance globale compétitive face aux politiques post-entraînées. Il domine sur les tâches à horizon court et varie le moins selon les dimensions de généralisation. Il reste en retrait sur les tâches longues, la manipulation sur table et les tâches de contact exigeant une grande précision. Avec une politique intégrée, le succès global rejoint celui des meilleures politiques comparées, avec un coût en tokens nettement réduit. Il reste pourtant sous la borne supérieure obtenue en prenant le meilleur composant pour chaque tâche. Les auteurs citent trois causes : un appel de politique mal choisi, une exécution sur instruction fixe sans sous-objectifs, et des saisies perturbées quand l'agent reprend la main.

Pour les intégrateurs, le résultat suggère qu'un LLM généraliste peut piloter un robot sans entraînement spécifique, mais que l'architecture d'orchestration compte autant que le modèle. Le gain vient de la complémentarité entre raisonnement de haut niveau et exécution fine, et non d'un modèle unique. L'étude vient de ses concepteurs : EBench et l'agent sont évalués dans le même cadre, et aucune validation indépendante ni donnée de déploiement réel n'est mentionnée. Il s'agit d'un benchmark, pas d'un produit.

Le travail s'inscrit dans la montée des architectures hybrides, où un modèle de raisonnement délègue à des politiques bas niveau de type VLA, comme chez Figure avec Helix ou Nvidia avec GR00T. Les prochaines étapes évoquées portent sur la conception des harness : meilleure invocation des politiques, sous-objectifs explicites et reprise de contrôle sans casser la saisie. Aucun calendrier de déploiement n'est annoncé.