TARSphere : un cadre complet orienté robot pour agents incarnés à long horizon dans des environnements physiques et sociaux évolutifs

Des chercheurs publient sur arXiv TARSphere, un cadre logiciel complet pour agents incarnés (embodied agents) censés opérer sur de longs horizons dans des environnements physiques et sociaux qui évoluent. Il comporte deux briques. TARSphere-Infra exécute des politiques robotiques dans un simulateur physique peuplé de PNJ incarnés, avec des dialogues contraints. Une machine à états finis pilotée par événements y met à jour l'état des tâches à partir des actions achevées et des informations délivrées, puis évalue les résultats. TARSphere-Harness est le « cerveau » de l'agent. Un grand modèle de langage multimodal (MLLM) gelé, donc sans réentraînement, agit via des compétences exécutables à plusieurs niveaux. Il s'appuie sur ses observations, une mémoire hiérarchique et le retour d'exécution pour réviser ses décisions. Le benchmark associé, TARSphere-Bench, compte 360 épisodes répartis sur 30 scènes d'intérieur. Il couvre des tâches de navigation avec compte rendu et de récupération avec livraison, sous cinq paires de conditions : robustesse perceptive, adaptation aux perturbations, mise à jour de la tâche, coordination humaine et compréhension de l'intention. Huit MLLM ont été évalués.

Les résultats nuancent deux hypothèses courantes. Des modèles généralistes peuvent surpasser des modèles spécialisés « embodied », ce qui interroge la valeur du pré-entraînement robotique dédié face à un bon modèle généraliste bien encadré. Les changements de consigne en cours de mission et l'interaction avec les humains restent les points faibles. Les collisions et les chutes sont fréquentes, même avec une interface d'actions et un budget de décision identiques. Les auteurs en tirent que la sécurité d'exécution doit être mesurée en plus du taux de réussite, un point qui concerne directement les intégrateurs et les responsables d'exploitation. Tout reste en simulation, sans validation sur robot réel ni chiffres de déploiement.

Ce travail répond à une limite des évaluations actuelles, qui testent surtout des objectifs fixés d'avance ou réduisent l'exécution à des actions symboliques, donc loin des contraintes réelles. Il se place à côté des efforts industriels sur les modèles vision-langage-action (VLA), qui apprennent directement la commande motrice, en proposant l'approche inverse : un MLLM généraliste orchestrant des compétences. Aucune date de publication des données, du code ou de suites n'est précisée dans le résumé, et aucun acteur européen n'y figure.