SPECOLA : un outil d'évaluation de robots piloté par les spécifications

Des chercheurs présentent Specola, un outil open source qui évalue les comportements de robots en simulation à partir de spécifications formelles en logique temporelle de signaux (Signal Temporal Logic, STL), plutôt qu'avec le seul taux de succès. L'outil fournit une interface pour écrire des spécifications portant sur les signaux d'un simulateur, puis crée et gère les moniteurs STL correspondants pendant l'exécution d'une politique. Il s'intègre aux boucles d'exécution existantes via une API Python et une interface en ligne de commande. Un mécanisme d'adaptateurs permet de brancher de nouveaux simulateurs, et neuf environnements ou benchmarks sont déjà couverts, dont LIBERO, RoboCasa, Isaac Lab et RoboDojo. Le code et les adaptateurs sont publiés sur GitHub (specola-eval/specola), et les auteurs fournissent des études de cas censées illustrer le type d'analyse permis. Il s'agit d'un outil de recherche publié sur arXiv, pas d'un produit commercial.

L'enjeu touche un point faible connu de la robotique d'apprentissage. Les benchmarks en simulation se résument presque toujours à un taux de succès binaire, qui indique si une tâche a été accomplie, mais pas avec quelle marge, ni si le résultat reste stable quand les paramètres du but varient. Il ne dit pas non plus quelles contraintes ont été violées en route (collision, vitesse excessive, objet lâché puis repris) ni si le succès a persisté dans le temps. La STL permet de calculer une robustesse quantitative, c'est-à-dire la distance à la satisfaction ou à la violation d'une exigence. Pour un intégrateur ou un responsable qualité industriel, cela rapproche l'évaluation d'un cahier des charges vérifiable. Cela peut aussi aider à départager des politiques VLA (vision-langage-action) dont les scores de succès sont proches mais dont le comportement diffère. Le travail ne prouve toutefois rien sur le transfert au monde réel, et la valeur de l'approche dépendra de la qualité des spécifications que les utilisateurs sauront écrire.

Le contexte est celui d'une prolifération de benchmarks de manipulation, comme LIBERO ou RoboCasa, sur lesquels les modèles généralistes se comparent surtout par des pourcentages de réussite, parfois obtenus sous des protocoles hétérogènes. Les méthodes formelles de vérification et de monitoring STL existent de longue date dans les systèmes cyber-physiques et la conduite autonome, mais leur usage exigeait d'exposer manuellement l'état du simulateur. Specola vise à retirer cette friction par ses adaptateurs. La suite dépendra de l'adoption par la communauté, de l'ajout de simulateurs et de la reprise éventuelle de ces métriques dans les leaderboards. Le préprint ne mentionne ni validation sur robot physique ni partenaire industriel.