RoboPrompt : un pilotage intuitif des politiques robotiques à partir de peu d'interventions humaines

Des chercheurs présentent RoboPrompt, un système léger de pilotage de politiques robotiques qui permet à un opérateur de guider un robot par des entrées éparses : traces dessinées, points cibles ou instructions directionnelles grossières. Le principe consiste à découpler la traduction de l'intention humaine de la politique sous-jacente. Un module réutilisable convertit la consigne en « brouillons d'actions », ensuite raffinés par la dynamique de diffusion ou de flow-matching de la politique de base. Le contrôle s'exerce dans l'espace de bruit, ce qui équilibre l'intention de l'utilisateur et le prior appris, sans modifier l'architecture ni réentraîner la politique pour la rendre pilotable. Les tests couvrent trois politiques : Diffusion Policy, π0.5 et FastWAM. Les auteurs utilisent aussi les déroulés pilotés pour l'amélioration en ligne via DAgger. Après 2 à 3 itérations, le taux de succès moyen de π0.5 progresse de 15,5 % sur trois tâches, et de 21,3 % sur les trois politiques pour la tâche « Insert Bread ». Le nombre moyen d'interventions humaines baisse de 44,0 % (de 2,86 à 1,60) pour π0.5, et de 81,9 % (de 2,60 à 0,47) pour la tâche multi-politiques.

L'enjeu est pratique. Les politiques de bout en bout entraînées par imitation restent limitées par la diversité de leurs données, ce qui rend le déploiement zero-shot peu fiable hors laboratoire. Les deux réponses habituelles ont chacune un coût : la téléopération en autonomie partagée exige du matériel spécialisé et des opérateurs formés, tandis que l'ajout de guidage comme entrée supplémentaire impose des changements d'architecture et un entraînement dédié, propre à chaque politique. Une approche qui s'applique telle quelle à des modèles aussi différents qu'un Diffusion Policy classique et un VLA comme π0.5 abaisse la barrière d'entrée pour des intégrateurs qui veulent corriger un robot en production sans passer par du hardware de téléopération. La boucle de correction vers DAgger est le point le plus intéressant pour un décideur : l'intervention humaine, moins coûteuse, devient une source de données d'amélioration, et la charge d'intervention diminue à mesure que la politique apprend. Il faut toutefois rester prudent : ce sont des résultats de recherche sur un nombre limité de tâches, sans information dans le résumé sur la nature des tâches, les volumes d'essais ni les conditions réelles de déploiement, et les gains en pourcentage ne disent rien des taux de succès absolus.

Ce travail s'inscrit dans une tendance où les politiques génératives (diffusion, flow-matching) deviennent la base des modèles généralistes, et où la question centrale passe de « comment entraîner » à « comment superviser et corriger à moindre coût ». Il se positionne face aux méthodes de shared autonomy par téléopération et face aux politiques conditionnées sur des guidages spécifiques, qui demandent un réentraînement. Le papier, publié sur arXiv, est une préparation académique et non un produit livré : aucun pilote industriel ni calendrier de commercialisation n'est annoncé. La suite logique serait de valider l'approche sur des tâches plus longues et plus variées, en conditions réelles, et de mesurer la robustesse du module de traduction face à des consignes ambiguës ou bruitées.