Ask-to-Clarify : résoudre l'ambiguïté des instructions par un dialogue multi-tours
Des chercheurs proposent Ask-to-Clarify, un cadre qui permet à un robot équipé d'un modèle vision-langage-action (VLA) de poser des questions avant d'agir plutôt que d'exécuter aveuglément une consigne ambiguë. Le système marie un planificateur cognitif basé sur un modèle vision-langage, chargé de mener le dialogue de clarification, à un exécuteur moteur fondé sur la diffusion, chargé du contrôle bas niveau. Les deux modules communiquent via un adaptateur d'alignement sémantico-visuel, une interface qui traduit l'intention exprimée en langage naturel en flux de perception visuelle exploitable par le contrôleur. Pour l'entraîner, les auteurs ont dû résoudre un oubli catastrophique observé lors de leurs premiers essais : le réglage fin sur les tâches de manipulation effaçait entièrement la capacité de dialogue du modèle. Leur parade est une stratégie d'entraînement en deux étapes qui isole la logique conversationnelle de l'apprentissage moteur. Le système a été testé sur 11 tâches de manipulation réelles, où il devance nettement les méthodes existantes. L'enjeu dépasse le confort d'usage. La quasi-totalité des VLA actuels, qu'il s'agisse de familles comme Pi-0 ou GR00T N2, fonctionnent selon un paradigme rigide d'écoute puis d'exécution : ils postulent que l'instruction est claire et agissent sans vérifier, ce qui échoue dès qu'un environnement réel présente plusieurs objets similaires ou une consigne sous-spécifiée d'un utilisateur non expert. C'est précisément l'écart entre démonstrations scénarisées et déploiement réel que pointe régulièrement le secteur. En documentant un oubli catastrophique aussi net entre dialogue et contrôle moteur, ce travail met aussi en garde les équipes qui cherchent à empiler perception, raisonnement et action dans un modèle généraliste unique : ce n'est pas gratuit, cela demande des architectures et des entraînements spécifiquement pensés pour éviter que les compétences s'écrasent entre elles. Historiquement, la clarification d'instructions robotiques passait par des planificateurs externes de type LLM (dans la lignée de SayCan) posés au-dessus d'un contrôleur bas niveau séparé, une architecture en deux blocs disjoints. Ask-to-Clarify s'en distingue en intégrant dialogue et contrôle moteur dans un seul système entraîné de bout en bout, sans primitives d'action codées à la main ni planificateur externe. Les auteurs, dont les travaux sont publiés sur arXiv, envisagent d'étendre l'approche à des instructions et environnements plus variés, au-delà de la simple levée d'ambiguïté.
