Créer des workflows LLM traçables et évalués avec Promptflow, Prompty et OpenAI
Un tutoriel publié récemment détaille la construction d'un pipeline LLM complet et prêt pour la production, en s'appuyant sur trois outils clés : Promptflow, le format Prompty, et l'API OpenAI, le tout déployé dans un environnement Google Colab. Le workflow s'articule autour de plusieurs briques : une connexion sécurisée à OpenAI via un backend keyring alternatif, un fichier Prompty structuré servant de composant LLM central (ici GPT-4o-mini, avec une température de 0,2 et un maximum de 350 tokens), puis un flux de type "flex flow" basé sur une classe Python qui combine un prétraitement déterministe avec le raisonnement du modèle. Le système permet d'injecter des hints calculés dans les réponses du modèle, d'activer une traçabilité pas-à-pas de chaque exécution, de lancer des requêtes unitaires ou en batch, et de générer des sorties dans un format structuré. La chaîne se conclut par un pipeline d'évaluation automatisé dans lequel un LLM joue le rôle de juge pour noter les réponses produites face à des réponses attendues.
L'intérêt de cette approche est double : elle apporte de la traçabilité à chaque étape d'un pipeline LLM, un manque criant dans beaucoup de déploiements actuels, et elle industrialise l'évaluation en remplaçant la validation manuelle par un juge automatisé. Pour les équipes qui cherchent à passer du prototype au système en production, ce type d'architecture garantit qu'on peut auditer, déboguer et améliorer le comportement du modèle de façon systématique. La combinaison d'un outil déterministe (le calcul sécurisé) et d'un raisonnement LLM dans un même flow illustre aussi comment orchestrer des agents hybrides, sujet central du moment dans le développement d'applications IA.
Promptflow est un framework open source lancé par Microsoft en 2023, initialement pensé pour Azure AI Studio mais disponible en local. Il répond à un besoin croissant dans l'industrie : les équipes ne manquent plus de modèles, mais d'outils pour structurer, tester et maintenir des workflows LLM dans la durée. Le format Prompty, introduit plus récemment, standardise la définition des appels au modèle en séparant la configuration (modèle, paramètres, connexion) du template de prompt, ce qui facilite la réutilisation et la gouvernance. Avec l'essor du concept de LLM-as-a-judge, popularisé notamment par des travaux de Lmsys et repris par OpenAI et Anthropic dans leurs propres systèmes d'évaluation, le tutoriel s'inscrit dans une tendance de fond : automatiser non seulement la génération, mais aussi le contrôle qualité des sorties, condition nécessaire pour une adoption enterprise sérieuse de l'IA générative.
