
Générer des tâches synthétiques pour agents à grande échelle grâce à l'exploration
L'entraînement post-formation des grands modèles de langage multimodaux (MLLMs) pour créer des agents interactifs ouvre des perspectives majeures dans des domaines aussi variés que l'utilisation d'ordinateurs, la navigation web et la robotique. Mais cette promesse se heurte à un obstacle concret : le manque criant de jeux de données de haute qualité pour les tâches agentiques, capables d'être à la fois diversifiées, réalisables et vérifiables.
Les approches existantes pour générer ces tâches reposent soit sur l'annotation humaine — coûteuse et difficile à passer à l'échelle — soit sur le prompting direct des MLLMs avec des informations limitées sur l'environnement cible. Résultat : une couverture insuffisante et des tâches peu représentatives de la diversité réelle des cas d'usage. Ce goulot d'étranglement freine directement la montée en puissance des agents autonomes.
Pour répondre à ce défi, des chercheurs présentent AutoPlay, un système scalable de génération automatique de tâches synthétiques. L'approche repose sur l'exploration de l'environnement cible pour collecter des informations contextuelles riches, permettant ainsi de produire des tâches à grande échelle sans recours massif à l'annotation humaine. Cette méthode d'exploration automatisée vise à augmenter significativement la couverture et la diversité des données d'entraînement pour les agents.
Si les résultats se confirment, AutoPlay pourrait représenter une avancée structurante pour le domaine : en démocratisant la création de données d'entraînement agentiques, il permettrait d'accélérer le développement d'agents capables d'interagir de façon robuste avec des interfaces numériques complexes, réduisant ainsi la dépendance aux pipelines d'annotation humaine traditionnels.



