Google-Agent et Googlebot : Google trace la frontière technique entre accès IA déclenché par l'utilisateur et exploration pour la recherche

Google a officiellement documenté un nouvel agent technique qui apparaît dans les logs des serveurs web : Google-Agent. Contrairement à Googlebot, le crawler historique qui parcourt le web de façon autonome pour alimenter l'index de recherche, Google-Agent est déclenché uniquement lorsqu'un utilisateur interagit avec un produit IA de Google — comme AI Overviews ou Gemini — et demande à accéder à un contenu spécifique. Ce fetcher ne suit pas les liens, ne découvre pas de nouvelles pages de son propre chef : il se comporte comme un proxy humain, récupérant une URL précise à la demande. Son User-Agent se présente sous la forme d'une chaîne mobile Chrome standard avec la mention (compatible; Google-Agent) en suffixe, et dans certains cas simplement le token Google-Agent.

La distinction technique la plus importante concerne le fichier robots.txt : Google-Agent l'ignore délibérément. La logique avancée par Google est que la requête étant initiée par un humain, le fetcher se rapproche davantage d'un navigateur que d'un crawler automatisé. Concrètement, cela signifie que les développeurs ne peuvent plus compter sur robots.txt pour protéger du contenu sensible ou restreindre l'accès aux outils IA de Google. Seuls des mécanismes d'authentification classiques ou des permissions serveur côté back-end permettent de contrôler ces accès. Par ailleurs, les adresses IP sources de Google-Agent ne suivent pas les plages prévisibles des crawlers de recherche — Google recommande de croiser les requêtes avec ses plages IP publiées en JSON pour valider leur légitimité et éviter des faux positifs dans les WAF ou systèmes de rate-limiting.

Cette évolution s'inscrit dans la transformation profonde de la façon dont Google consomme le web. Pendant des décennies, la relation entre les sites et Google reposait sur un modèle d'indexation périodique, géré via robots.txt et les budgets de crawl. L'essor des produits IA conversationnels change cette dynamique : le trafic de Google-Agent sera désormais corrélé à la popularité du contenu auprès des utilisateurs IA, et non aux cycles d'indexation. Pour les équipes infra, cela implique de revoir les règles de traitement des bots dans les firewalls applicatifs, sous peine de bloquer involontairement des utilisateurs Google. Pour les éditeurs, cela pose une question de fond sur le contrôle de l'accès au contenu à l'ère des agents IA, alors que le modèle économique du web — basé sur les clics et les visites directes — est déjà fragilisé par les réponses générées directement dans les interfaces Google.