Google, OpenAI et Anthropic adoptent une directive anti-scraping IA

Google, Anthropic, OpenAI et Microsoft ont annoncé leur intention de se conformer à une nouvelle directive intégrée au fichier robots.txt. Cette mesure permet aux éditeurs de contenus de définir explicitement leurs préférences concernant la collecte automatisée de données à des fins d'entraînement par intelligence artificielle générative.

L'initiative repose sur une proposition examinée par l'IETF, l'organisation ouverte chargée des standards internet. Le texte a été rédigé par Kevin Kelley, responsable technique des normes chez Anthropic. L'objectif est de simplifier le processus actuel, qui oblige les propriétaires de sites web à identifier chaque crawler individuel et à configurer des règles distinctes pour chaque fournisseur technologique.

La nouvelle norme introduit un agent utilisateur spécifique dédié à l'entraînement des IA. En ajoutant cette ligne dans leur fichier robots.txt, les éditeurs peuvent bloquer globalement l'accès ou autoriser l'extraction sur certaines sections précises, comme un dossier de presse. La syntaxe type indique un blocage général avec des exceptions ciblées via les directives « Disallow » et « Allow ».

Cette configuration ne stoppe pas totalement le crawl du site ni n'empêche l'apparition des pages dans les résultats de recherche Google. Elle agit spécifiquement comme un signal d'arrêt pour les agents dédiés à la collecte de matériaux pour les modèles Gemini, notamment l'agent « Google-Extended ». Les autres moteurs conservent leur comportement habituel pour l'indexation classique.

Il est important de noter que cette directive ne rétroagit pas sur les collectes déjà effectuées. Les entreprises conservent les données extraites avant l'application de la règle. Seule l'extraction future sera restreinte selon les nouvelles préférences définies par les éditeurs.

Anthropic a déjà commencé à intégrer ce support technique. Microsoft prévoit de le rendre opérationnel à partir du 1er février 2027. Google a indiqué qu'il suivrait cet exemple début 2027, tandis qu'OpenAI s'est engagée à mettre en œuvre le nouveau signal dans les mois à venir.