Entraînement des modèles : OpenAI, Google, Microsoft et Anthropic s'accordent sur une ligne commune de robots.txt pour refuser ou autoriser l'entraînement sur un site, Anthropic a commencé à l'appliquer et Microsoft fixe l'échéance au 1er février 2027

Ce que dit la source

Le 30 octobre 2026, Kevin Kelley, salarié d'Anthropic, a déposé auprès de l'Internet Engineering Task Force (IETF) un projet individuel intitulé « Machine-Readable Training Preference Signal », valable jusqu'au 3 mai 2027, dans le cadre du groupe AI Preferences. Plutôt que de nommer un à un les robots de chaque fournisseur, un site utiliserait un jeton unique, __usage_ai-training, placé dans la ligne User-Agent d'un groupe de règles comme s'il s'agissait d'un robot. Les lignes Disallow et Allow désignent alors l'usage et non l'accès : un chemin interdit exprime un refus de l'entraînement, un chemin autorisé un accord. L'exemple du texte refuse l'entraînement partout sauf dans le dossier /press-kit/.

L'entraînement y est défini d'après le projet de vocabulaire du groupe du 13 septembre 2026 : modifier les paramètres appris d'un modèle génératif, les modèles qui ne font que classer, trier ou noter étant exclus. Quatre garde-fous : un groupe générique User-Agent: * ne doit jamais être lu comme une préférence ; un fichier qui ne nomme pas le jeton n'exprime aucun choix ; le jeton n'est pas une consigne de collecte, un robot peut donc télécharger une page dont le contenu lui est refusé pour l'entraînement ; un accord privé peut l'emporter sur la préférence publiée. Les remerciements citent 46 contributeurs, dont des personnes affiliées à Google, Microsoft, OpenAI et Meta.

Les quatre annonces divergent sur le calendrier. Dans le message accompagnant le dépôt, Kevin Kelley écrit qu'Anthropic a déjà commencé à prendre le signal en charge, en complément de ses contrôles existants. Selon le communiqué d'OpenAI, rapporté par Unite.AI et The Next Web, l'entreprise honorera le signal, vise les prochains mois et maintient ses contrôles actuels par robot, que sa documentation détaille (GPTBot, OAI-SearchBot, ChatGPT-User). Google, par la voix de John Mueller, prévoit 2027 et traitera un refus exprimé par le jeton, sans règle explicite pour Google-Extended, comme un blocage de Google-Extended ; le billet juge la démarche cohérente avec le code de bonnes pratiques européen.

Microsoft va le plus loin. Son billet du 30 octobre, signé Krishna Madhavan, remplace les balises NoArchive et NoCache proposées depuis 2023. À partir du 1er février 2027, Bing lira la préférence d'entraînement partagée, l'étendra au niveau de la page et y ajoutera une préférence distincte d'ancrage, qui règle l'usage d'une page dans les réponses générées de Bing, Copilot et Microsoft 365, avec trois états : Allow, Disallow et DisallowExtended, ce dernier réservant l'ancrage aux produits exploités par Microsoft. Les deux préférences valent Allow par défaut. Les sites qui utilisent NoArchive ou NoCache disposent d'un réglage transitoire, limité à l'ancrage, dans Bing Webmaster Tools à partir du 15 décembre 2026 et doivent avoir publié leurs nouveaux choix avant le 1er mars 2027. Un refus d'ancrage réduit la visibilité dans ses expériences d'IA, sans toucher au référencement classique ; aucun choix ne garantit inclusion, trafic ou rémunération.

Notre analyse

Ce qui change, c'est moins la technique que la coordination : jusqu'ici chaque fournisseur avait son robot et sa doctrine, désormais c'est à lui de venir lire un signal commun. Mais le texte est un projet individuel, encore au stade de travail en cours, et il ne fait pas de ce signal un verrou : la collecte reste régie par les règles propres à chaque robot, le respect de la préférence repose sur celui qui la lit, et le texte retient la préférence en vigueur au moment de la collecte, sans rien dire des modèles déjà entraînés.

Deux précautions. Le texte est signé par un salarié d'Anthropic, éditeur des modèles que le comité utilise ; nous le traitons comme les trois autres annonces, en rapportant ce que chacun écrit. Ensuite, seul Microsoft publie un calendrier ferme, assorti d'un découplage entre entraînement et ancrage que les trois autres n'ont pas repris. La question utile pour un site devient double : « qui peut m'entraîner » et « qui peut me citer ».

Côté européen, le signal arrive dans un cadre déjà écrit. La directive 2019/790 autorise la fouille de textes et de données sauf réservation expresse « notamment par des procédés lisibles par machine » (article 4, paragraphe 3) ; le règlement sur l'IA impose aux fournisseurs de modèles à usage général une politique de droit d'auteur qui identifie et respecte ces réservations (article 53, paragraphe 1, point c) ; et la mesure 1.3 du code de bonnes pratiques engage ses signataires à employer des robots qui suivent robots.txt au sens de la RFC 9309 et de ses versions ultérieures jugées applicables. Un jeton commun est le type de procédé que ces textes attendaient sans le nommer ; savoir s'il suffit à valoir réservation de droits relève d'un conseil juridique.

Ce que cela change pour une entreprise française

Toute entreprise qui publie un site est concernée, pas seulement la presse, et la première décision est stratégique : refuser l'entraînement protège un savoir-faire ou un contenu payant, l'autoriser contribue à ce que les modèles connaissent la marque, ses produits et son vocabulaire. Le projet permet de trancher chemin par chemin, par exemple autoriser les pages produits et refuser l'espace client. Cette décision se prend avec la direction commerciale et le juriste, puis se consigne.

Trois actions. Inventorier le robots.txt : des sites bloquent GPTBot ou ClaudeBot sans l'avoir décidé, ou croient qu'une règle User-Agent: * suffit, ce que le projet exclut. Ajouter dès maintenant un groupe __usage_ai-training conforme à la décision prise, en conservant les règles par robot tant que chaque fournisseur n'a pas confirmé sa mise en œuvre. Si le site utilise NoArchive ou NoCache, republier ses préférences et enregistrer le réglage transitoire d'ancrage dans Bing Webmaster Tools entre le 15 décembre 2026 et le 1er mars 2027, sous peine de perdre la restriction. Puis mesurer ce que les réponses générées apportent en trafic, car un refus d'ancrage se paie en citations perdues.