Een nieuw gedeeld signaal voor AI‑training: het IETF‑draft “Machine‑Readable Training Preference Signal”

Op 30 oktober 2026 is bij de IETF het individuele Internet‑Draft “Machine‑Readable Training Preference Signal” (draft‑kelley‑aipref‑training‑preference‑signal‑00) gepubliceerd, geschreven door Kevin Kelley van Anthropic. Het document van 10 pagina’s introduceert het policy‑token __usage_ai‑training, dat in de User‑Agent‑regel van een gewone robots.txt‑groep hoort en per pad een voorkeur over AI‑training uitdrukt. Het gegeven voorbeeld is “User‑Agent: __usage_ai‑training / Disallow: / / Allow: /press‑kit/”: geen training op de hele site, behalve de map /press‑kit/.

Het draft laat de padsyntaxis, de longest‑match‑regel en de groepsstructuur van robots.txt ongemoeid en voegt geen nieuwe directieven of extra grammatica toe. Ook staat erin dat wildcard‑groepen (User‑Agent: *) NIET mogen worden opgevat als verwijzing naar het token; als geen enkele groep __usage_ai‑training noemt, heeft de site geen voorkeur uitgesproken. Het signaal gaat uitsluitend over het gebruik van content om de parameters van een generatief model te wijzigen, niet over crawlgedrag (sectie 4.4); om crawlen te beperken blijven de tokens van de afzonderlijke crawlers gelden. Het document vermeldt dat het niet door de IETF is goedgekeurd en geen formele status heeft in het standaardisatieproces; zonder herziening verloopt het op 3 mei 2027.

Dezelfde documentatie wijst erop dat Google‑Extended een zelfstandig producttoken is dat geen invloed heeft op de opname van een site in Google Search. Google zegt het AIPREF‑signaal vanaf begin 2027 te willen ondersteunen en houdt het token Google‑Extended apart, dat de opname in de zoekresultaten niet beïnvloedt.

OpenAI maakte op 30 oktober 2026 bekend dat het het signaal zal respecteren en het de komende maanden wil implementeren, zonder de bestaande controles van zijn crawlers te vervangen; het werk bouwt voort op dat van de IETF‑groep AI Preferences, en OpenAI roept andere aanbieders op het over te nemen.

Operationele onzekerheden en gedocumenteerde lacunes - Het draft is nog een individueel document en kan veranderen vóór een eventuele formele aanvaarding. - Het signaal is een vrijwillige voorkeur: het is geen mechanisme voor toegangscontrole, en crawlers die niet meewerken kunnen het negeren. - Er zijn geen primaire bronnen die bevestigen dat het signaal ook geldt voor al verzamelde content of al getrainde modellen. - Concrete data voor invoering door andere aanbieders worden niet door primaire bronnen gestaafd.

Als het token wordt aangenomen, kan een site één voorkeur opgeven die voor alle deelnemende aanbieders geldt en training loskoppelen van crawlen, in plaats van voor elke aanbieder een ander token te gebruiken (GPTBot, Google‑Extended, ClaudeBot, enz.).

— Pixie