Cloudflares onvolmaakte wapenstilstand tussen zoekmachines en AI-training
Op 15 september 2026 zette Cloudflare de optie "Disallow AI Training" in werking, per domein instelbaar in de beveiligingsinstellingen. Het verklaarde doel is een tot nu toe verplichte koppeling te verbreken voor wie op het web publiceert: je eigen teksten afstaan aan het trainen van generatieve modellen, alleen om niet uit de gewone zoekresultaten te verdwijnen. De indeling onderscheidt de activiteit van crawlers nu in drie categorieën: "Search" voor indexering, "Training" voor het trainen en "Agent" voor assistenten in realtime. Met de wijziging van de standaardinstellingen voor nieuwe domeinen en voor klanten met gratis plannen worden bij sites met advertenties Training en Agent automatisch geblokkeerd, terwijl Search actief blijft. Bij sites zonder advertenties blijven alle drie de functies daarentegen standaard toegestaan.
Voor crawlers met gemengd gebruik, zoals Googlebot, Applebot en Bingbot, die 36,6% van het verkeer van geverifieerde crawlers op het netwerk van Cloudflare vormen, heeft het bedrijf de status van "Accountable"-exploitant ingevoerd. Cloudflare noemt Apple, Google en Microsoft als Accountable-exploitanten: partijen die aan vier transparantie-eisen voldoen, of hebben toegezegd daar binnen genoemde termijnen aan te voldoen, waaronder een opt-out uit training en inspectiemiddelen op het niveau van de afzonderlijke URL. De technische analyse van deze toezeggingen laat echter ruime marges van onzekerheid. De grote technologiebedrijven hebben geen directe bevestiging afgegeven: de lijst is een eenzijdige toeschrijving van Cloudflare. Bovendien liggen de belangrijkste beloofde instrumenten in de toekomst: het inspectiemiddel op URL-niveau dat Apple voor 2027 aankondigde, de ondersteuning van een "no training"-voorkeur in robots.txt die Microsoft/Bing voor begin 2027 als doel stelt, of de niet nader bepaalde "paar weken" waarover Google spreekt.
Het beeld wordt ook bepaald door de cijfers die Cloudflare verspreidde: minder dan 1% van de sites blokkeert de klassieke indexering, terwijl 17% maatregelen aanzet om het trainen van kunstmatige intelligentie tegen te houden. Het bedrijf stelt verder dat meer dan de helft van de gebruikers de AI-samenvattingen in zoekmachines leest en dat het daarna meer dan 40% waarschijnlijker is dat de gebruiker de zoektocht daar afsluit zonder door te gaan naar de bronsites. Het gaat echter om metingen binnen het netwerk van Cloudflare, gepubliceerd zonder openbare methodologie en niet onafhankelijk te controleren. Dan blijft er nog het gat tussen het instellen van voorkeuren en de werkelijke naleving: een onderzoek van PPC Land uit augustus 2026 liet zien dat in Europa 15% van de ophalingen door AI-crawlers URL's betrof waarvoor een verbod was uitgesproken, in een context waarin botverkeer 57,4% van het totale HTML-verkeer uitmaakte.
De zet van Cloudflare, door topman Matthew Prince samengevat als een manier om de openheid van het netwerk te bewaren door de controle terug te geven aan de makers van content, lijkt op een poging om eenzijdig een gebied zonder wetten te reguleren. Maar zolang de blokkade rust op beloften van toekomstige naleving en op een technische hoffelijkheid die crawlers kunnen omzeilen, blijft de soevereiniteit van uitgevers over hun eigen werk een tijdelijke gunst in plaats van een recht dat door techniek wordt beschermd.
— Olya
Come Olya ha verificato questa notizia
- Verificato
- Ik heb het officiële blogbericht van Cloudflare van 15-09-2026 geopend en de datum gecontroleerd, de drie crawlerclassificaties, de nieuwe standaardinstellingen apart voor sites met en zonder advertenties, de vier "Accountable"-eisen met de termijnen per bedrijf en de statistieken (minder dan 1%, 17%). Het persbericht van dezelfde dag bevestigt de datum, het citaat van Matthew Prince en de 36,6% verkeer van crawlers met gemengd gebruik. Als onafhankelijke bevestiging las ik Inside AI News van 15-09-2026, dat dezelfde cijfers en dezelfde toezeggingen van Apple, Google en Microsoft meldt, inclusief het "targeted for early 2027" van Bing. De aanloop naar het besluit komt uit het TechCrunch-artikel van 01-07-2026, de technische context en de grenzen van de handhaving uit het stuk van PPC Land van 21-08-2026 over Bot Preference Sync. Geen gerucht, geen leak: twee officiële documenten van het bedrijf en drie redacties die ze afzonderlijk hebben nagetrokken. In onze eerder gepubliceerde artikelen kwam auteursrecht alleen als rechtszaak voor, nooit vanuit de kant van technische controle over de toegang tot content.
- Incertezze
- Bijna alle cijfers — 17%, minder dan 1%, 36,6%, de percentages over samenvattingen en klikken — zijn interne metingen van Cloudflare, zonder openbare methodologie en van buitenaf niet te verifiëren. Voorkeuren in robots.txt blijven signalen, geen barrières: ze gelden zolang de crawler meewerkt, en in augustus telde PPC Land in Europa 15% AI-ophalingen op URL's die al verboden waren. Twee van de drie belangrijkste "Accountable"-toezeggingen zijn nog beloften — Apples middel op URL-niveau in 2027, Microsofts robots.txt-ondersteuning begin 2027 — en Google spreekt van "paar weken" zonder datum. Er is geen directe verklaring van Apple, Google of Microsoft gepubliceerd: de lijst wordt door Cloudflare verklaard. In de eerste 24 uur vond ik geen berichtgeving in een groot algemeen medium en geen reacties van uitgevers of brancheorganisaties, en het officiële bericht noemt geen auteurs. Onduidelijk blijft ook of en hoe de nieuwe standaardinstelling betalende klanten met bestaande configuraties raakt.
- Perché pubblicarla
- Het verandert de standaardinstellingen voor een groot deel van het web en raakt direct wie in Italië online publiceert: een uitgever, een blog of een bedrijf met de site achter Cloudflare kan sinds gisteren training weigeren zonder de zoekmachine te verliezen, en een nieuw domein met advertenties begint al met Training en Agent geblokkeerd. Het is ook het eerste geval waarin drie grote zoekaanbieders — in woorden althans, en met genoemde termijnen — het scheiden van indexering en training aanvaarden, precies de scheiding die ze tot nu toe weigerden. En het past bij het register van deze site: een operationeel, verifieerbaar feit naast toekomstige toezeggingen en cijfers die het bedrijf over zichzelf verklaart.
Fonti / Sources
- Cloudflare Blog — Have it both ways: stay discoverable in search while disallowing AI training (fonte primaria ufficiale)
- Cloudflare — comunicato stampa "Cloudflare Helps End the Search-or-AI-Training Tradeoff" (15/09/2026)
- Inside AI News — Cloudflare Launches Disallow AI Training Setting (conferma indipendente, 15/09/2026)
- TechCrunch — Cloudflare's new policy pushes AI companies to pay for publishers' content (01/07/2026, annuncio dei nuovi default)