Det åbne internet har fået en ny sherif. Cloudflare, der beskytter og driver infrastrukturen bag en stor del af nettet, vil fra 15. september 2026 automatisk blokere en særlig type webcrawlere på sider med annoncer. Det gælder crawlere, der både bruges til almindelig søgning, AI-træning og AI-agenter på samme tid.
Med andre ord: AI-selskaber skal ikke længere kunne gemme sig bag “vi laver bare søgning”, mens de samtidig bruger indhold fra medier, blogs og hjemmesider til at fodre chatbots og AI-svar.
“Nu hvor størstedelen af trafikken på internettet ikke længere er menneskelig, er vi nødt til at gå længere og handle hurtigere,” siger Cloudflares topchef og medstifter Matthew Prince.
Søgemaskine ja – AI-støvsuger nej
Cloudflares nye standardindstillinger skal i første omgang gælde nye kunder, nye websites hos eksisterende kunder og gratisbrugere, medmindre de aktivt vælger det fra. Hjemmesider skal stadig kunne findes i søgemaskiner, men ejeren skal kunne sige nej til, at det samme besøg også bliver brugt til AI-træning eller AI-agenter, der henter indhold uden at sende læsere tilbage.
Det er især vigtigt for medier og websites, der lever af annoncer eller abonnementer. Hvis en AI-tjeneste opsummerer artiklen direkte i et svar, mister udgiveren både besøget, annoncevisningen og måske den betalende bruger.
Cloudflare forsøger samtidig at gøre AI-trafik til en forretning. Selskabets tidligere “Pay Per Crawl”-model bliver nu udvidet til “Pay Per Use”, hvor websites potentielt kan få betaling, når deres indhold faktisk indgår i AI-svar. Foreløbig er det dog småt med store AI-navne i ordningen.
Google rammes mellem linjerne
Cloudflare nævner ikke kun små AI-botter. Udmeldingen ligner også et indirekte pres på Google. Problemet er, at nogle af de største techselskaber blander søgning og AI tæt sammen. For mange websites er Google-trafik livsnødvendig, men det gør det svært at sige nej til AI-brug uden også at risikere at forsvinde fra søgeresultaterne.
Det er den ubalance, Cloudflare nu forsøger at udnytte – eller rette op på, alt efter temperament.
Konsekvensen kan blive, at AI-tjenester i højere grad skal betale, lave aftaler eller være mere gennemsigtige om, hvad de henter og hvorfor. For indholdsskabere er det et tiltrængt værn mod gratis rovdrift.
Men der er også en bagside. Når ét infrastrukturselskab kan sætte reglerne for en stor del af nettet, flytter magten ikke nødvendigvis tilbage til de små udgivere. Den flytter bare fra AI-giganterne til en anden gigant. Cloudflare kalder det “Your content, your rules”. Det lyder rigtigt. Spørgsmålet er bare, hvem der i praksis ender med at skrive reglerne.
