Cloudflare heeft onlangs ‘AI Audit‘ gelanceerd, een tool die websites beschermt tegen ongewenste AI-botverkeer. Deze bots, vaak verantwoordelijk voor het automatisch verzamelen van grote hoeveelheden webdata voor AI-modellen (data scrapen), kunnen een aanzienlijke belasting vormen voor websites.
AI Audit biedt website-eigenaren inzicht in welke AI-botnetwerken hun inhoud benaderen, en geeft hen de mogelijkheid om toegang te verlenen of te blokkeren. In de toekomst wil Cloudflare een prijsmechanisme introduceren, zodat AI-bots moeten betalen om toegang te krijgen tot site-inhoud (of de eigenaren van de websites daar ook van gaan profiteren is niet bekend, red.).
AI Audit verschilt van traditionele methoden zoals robots.txt, dat bots aangeeft hoe ze zich moeten gedragen, omdat deze instructies gemakkelijk genegeerd kunnen worden. In plaats daarvan maakt AI Audit gebruik van Cloudflare’s Web Application Firewall, die botverkeer kan identificeren en beheren. Dit biedt vooral kleinere websites zonder uitgebreide infrastructuur de mogelijkheid om zichzelf te beschermen tegen bots. Voor grotere sites met robuuste infrastructuur is het makkelijker om botverkeer op te vangen, maar kleinere websites ondervinden vaak problemen.
Oprichter Billy Gardner McIntyre ontdekte dat hij extra servercapaciteit moest toevoegen om de impact van bots op zijn website te beheren. Met AI Audit kon hij het botverkeer aanzienlijk verminderen en zo servertijd en -kosten besparen.
Naast het blokkeren van bots ziet Cloudflare mogelijkheden om AI-bots te laten betalen voor toegang tot webinhoud. Hoewel grote uitgevers al deals hebben gesloten met AI-bedrijven zoals OpenAI, biedt Cloudflare’s AI Audit een potentiële infrastructuur voor kleine websites om transparantie en controle te behouden over hun inhoud. Er zijn echter zorgen over de mogelijke effecten van zo’n betalingssysteem, omdat het de openheid van het internet zou kunnen ondermijnen, vooral voor non-profitorganisaties zoals The Internet Archive.
Cloudflare host (nog) geen NL-domeinen (*.nl)
