Uitgevers versus AI-scrapers: de strijd om de Nederlandse content

De spanning tussen makers van hoogwaardige redactionele content en ontwikkelaars van grote taalmodellen heeft in het Nederlandse taalgebied een kritieke fase bereikt. Waar AI-laboratoria jarenlang vrijwel ongehinderd het openbare web konden indexeren om taalmodellen te voeden, werpen nieuwsorganisaties, uitgeefhuizen en individuele auteurs steeds striktere barrières op. De inzet van deze confrontatie is tweeledig: enerzijds gaat het om compensatie voor het intellectuele eigendom dat als trainingsmateriaal dient, anderzijds om het behoud van een functionerend digitaal distributiemodel in een netwerkomgeving waarin directe antwoorden het traditionele doorklikverkeer uithollen.

In het dossier over het auteursrecht en AI-modellen stonden de juridische grondslagen van datamining en intellectueel eigendom centraal; in dit artikel bekijken we de praktische en technische dynamiek die zich afspeelt tussen geautomatiseerde scrapers en de beheerders van Nederlandse websites. Uitgevers en redacties zien zich genoodzaakt om hun contentarchitectuur fundamenteel te herzien om ongeautoriseerde extractie tegen te gaan.

De anatomie van geautomatiseerde data-extractie

Om te begrijpen waar de frictie ontstaat, moeten we onderscheid maken tussen de verschillende manieren waarop AI-ontwikkelaars webdata verzamelen. Niet elke crawler heeft hetzelfde doel of dezelfde technische karakteristieken. We zien in de praktijk grofweg drie categorieën crawlers actief op Nederlandse servers:

• Klassieke zoekmachine-crawlers: Bots die webpagina's indexeren met als primair doel om zoekresultaten te tonen inclusief een doorkliklink naar de bronpagina. Hier bestond decennialang een stilzwijgende symbiose: de uitgever leverde content, de zoekmachine leverde bezoekers.
• Offline trainingsscrapers: Bots die massaal webpagina's binnenhalen om omvangrijke datasets samen te stellen voor de pre-training of fine-tuning van toekomstige foundation models. Deze activiteit levert de website-eigenaar direct nul verwijzend verkeer op.
• Realtime synthese- en retrieval-bots: Crawlers die op het moment dat een eindgebruiker een vraag stelt, live webpagina's ophalen, samenvatten en als synthese presenteren. De gebruiker krijgt direct het antwoord voorgeschoteld, waardoor de noodzaak om de oorspronkelijke publicatie te bezoeken nagenoeg verdwijnt.

Deze verschuiving verbreekt het historische evenwicht van het open web. Waar indexering vroeger resulteerde in meetbaar verkeer en advertentie-inkomsten of abonneewerving, fungeert de uitgever in het huidige landschap steeds vaker louter als gratis grondstofleverancier voor systemen die vervolgens concurreren met diezelfde uitgever.

De juridische werkelijkheid: TDM-excepties en opt-outs

Op Europees niveau wordt de discussie beheerst door de Richtlijn inzake auteursrechten in de digitale eengemaakte markt (DSM-richtlijn, Richtlijn (EU) 2019/790), die in de Nederlandse Auteurswet is geïmplementeerd. Artikel 4 van deze richtlijn bevat een uitzondering voor tekst- en datamining (TDM) voor commerciële doeleinden, op voorwaarde dat rechthebbenden geen uitdrukkelijk voorbehoud hebben gemaakt.

Dit voorbehoud moet volgens de wet op 'passende wijze' worden geformuleerd, waarbij voor online openbaar toegankelijke inhoud geldt dat dit machineleesbaar moet gebeuren. Dit leidt tot een juridisch en technisch kat-en-muisspel. Wanneer een uitgever in de algemene voorwaarden zet dat scraping verboden is, volstaat dat juridisch niet altijd indien er geen machineleesbare instructie aanwezig is. Tegelijkertijd stellen juristen de vraag of geavanceerde deep-learning-training überhaupt volledig gedekt wordt door de oorspronkelijke definitie van tekst- en datamining, die ooit werd ontworpen voor academisch patroononderzoek in grote tekstbestanden.

Voor een bredere blik op de wijze waarop kunstenaars, auteurs en ontwerpers binnen het Nederlandse taalgebied worden geraakt door deze kaders, biedt de analyse over de impact van AI op de creatieve sector dieper inzicht in collectieve rechten en handhaving. Voor nieuwsuitgevers geldt dat de bewijslast bijzonder zwaar is: wanneer een model eenmaal is getraind, is het buitengewoon complex om sluitend aan te tonen dat specifieke artikelen zonder toestemming zijn gebruikt, tenzij het model letterlijke fragmenten reproduceert.

Technische verdediging: van robots.txt tot Web Application Firewalls

De eerste verdedigingslinie van uitgevers is het aloude robots.txt-protocol. Een aanzienlijk deel van de toonaangevende nieuwssites heeft het robots-bestand ingericht om expliciete AI-bots de toegang te ontzeggen. Een typische configuratie ziet er als volgt uit:

# Voorbeeld van machineleesbare opt-out voor AI-crawlers
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

# Zoekmachines voor reguliere vindbaarheid blijven toegestaan
User-agent: Googlebot
Allow: /

Hoewel dit protocol eenvoudig te implementeren is, kent het fundamentele beperkingen. Robots.txt is een vrijwillig protocol; het berust op de bereidwilligheid van de crawler om de instructies te respecteren. Partijen die minder transparant opereren kunnen de User-Agent-string simpelweg wijzigen naar die van een reguliere desktopbrowser of een generieke mobiele client.

Om deze reden zijn mediabedrijven overgestapt op actieve blokkades via Web Application Firewalls (WAF's). Deze systemen analyseren netwerkgedrag, TLS-fingerprints en IP-reputatie. Wanneer een bot probeert tienduizenden pagina's per uur op te vragen met headless browsers, grijpt de WAF in via JavaScript-challenges of rate-limiting. Deze technische wedloop brengt extra infrastructuurkosten met zich mee voor uitgevers, die servers moeten beveiligen tegen scraping-volumes die geregeld pieken vertonen die vergelijkbaar zijn met lichte DDoS-aanvallen.

Het dilemma van zoekmachinedominantie en AI-overzichten

De situatie wordt voor uitgevers extra complex wanneer grote zoekmachines traditionele zoekfunctionaliteit vermengen met generatieve overzichten. Bij AI-overzichten worden antwoorden direct boven de organische zoekresultaten geplaatst. Uitgevers bevinden zich hierdoor in een strategische spagaat.

Wie een crawler blokkeert via robots.txt om te voorkomen dat artikelen worden samengevat in AI-antwoorden, riskeert direct volledig uit de reguliere zoekindex te verdwijnen. Dit kan voor commerciële media leiden tot een aanzienlijke terugval in het organische binnenkomende bezoekersvolume. Zoekmachines bieden weliswaar fijnmazigere tags (zoals nosnippet of max-snippet), maar deze lossen het kernprobleem niet op: een platform kan zelden selectief kiezen om wél vindbaar te zijn via klassieke blauwe links, maar géén input te leveren voor de onderliggende generatieve samenvattingen zonder verlies van bereik.

Hoe deze verschuiving in organische vindbaarheid en gebruikersgedrag meetbaar uitpakt voor online platformen, analyseren we in de gids over de dynamiek van SEO en AI-content, waarin de structurele druk op organische klikvolumes wordt ontleed. De traditionele contenttrechter — waarin informatieve openbare artikelen dienen als toegangspoort voor betalende abonnees — raakt hierdoor ontregeld.

De impact van browser-assistenten en zero-click searches

Naast zoekmachines op het web vormen geïntegreerde AI-assistenten in browsers een tweede uitdaging. Moderne browsers kunnen de inhoud van een geopende webpagina rechtstreeks in het werkgeheugen uitlezen, samenvatten en herformuleren voor de lezer, zonder dat de pagina zelf nog intensief wordt bekeken.

In het achtergrondartikel over AI-assistenten in de browser en media-impact wordt uiteengezet hoe lokale en servergebaseerde softwarelagen advertenties passeren en gestructureerde data interpreteren. Dit versterkt het fenomeen van 'zero-click consumption': de consument leest de feiten en analyses, maar bezoekt de website niet lang genoeg om advertentievertoningen te genereren of geconfronteerd te worden met een abonnementsaanbod.

Voor de Nederlandse nieuwsvoorziening, die sterk leunt op een mix van digitale abonnementen en advertentie-inkomsten, tast dit direct het economische fundament van de onderzoeksjournalistiek aan. Het produceren van een diepgravende reconstructie kost aanzienlijke redactiecapaciteit, terwijl een AI-assistent het artikel binnen enkele tellen samenvat tot beknopte opsommingspunten die elders worden geconsumeerd.

Internationale deals versus de Nederlandse taalmarkt

Op internationaal niveau reageren sommige grote mediabedrijven door licentieovereenkomsten te sluiten. Grote internationale concerns hebben contracten getekend met AI-laboratoria. In ruil voor vergoedingen krijgen de AI-bedrijven geautoriseerde toegang tot actuele en historische archieven via speciale API-koppelingen.

Voor de Nederlandse markt ligt deze dynamiek echter anders:

• Schaalbeperking: Het Nederlandse taalgebied telt een relatief bescheiden aantal sprekers. Voor internationale techbedrijven is de commerciële noodzaak om afzonderlijke, kostbare deals te sluiten met individuele Nederlandse uitgevers veel kleiner dan voor Engelstalige of Spaanstalige bronnen.
• Marktconcentratie: De private Nederlandse nieuwsmarkt kent een hoge concentratiegraad met enkele grote concerns. Dit geeft hen enerzijds onderhandelingsgewicht, maar zorgt er anderzijds voor dat kleinere, onafhankelijke titels en regionale media buiten de boot dreigen te vallen bij brede raamovereenkomsten.
• Publieke media: Publieke omroepen opereren met overheidsmiddelen. Hun content is principieel bedoeld voor de samenleving, maar het kosteloos laten overnemen van publiek gefinancierde databases door commerciële techbedrijven stuit op principiële maatschappelijke bezwaren.

De paradox van trainingsdata: synthetische data versus kwaliteitsjournalistiek

Er ontstaat inmiddels een duidelijke paradox in de AI-sector. Naarmate meer uitgevers content afschermen en het openbare internet verzadigd raakt met automatisch gegenereerde teksten van wisselende kwaliteit, neemt de beschikbaarheid van authentieke menselijke trainingsdata af. Dit dwingt ontwikkelaars om te zoeken naar alternatieve databronnen.

Wie wil weten hoe ontwikkelaars trachten dit tekort aan authentieke tekst op te vangen, kan terecht in het artikel over open datasets voor taalmodellen, waarin de initiatieven rondom publieke domeinen en erfgoeddata worden besproken. Zonder continue instroom van actuele, feitelijk gecontroleerde journalistieke artikelen verliezen taalmodellen echter snel hun aansluiting bij de maatschappelijke actualiteit en veranderende terminologie. Synthetische data kan patronen verfijnen, maar brengt geen nieuwe feiten aan het licht over maatschappelijke gebeurtenissen of beleidsontwikkelingen.

Dit geeft kwaliteitsuitgevers op de langere termijn een inhoudelijke positie: authentieke data wordt schaarser en daardoor relevanter. De vraag blijft echter in hoeverre redacties op korte termijn de operationele ruimte hebben om te wachten op structurele marktvergoedingen voor deze continue datatoevoer.

Toekomstperspectief en mogelijke uitwegen

De strijd om de Nederlandse content verplaatst zich geleidelijk naar regelgevende handhaving en nieuwe technische distributiestandaarden. Er tekenen zich drie mogelijke ontwikkelingsrichtingen af:

Ten eerste de opkomst van gestandaardiseerde micro-licenties en geautomatiseerde betaalprotocollen. In plaats van binaire keuzes (alles blokkeren of alles vrij beschikbaar stellen) kunnen platforms technische interfaces ontwikkelen waarbij AI-agents per opgevraagd artikel of token een vergoeding afrekenen. Dit vereist echter breed gedragen technische standaarden die op dit moment nog volop in ontwikkeling zijn.

Ten tweede een prominentere rol voor collectieve beheersorganisaties. Net zoals in de muziekindustrie en bij reprografische rechten kan er een stelsel ontstaan voor het trainen en bevragen van AI-systemen op auteursrechtelijk beschermd materiaal. De opbrengsten kunnen vervolgens via verdeelsleutels worden uitgekeerd aan aangesloten uitgevers en onafhankelijke makers.

Ten derde een verdere afscherming van het web. Websites zullen steeds vaker achter authenticatiemuren verdwijnen, waarbij toegang zonder account of bot-verificatie wordt ingeperkt. Daarmee maakt het traditionele open web geleidelijk plaats voor afgeschermde omgevingen.

De uitkomst van dit proces is bepalend voor de informatievoorziening. Als redactionele journalistiek moeilijker kan worden gefinancierd omdat bereik en baten worden afgeroomd door externe aggregatielagen, raakt dat uiteindelijk ook de betrouwbaarheid van de bronnen waar AI-systemen zelf op steunen.