# Open datasets voor het trainen van taalmodellen

Door Ivo Donker — samengesteld met AI-ondersteuning (Claude & Gemini) · Laatst bijgewerkt: 6 augustus 2026

De beschikbaarheid van hoogwaardige tekstverzamelingen is een van de bepalende factoren geworden in de ontwikkeling van kunstmatige intelligentie. Waar het bouwen van taalmodellen aanvankelijk primair werd gezien als een vraagstuk van rekenkracht en netwerkarchitectuur, verschuift het zwaartepunt steeds meer naar de invoerzijde. De hoeveelheid vrij beschikbare, menselijk geschreven tekst op het openbare internet is immers niet onuitputtelijk.

Steeds meer platforms en uitgevers schermen hun gegevens af voor geautomatiseerde indexering. Websites installeren barrières tegen bots, passen hun gebruiksvoorwaarden aan of plaatsen inhoud achter een betaalmuur. Tegelijkertijd raakt het openbare web gestaag vervuild met teksten die zelf door taalmodellen zijn gegenereerd. Deze dubbele beweging zorgt ervoor dat het verzamelen en prepareren van hoogwaardige open data geen bijzaak meer is, maar een kernactiviteit in het AI-onderzoek.

## Categorieën van open gegevensbronnen

Wie op zoek gaat naar teksten voor het trainen van een taalmodel, krijgt te maken met uiteenlopende typen bronnen. Elke categorie heeft specifieke eigenschappen qua herkomst, licentiewetgeving en redactionele kwaliteit. In de praktijk worden verschillende typen gecombineerd om een evenwichtige mix te realiseren.

Het onderscheid tussen deze categorieën bepaalt niet alleen welke stappen nodig zijn bij de verwerking, maar ook wat voor soort taalgebruik het uiteindelijke model aanleert. We kunnen de belangrijkste bronnen als volgt indelen:

- Grootschalige webverzamelingen: Geautomatiseerde crawls van het openbare internet. Deze bronnen bieden een enorme variëteit aan onderwerpen en schrijfstijlen, maar bevatten ook veel ruis, opmaakfouten en ongewenste inhoud.

- Publiek domein en erfgoedinstellingen: Gedigitaliseerde boeken, historische kranten, archieven en academische werken waarvan de auteursrechten zijn verlopen. Deze bronnen bieden vaak een hoge grammaticale en redactionele kwaliteit, maar kunnen verouderd taalgebruik bevatten.

- Vrijwilligersverzamelingen: Kennisbanken, encyclopedieën en samenwerkingsprojecten waar een gemeenschap van gebruikers artikelen schrijft en controleert. De structuur en betrouwbaarheid zijn vaak hoog, maar de dekkingsgraad verschilt sterk per vakgebied.

- Overheidsdata en officiële documentatie: Beleidsstukken, parlementaire verslagen, wetsteksten en onderzoeksrapporten van publieke instanties. Deze teksten zijn formeel van stijl, juridisch en bestuurlijk nauwkeurig, maar missen vaak alledaagse omgangstaal.

Categorie | 
Typische herkomst | 
Taalkundige kwaliteit | 
Vereiste opschoning | 

Webverzamelingen | 
Openbare websites en fora | 
Wisselend tot laag | 
Zeer intensief | 

Publiek domein | 
Bibliotheken en archieven | 
Hoog (formeel) | 
Matig (OCR-correctie) | 

Vrijwilligersprojecten | 
Open encyclopedieën | 
Hoog (gestructureerd) | 
Beperkt | 

Overheidsdata | 
Ministeries en raden | 
Hoog (juridisch) | 
Beperkt (stijlfilter) | 

## Drie verschillende betekenissen van 'open'

Het predicaat 'open' wordt in de context van trainingsdata veelvuldig gebruikt, maar heeft in de praktijk verschillende betekenissen. Een dataset die door ontwikkelaars als open wordt aangeduid, is dat niet vanzelfsprekend in juridische of praktische zin. Het is essentieel om drie niveaus van openheid te onderscheiden:

- Vrij te downloaden: Het bestand staat op een openbare server of gedistribueerd netwerk en kan zonder betaling of account worden opgehaald. Dit zegt niets over wat je er vervolgens mee mag doen.

- Vrij te hergebruiken: De rechthebbende heeft toestemming gegeven om de gegevens te analyseren, te bewerken of op te slaan, bijvoorbeeld voor wetenschappelijk onderzoek of onderwijs.

- Vrij te hergebruiken voor commerciële training: De licentie staat expliciet toe dat de data wordt gebruikt voor de ontwikkeling van commerciële producten, waaronder het trainen van winstgevende modellen.

In de praktijk vallen deze drie definities zelden samen. Een bestand kan eenvoudig van een server worden gedownload, terwijl het materiaal auteursrechtelijk beschermd is en commerciële exploitatie niet is toegestaan. Ontwikkelaars die transparantie nastreven, moeten daarom nauwkeurig analyseren onder welke voorwaarden elke deelverzameling wordt aangeboden. Voor meer achtergrond over hoe deze gebruiksrechten zich verhouden tot modelgewichten, zie het artikel over het [licentiedebat rond open modellen](https://nieuws.llmnet.nl/licentiedebat-open-modellen).

## Het verschil tussen inzichtelijkheid en herkomst (provenance)

Er bestaat een fundamenteel verschil tussen een dataset die je als onderzoeker mag inzien en een dataset waarvan de herkomst per afzonderlijk document is gedocumenteerd. Inzichtelijkheid betekent enkel dat de tekstbestanden toegankelijk zijn. Je kunt zien welke woorden erin staan en hoe de teksten zijn gestructureerd.

Documentering van herkomst (ook wel provenance genoemd) gaat veel verder. Het houdt in dat van elk tekstfragment precies vastligt uit welke bron het afkomstig is, wanneer het is verzameld, welke licentie van toepassing was op het moment van verzamelen, en welke bewerkingen of filters op het specifieke document zijn toegepast.

Hernieuwde focus op data-herkomst: Zonder accurate herkomstgegevens per document is een dataset een zwarte doos. Als een bepaalde bron achteraf niet gebruikt had mogen worden, moet zonder herkomstinformatie de volledige verzameling worden afgedankt of het model opnieuw worden getraind.

Gedetailleerde herkomstadministratie is zeldzaam omdat het grote technische eisen stelt aan het verzamelproces. Het opslaan van metadata per document vergroot de omvang van de administratieve databases en vereist strikte protocollen tijdens het crawlen. Toch wordt deze documentatie steeds waardevoller. Het stelt ontwikkelaars in staat om specifieke documenten gericht te verwijderen wanneer er privacyproblemen of auteursrechtelijke bezwaren reizen, zonder de rest van de verzameling aan te tasten.

## De positie van kleinere taalgebieden zoals het Nederlands

Voor grote wereldtalen is het verzamelen van voldoende trainingsmateriaal voornamelijk een filtervraagstuk: er is een overvloed aan tekst, en de uitdaging is om de ruis te scheiden van het bruikbare materiaal. Voor kleinere taalgebieden, zoals het Nederlands, ligt dat anders. De absolute hoeveelheid beschikbare digitale tekst is velen malen kleiner, wat specifieke uitdagingen met zich meebrengt.

Wanneer een taalgebied over minder materiaal beschikt, kan een model niet eenvoudigweg vertrouwen op de wet van de grote aantallen. Het simpelweg crawlen van het openbare web levert in het Nederlands al snel een relatief hoog aandeel op van slecht vertaalde productomschrijvingen, geautomatiseerde nieuwsberichten en zoekmachine-geoptimaliseerde vultekst. Als een model op deze teksten wordt getraind, leert het subtiele grammaticale fouten en een onnatuurlijke zinsbouw aan.

Voor een taal als het Nederlands weegt de kwaliteit van het bronmateriaal daarom aanzienlijk zwaarder dan de pure omvang. Initiatieven in kleinere taalgebieden richten zich daarom sterker op gerichte verzameling: het actief digitaliseren van archieven, het ontsluiten van overheidsregisters en het samenwerken met culturele instellingen. Wie dieper wil ingaan op de specifieke meertalige verhoudingen en de verwerking van het Nederlands, vindt extra context in het overzicht over [taaldiversiteit in LLM's met de nadruk op het Nederlands](https://nieuws.llmnet.nl/taaldiversiteit-in-llms-nederlands).

## Het verwerkingsproces: van ruwe tekst naar bruikbare data

Het verzamelen van ruwe tekst is pas de eerste stap in een langdurig en arbeidsintensief proces. Ruwe webtekst is ongeschikt om direct aan een taalmodel te voeden. Het bevat navigatiemenu's, cookie-meldingen, reclame-blocks, willekeurige leestekens en afgebroken codes. Het bewerken en opschonen van gegevens vormt dan ook het leeuwendeel van de inspanning bij de voorbereiding van een dataset.

Een typische verwerkingspijplijn doorloopt meerdere opeenvolgende fasen:

- Extractie en opmaakverwijdering: Het strippen van HTML-tags, scripts en opmaakelementen om alleen de tekstuele inhoud over te houden.

- Taalidentificatie: Het bepalen van de taal per alinea of document, zodat teksten correct kunnen worden ingedeeld en vreemde talen uit een specifieke deelverzameling worden gefilterd.

- Kwaliteitsfiltering: Het toepassen van heuristieken en statistische filters. Documenten met een te hoge herhaling van specifieke woorden, een afwijkende verhouding tussen leestekens en letters, of een extreem lage informatiedichtheid worden verwijderd.

- Verwijdering van persoonsgegevens: Het opsporen en anonimiseren van gevoelige informatie, zoals telefoonnummers, e-mailadressen, Burgerservicenummers en fysieke adressen.

Tijdens deze stappen ontstaan vaak onbedoelde vertekeningen in de data. Als een kwaliteitsfilter te streng wordt afgesteld, kunnen specifieke dialecten, vakjargon of informele gesprekken onterecht worden aangemerkt als ruis en worden gewist. Een gedetailleerde analyse van hoe keuzes in de dataselectie doorwerken in het gedrag van een model is te lezen in de gids over [trainingsdata en bias](https://leren.llmnet.nl/trainingsdata-en-bias).

## Ontdubbelen: het onderschatte werkpaard van datapreparatie

Een van de meest kritieke, maar vaak onderbelichte onderdelen van databewerking is het ontdubbelen (de-duplicatie). Op het openbare internet komen dezelfde teksten op grote schaal voor. Denk aan persberichten die door honderden nieuwssites integraal worden overgenomen, standaard voorwaarden op webshops, of veelgestelde vragen op overheidsportalen.

Als deze identieke of bijna-identieke teksten onbewerkt in de trainingsset blijven staan, heeft dat schadelijke gevolgen voor het getrainde model:

- Overfitting op specifieke zinswendingen: Het model kent een onevenredig hoog gewicht toe aan teksten die vaak herhaald worden, waardoor het deze fragmenten letterlijk gaat reproduceren in plaats van de onderliggende structuur te begrijpen.

- Verspilling van rekenkracht: Het verwerken van dubbele informatie tijdens de trainingsfase kost kostbare capaciteit zonder dat het model nieuwe concepten leert.

- Verhoogde memorisatie van privacygevoelige data: Unieke gegevens die toevallig op meerdere plekken voorkomen, worden door de herhaling sneller verankerd in de parameters van het netwerk.

Het detecteren van exacte duplicaten is technisch eenvoudig via hash-functies. Het echte werk zit echter in het opsporen van bijna-duplicaten: teksten die inhoudelijk identiek zijn, maar waarin enkele woorden, synoniemen of leestekens verschillen. Hiervoor worden geavanceerde algoritmen ingezet die documenten omzetten in compacte digitale vingerafdrukken en de mate van overlap berekenen.

## De vervuiling van webverzamelingen met gegenereerde tekst

Een recent fenomeen dat het samenstellen van open datasets bemoeilijkt, is de aanwezigheid van synthetische content op het internet. Sinds geautomatiseerde tekstgeneratie op grote schaal toegankelijk is geworden, worden duizenden websites gevuld met artikelen, productrecensies en blogs die zonder menselijke tussenkomst zijn geschreven.

Wanneer een geautomatiseerde webcrawler nieuwe gegevens verzamelt, neemt deze onvermijdelijk deze gegenereerde teksten mee. Dit leidt tot een cirkelredenering in het trainingsproces: een nieuw model wordt getraind op output van eerdere modellen. Onderzoekers wijzen erop dat deze opeenstapeling kan leiden tot een achteruitgang van de taalkundige variatie en de feitelijke precisie van het model.

Synthetische data is echter niet per definitie waardeloos; wanneer het gecontroleerd en onder strikt toezicht wordt gegenereerd voor specifieke taken, kan het juist dienen als een nuttige aanvulling. Het probleem ontstaat wanneer onbeheerde, generieke webteksten ongefilterd in een dataset belanden. Uitdieping over de voor- en nadelen van gecontroleerde datageneratie is te vinden in het overzicht van [ontwikkelingen rond synthetische data](https://nieuws.llmnet.nl/synthetische-data).

## Toetsbaarheid, benchmarkbesmetting en controleerbaarheid

Openheid van trainingsdata is niet alleen van belang voor wie zelf een model wil bouwen; het is evenzeer cruciaal voor wie modellen wil evalueren en vergelijken. Om te bepalen hoe goed een taalmodel presteert op het gebied van redeneervermogen, taalkennis of medische vragen, worden gestandaardiseerde toetsen en vragenlijsten gebruikt, de zogenaamde benchmarks.

Er ontstaat echter een groot probleem wanneer de vragen en antwoorden uit zo'n benchmark per ongeluk zijn opgenomen in de trainingsdata van het model. In dat geval test je niet het vermogen van het model om een probleem op te lossen, maar test je simpelweg of het model de antwoorden uit zijn hoofd heeft geleerd. Dit verschijnsel staat bekend als benchmarkbesmetting of data contaminatie.

Zonder volledige inzichtelijkheid in de exacte inhoud en herkomst van een dataset is het onmogelijk om te controleren of een hoge score het resultaat is van echt begrip of van besmetting. Elke claim over de prestaties van een gesloten model blijft daardoor gebaseerd op aannames. Zie voor een gedetailleerde uitleg over hoe besmetting wordt gedetecteerd het artikel over [benchmark-contaminatie uitgelegd](https://benchmark.llmnet.nl/benchmark-contaminatie-uitgelegd).

Om deze controleerbaarheid te vergroten, maken onderzoekers steeds vaker gebruik van open platforms waar gegevensbronnen en modelparameters nauwkeurig worden gecatalogiseerd. Een overzicht van deze verzamelpunten is te vinden in het overzicht van [modellen- en datasets-hubs](https://directory.llmnet.nl/modellen-en-datasets-hubs).

## De spanning tussen openheid, privacy en het herroepingsrecht

Het openbaar maken van grote datasets schuurt op meerdere vlakken met privacywetgeving en individuele rechten. Webverzamelingen bevatten onvermijdelijk persoonlijke gegevens: van namen en berichten op discussiefora tot blogartikelen waarin privacygevoelige ervaringen worden gedeeld.

Privacywetgeving geeft individuen in veel gevallen het recht om de verwijdering van hun persoonsgegevens te verzoeken (het recht op vergetelheid). Bij een traditionele database is een dergelijk verzoek eenvoudig uit te voeren: het betreffende record wordt opgezocht en gewist. Bij open datasets en getrainde taalmodellen ligt dit technisch aanzienlijk ingewikkelder.

Wanneer een dataset eenmaal is verspreid via open netwerken, is het vrijwel onmogelijk om te garanderen dat elke gekopieerde versie wereldwijd wordt bijgewerkt. Bovendien is het verwijderen van een tekst uit een dataset pas de helft van de uitdaging. Als een taalmodel al is getraind op die data, zitten de patronen van die informatie verankerd in de miljarden parameters van het netwerk.

Het achteraf verwijderen van specifieke kennis uit een reeds getraind model — een proces dat bekendstaat als machine unlearning — bevindt zich nog in een vroeg stadium van onderzoek. Het vereist complexe ingrepen in de gewichten van het netwerk, vaak met het risico dat de algemene vaardigheden van het model achteruitgaan. Dit verklaart waarom beheerders van open data steeds meer nadruk leggen op preventieve filtering vóórdat het trainingsproces begint.

## Conclusie

Open datasets vormen het fundament van transparant en controleerbaar AI-onderzoek. Het opbouwen van hoogwaardige verzamelingen vergt echter veel meer dan het verzamelen van zoveel mogelijk webtekst. Het vereist zorgvuldige filtering, grondige de-duplicatie, duidelijke licentiemodellen en een accurate administratie van de herkomst van elk document.

Naarmate authentieke menselijke tekst schaarser wordt en het web vervuilt met machinaal gegenereerde inhoud, verschuift de nadruk van kwantiteit naar kwaliteit. Met name voor kleinere taalgebieden zoals het Nederlands is een gerichte, kwalitatieve aanpak de enige manier om representatieve en betrouwbare taalmodellen te ontwikkelen.

## Lees ook

- [Het licentiedebat rond open modellen en gebruiksrechten](https://nieuws.llmnet.nl/licentiedebat-open-modellen)

- [Taaldiversiteit in LLM's: de uitdagingen voor het Nederlands](https://nieuws.llmnet.nl/taaldiversiteit-in-llms-nederlands)

- [Hoe trainingsdata en bias de uitvoer van AI beïnvloeden](https://leren.llmnet.nl/trainingsdata-en-bias)

- [De rol en risico's van synthetische data bij AI-training](https://nieuws.llmnet.nl/synthetische-data)

- [Benchmark-contaminatie uitgelegd: oorzaken en detectie](https://benchmark.llmnet.nl/benchmark-contaminatie-uitgelegd)

- [Overzicht van open modellen- en datasets-hubs](https://directory.llmnet.nl/modellen-en-datasets-hubs)

llmnet.nl · Kennisnetwerk over kunstmatige intelligentie en taalmodellen