In het eerdere overzichtsartikel over taaldiversiteit in meertalige modellen analyseerden we de theoretische uitdagingen van kleinere taalgebieden binnen grote taalmodellen. Waar we destijds de nadruk legden op tokenisatie-efficiëntie en culturele bias, verschuift de markt nu naar concrete prestatiemetingen. Wie een model wil selecteren voor een Nederlandstalige toepassing kan niet meer vertrouwen op algemene Engelstalige benchmarks, maar heeft specifieke testsets nodig. Lees de eerdere theoretische onderbouwing via het pijler-hoofdartikel over taaldiversiteit in het Nederlands om te begrijpen hoe architectuurkeuzes de prestaties in het Nederlands fundamenteel beïnvloeden.
In deze bijdrage maken we die theoretische NL-invalshoek expliciet meetbaar. We behandelen de specifieke testframeworks, datasets en methodologieën die vandaag beschikbaar zijn om zowel encodermodellen als grote generatieve taalmodellen op Nederlandse taken te beproeven. Om te begrijpen hoe het algemene dataschap voor het Nederlands is opgebouwd, raden we aan om het overzicht over open data initiatieven voor AI te raadplegen. Dit artikel volgt de ontwikkelingen tot de peildatum; deze informatie is gecontroleerd op 2026-08-07 en blijft representatief zolang de onderliggende testen en repositories door de respectievelijke onderzoeksinstellingen gehandhaafd worden.
Wat er sinds vorige keer veranderde
- Verschuiving van theorie naar meting: Waar het vorige bericht focuste op de theoretische achterstand van meertalige tokenizers, richten we ons nu volledig op gestandaardiseerde evaluatiesets.
- Inzicht in beschikbaarheid: De dynamiek in het landschap heeft geleid tot het verdwijnen van sommige platforms (zoals het DUMB-leaderboard), wat de noodzaak voor lokale evaluatieruns benadrukt.
- Sleutelfunctie van gestandaardiseerde harnesses: De integratie van Nederlandse datasets in frameworks zoals de LM Evaluation Harness stelt ontwikkelaars in staat om direct herhaalbare tests uit te voeren.
- Aandacht voor kleine modellen: De opkomst van gespecialiseerde kleine modellen vereist specifieke retrieval- en begripsmetingen, zie daarvoor het overzicht van kleine taalmodellen en hun praktische inzetbaarheid.
De evolutie van Nederlandstalige benchmarks
De evaluatie van Nederlandse natuurlijke taalverwerking (NLP) heeft een sterke transformatie ondergaan. Aanvankelijk vertrouwden onderzoekers op losse academische datasets voor specifieke taken zoals Named Entity Recognition (NER) of sentimentanalyse. Met de opkomst van BERT-gebaseerde modellen ontstond er behoefte aan een geïntegreerde benchmark. Dit leidde tot de ontwikkeling van DUMB (Dutch Model Benchmark), gepresenteerd in de paper van de Vries, Wieling en Nissim op de EMNLP 2023-conferentie. DUMB bracht negen Nederlandse taken samen, waarvan er vier niet eerder in een gestandaardiseerde vorm voor het Nederlands beschikbaar waren.
DUMB werd primair ontworpen om encodermodellen (zoals BERTje en RobBERT) onderling te vergelijken. Een belangrijk uitgangspunt in de DUMB-methodologie was het gebruik van de Relative Error Reduction (RER) ten opzichte van een sterke baseline, in plaats van puur te kijken naar nauwkeurigheid. Uit het onderzoek van de Vries et al. (2023) bleek destijds dat specifieke Nederlandse monolinguale modellen op diverse taken verrassend ondermaats presteerden in vergelijking met bredere meertalige of grotere modellen. De beste scores binnen dat kader werden behaald door DeBERTaV3-large, XLM-R-large en mDeBERTaV3-base.
De status van deze infrastructuur illustreert echter ook de kwetsbaarheid van academische projecten. Zoals vermeld in de documentatie van het CLARIN K-Centre (gecontroleerd op 2026-08-07), is de oorspronkelijke online leaderboard-hosted omgeving (dumbench.nl) niet meer operationeel. Onderzoekers die encodermodellen willen evalueren op basis van de DUMB-pijlers, moeten de evaluatiescripts en datasets nu zelfstandig draaien via de officiële bronnen op de DUMB EMNLP 2023 paper en de bijbehorende repository op arXiv:2305.13026.
Generatieve modellen evalueren met EuroEval en Eurolingua
Voor moderne generatieve taalmodellen (zoals grote instructie- en chatmodellen) schieten traditionele encoder-benchmarks vaak tekort. Generatieve taken vragen om zero-shot en few-shot evaluatiemethoden waarbij de output-generatie centraal staat. In het Europese landschap zijn twee initiatieven leidend geworden voor gestandaardiseerde vergelijkingen.
Het eerste belangrijke initiatief is EuroEval. Dit is een benchmark-raamwerk dat is opgezet voor meer dan 30 Europese talen, met specifieke secties voor het Nederlands. Binnen dit raamwerk fungeren de leaderboards "EuroEval Monolingual Dutch" en "EuroEval multilingual Germanic" als de opvolgers van eerdere initiatieven zoals scandeval.com/dutch-nlg. EuroEval richt zich op het meten van zowel begrijpend lezen, kennis als generatieve kwaliteiten binnen een strikt gecontroleerde testomgeving. Raadpleeg het actuele overzicht rechtstreeks op het EuroEval Monolingual Dutch leaderboard (gecontroleerd op 2026-08-07).
Het tweede overkoepelende raamwerk is het European LLM Leaderboard, beheerd door het Eurolingua-initiatief. Dit project biedt multilinguale evaluatieresultaten voor 21 Europese talen, waaronder het Nederlands. Het maakt gebruik van een aangepaste fork van de bekende LM-evaluation-harness (EleutherAI). Door deze gestandaardiseerde harness-integratie kunnen modellen op een transparante en reproduceerbare wijze worden getoetst. De resultaten en de methodologische verantwoording zijn te bekijken via het European LLM Leaderboard op Hugging Face (gecontroleerd op 2026-08-07).
Informatie-retrieval testen met BEIR-NL
Wanneer modellen worden ingezet in een Retrieval-Augmented Generation (RAG) architectuur, is de generatiekwaliteit slechts de helft van de vergelijking. De kwaliteit van de embeddings en de zoekprestaties op Nederlandstalige documenten is minstens zo kritisch. Hiertoe is BEIR-NL ontwikkeld, een zero-shot informatie-retrieval benchmark specifiek voor het Nederlandse taalgebied.
De BEIR-NL benchmark werd officieel gepresenteerd in een paper tijdens de BUCC-workshop (ACL Anthology, 2025). Het vult een belangrijk gat: tot de introductie van BEIR-NL waren er nauwelijks publiekelijk toegankelijke, diverse testsets om te meten hoe goed Nederlandse retrievermodellen relevante informatie uit een grote tekstverzameling halen zonder specifieke fine-tuning.
Voor ontwikkelaars en onderzoekers die eigen zoeksystemen of RAG-pijplijnen bouwen, is het raadzaam de dataset en methodiek van BEIR-NL op te nemen in het testprotocol. Details over de opzet zijn te vinden in de BEIR-NL paper in de ACL Anthology. De datasets zelf zijn direct te downloaden en te verwerken via de CLIPS BEIR-NL datasetverzameling op Hugging Face. Om te leren hoe je een dergelijke retrieval-test opneemt in je eigen kwaliteitsborging, verwijzen we naar het stappenplan voor een eigen benchmark opzetten op benchmark.llmnet.nl.
Leesbegrip en instructievolging: SQuAD-NL v2.0
Naast retrieval en classificatie blijft begrijpend lezen een cruciale metriek voor generatieve modellen. Een van de meest gebruikte datasets hiervoor is SQuAD-NL v2.0, een naar het Nederlands vertaalde en bewerkte versie van de bekende Stanford Question Answering Dataset. Deze dataset is ondergebracht bij de onderzoeksgroep GroNLP van de Rijksuniversiteit Groningen.
SQuAD-NL v2.0 bevat vragen waarbij het antwoord direct in een meegeleverde tekstpassage te vinden is, evenals vragen die onbeantwoordbaar zijn op basis van de gegeven context. Dit laatste onderdeel is essentieel om te testen of een model in staat is hallucineren te voorkomen wanneer informatie ontbreekt. De dataset is volledig geïntegreerd in de LM Evaluation Harness, wat het eenvoudig maakt om modellen geautomatiseerd te testen.
In een inhoudelijke analyse over het evalueren van Nederlandse LLM's (gepubliceerd op 05-01-2024) toonde onderzoeker Pieter Delobelle 0-shot en few-shot resultaten op SQuAD-NL v2.0. In die analyse werden prestaties vergeleken van onder meer algemene instructiemodellen met 7 miljard parameters en het specifieke Nederlandse model GEITje-chat. Voor een diepgaande blik op de resultaten en de gebruikte prompts verwijzen we naar de blog van Pieter Delobelle over het evalueren van Nederlandse LLM's. De ruwe dataset is beschikbaar via de GroNLP SQuAD-NL v2.0 repository op Hugging Face. Voor meer verdieping in de beoordeling van de gegenereerde antwoorden kun je de handleiding voor het beoordelen van Nederlandstalige modeloutput op benchmark.llmnet.nl lezen.
Overzicht van Nederlandse modeltypen en open bronnen
Het aanbod aan Nederlandstalige modellen is divers en varieert van kleine gecureerde encoders tot aangepaste generatieve modellen. Volgens de inventarisatie van het CLARIN K-Centre voor taalmodellering (gecontroleerd op 2026-08-07) kan het landschap worden opgedeeld in verschillende categorieën. Het overzicht op de CLARIN K-Centre taalmodellering wiki geeft een helder beeld van de historische en actuele status van deze modellen.
Om vergelijkingen transparant te maken, moeten modellen op basis van hun architectuur en doelstelling worden gecategoriseerd. Onderstaande tabel geeft de belangrijkste vertegenwoordigers weer op basis van de geverifieerde gegevens van het CLARIN K-Centre:
| Categorie | Modelnaam / Initiatief | Type / Basis | Aanbevolen Evaluatiemethode |
|---|---|---|---|
| Encoders (Monolinguaal) | BERTje, RobBERT, RobBERTje | BERT / RoBERTa (Encoder) | DUMB framework, specifieke taak fine-tuning |
| Encoders (Domeinspecifiek) | MedRoBERTa.nl, belabBERT | Medisch / Belgetal (Encoder) | Domeinspecifieke classificatie & NER testsets |
| Generatief (Adaptaties) | ChocoLlama, Fietje 2 (Phi-2), Tweety-7b-dutch | Llama-2/3, Phi-2 (Decoder) | EuroEval, LM Evaluation Harness, SQuAD-NL |
| Generatief (Instructie) | Reynaerde 7B Chat, Schaapje-2B, GEITje 7B | Mistral / Llama afgeleiden | EuroEval, SQuAD-NL, handmatige kwalitatieve review |
Een belangrijke kanttekening bij de beschikbaarheid van open modellen is de continuïteit van repositories. Zo vermeldt het CLARIN-overzicht expliciet dat sommige populaire modellen, zoals GEITje 7B, op het moment van de controle (2026-08-07) niet meer actief gedownload kunnen worden vanaf hun oorspronkelijke locaties. Dit onderstreept het belang van het lokaal opslaan van model-weights en het nauwkeurig documenteren van de exacte modelversie bij elke evaluatie.
Methodologische richtlijnen voor een eerlijke vergelijking
Het vergelijken van modellen op Nederlandse taken vereist een strakke methodologische aanpak. Het simpelweg overnemen van een score van een willekeurig leaderboard leidt vaak tot verkeerde conclusies vanwege verschillen in testomstandigheden. Wie zelf evaluaties uitvoert of evaluatierapporten analyseert, dient rekening te houden met vier kritieke factoren.
Ten eerste is de exacte formulering van de prompt en het aantal voorbeelden (few-shot setup) van grote invloed. Een model dat 0-shot slecht scoort, kan met een 3-shot opzet met duidelijke Nederlandse instructies aanzienlijk beter presteren. Ten tweede moet de gekozen metriek overeenkomen met het doel. De Relative Error Reduction (RER) die bij DUMB wordt gebruikt, geeft een heel ander beeld van de voortgang dan een absolute F1-score of nauwkeurigheidspercentage.
Ten derde speelt de evaluatiedatum en het versienummer een doorslaggevende rol. Modellen en onderliggende evaluatie-harnesses worden continu bijgewerkt. Bij het rapporteren van testresultaten moeten de exacte datum van de testrun, de gebruikte software-commit van de harness en de exacte parameterinstellingen (zoals temperature en top_p) altijd expliciet vermeld worden.
Conclusie
Het beoordelen van Nederlandstalige taalmodellen is volwassen geworden. Waar men enkele jaren geleden afhankelijk was van ad-hoc vertalingen van Engelstalige benchmarks, beschikken we nu over een volwaardig instrumentarium. Met DUMB voor encodermodellen, EuroEval en het European LLM Leaderboard voor generatieve modellen, BEIR-NL voor informatie-retrieval en SQuAD-NL v2.0 voor begrijpend lezen, is het mogelijk om een representatief beeld te krijgen van de prestaties binnen het Nederlandse taalgebied.
Bij het opzetten van een vergelijking geldt dat transparantie en herhaalbaarheid voorop staan. Vertrouw niet op verouderde of niet-geifieerde ranglijsten, maar voer tests uit met gestandaardiseerde harnesses op gecontroleerde datasets. Zo kan met zekerheid het juiste model worden gekozen voor de gewenste specifieke toepassing.
