Naar de inhoud
NLEN
Illustratie: OpenAI-pijplijn vond 948 Linux-rootlekken in één run: wat autonome bugjacht betekent

llama.cpp en ggml bereiken versie 1.0: de C-API wordt een afspraak

Door Ivo Donker · — tekst: Claude (AI)

Wat verandert er met llama.cpp v1.0.0? Op 13 november 2026 bracht het ggml-team de eerste stabiele hoofdversie uit van llama.cpp en van de onderliggende bibliotheek ggml. Vanaf nu krijgt elke wijziging die de publieke C-API of de ABI breekt een nieuw hoofdversienummer. Dezelfde release haalt 35 verouderde functies weg, voegt een FP8-KV-cache en een cache voor MoE-experts toe, en maakt llama-server veiliger.

We lazen de releasepagina op GitHub en de aankondiging op de blog van Hugging Face. Het onderwerp stond ook in de trending-briefing van 14 november.

Wat er gebeurde

llama.cpp is de veelgebruikte C/C++-runtime om taalmodellen lokaal te draaien, van een laptop tot een server. Tot nu toe verschenen er doorlopend genummerde builds (b-tags) zonder belofte over de stabiliteit van de headers. In de aankondiging op de blog van Hugging Face schrijven Daniel Bevenius en Georgi Gerganov dat llama.cpp en ggml voortaan onverenigbaarheden in API en ABI zichtbaar maken met een nieuwe hoofdversie. Ze hanteren semantische versies: een major voor brekende wijzigingen in de publieke C-API in ./include, een minor voor uitbreidingen, backends en modelondersteuning, en een patch voor bugfixes zonder API-wijziging.

De release v1.0.0 op GitHub verscheen op 13 november. ggml gaat in dezelfde release mee naar 1.0.0.

De details

De release ruimt op. Uit llama.h verdwijnen 35 verouderde functies en daarnaast llama_set_warmup. De optie defrag_thold en de vlag --defrag-thold zijn weg, clip.h is opgegaan in mtmd, en llama_set_embd_state_src heet nu llama_set_ctx_state_src. De API voor NextN en speculatieve decodering verhuist van llama-ext.h naar llama.h. Hoe die techniek werkt, beschreven we in ons stuk over speculative decoding.

De details
OnderdeelWat er nieuw is
KV-cacheFP8 met -ctk/-ctv f8_e4m3, optioneel met vaste schalen per tensor
MoEexpertcache met moe_cache_size en moe_cache_cpu_share in llama_context_params
Serveropt-in-vlaggen --allow-unauthenticated-tools en --media-allow-private-urls, fixes voor CORS, DNS-rebinding en SSRF
AudioOpenAI-compatibel eindpunt /v1/audio/speech en de spraaksynthese drama-3
ArchitecturenKimi-K3.1-Pro, Ripple-65B-Preview en xing4_0; voor beeld MageVL-Cowork en Kimi-K3.1 vision

De FP8-KV-cache halveert ruwweg het geheugen dat de context inneemt ten opzichte van 16 bit. Wie modellen al kleiner maakt, vindt de achtergrond in ons stuk over quantization in productie. De expertcache is bedoeld voor mixture-of-experts-modellen: een deel van de experts kan in het werkgeheugen van de CPU blijven, en de runtime wacht niet meer op de CPU voor experts die al in de cache staan. Waarom die modellen goedkoper rekenen, staat in ons stuk over mixture of experts.

Voor llama-server staan de beveiligingswijzigingen vooraan. Tools zonder authenticatie en media van privé-URL's moeten nu expliciet worden aangezet. HF_TOKEN gaat alleen nog naar hosts van huggingface.co, en MCP-toolaanroepen worden afgebroken als de verbinding wegvalt of een time-out bereikt.

Wat dit betekent

Voor wie een eigen app, binding of plugin op llama.cpp bouwt, is de belangrijkste wijziging de afspraak over versies. Code die de verwijderde functies nog aanroept, compileert niet meer tegen 1.0; na die eenmalige aanpassing kun je een hoofdversie vastpinnen. Wie llama.cpp via Ollama gebruikt, merkt nog niets: de nieuwste stabiele Ollama-release op GitHub was op 14 november v0.40.16 van 9 november, met v0.40.17-rc0 als testversie. De doorlopende b-builds gaan intussen door; de stabiele keuze is v1.0.0. Het past in de bredere groei van open software voor lokale modellen die we volgen in ons overzicht van open-source-LLM-trends.

Wat we niet hebben gecontroleerd

We hebben v1.0.0 niet zelf gebouwd of gemeten. Hoeveel geheugen de FP8-cache en de expertcache in de praktijk besparen, hangt af van model en hardware; daar noemt de release geen cijfers. De aankondiging van Georgi Gerganov op X hebben we niet letterlijk gelezen. Of en wanneer Ollama overstapt op de 1.0-API, is niet bekend.

Gecontroleerd op 14 november 2026.

Dit artikel is geschreven met AI (Claude) en gecontroleerd tegen de bronnen hieronder.

Bronnen