NVIDIA Nemotron 3.5 Bolt E4B: klein open model voor lokale assistenten, getest op een Mac
Wat is Nemotron 3.5 Bolt E4B? Het is een klein open taalmodel van NVIDIA, bijgetraind op Google's Gemma 4 E4B. Het heeft 8 miljard parameters, waarvan er 4 miljard per stap actief zijn. NVIDIA richt het op lokale spraak- en apparaatassistenten: korte antwoorden, gesprekken over meerdere beurten en het aanroepen van tools. Op een Mac Studio met M1 Max haalde het in onze test ruim 40 tokens per seconde en deed het tien van de tien testtaken goed. Het werkt zonder internet, dus wat je typt blijft op je eigen computer.
We lazen de modelkaart op Hugging Face en draaiden het model zelf in LM Studio. Het model verscheen al op 23 oktober 2026, maar ging op 17 november viraal op X.
Wat het is
NVIDIA nam Gemma 4 E4B als basis en trainde het verder met reinforcement learning (GRPO) op het volgen van instructies, tools gebruiken over meerdere stappen, gesprekken en gestructureerde uitvoer. De versie met "4GB" in de naam is een 4-bit-kwantisatie (Q4_K_M) als GGUF-bestand voor llama.cpp. Het model leest en schrijft alleen tekst en kan tot 64.000 tokens context aan. Je kunt het laten "nadenken" voordat het antwoordt, of dat uitzetten. Voor sneller genereren is er een apart hulpmodel (DFlash) voor speculative decoding. De modelkaart noemt Engels, Spaans, Frans, Duits, Italiaans en Japans, "onder andere". Nederlands staat er niet bij, maar ging in onze test goed. Hoe open zulke modellen precies zijn, hangt af van de licentie; zie het licentiedebat over open modellen.
Wat NVIDIA claimt
NVIDIA vergelijkt het model met Gemma 4 E4B en Qwen3.5 4B, alle drie in Q4_K_M. Op IFBench (instructies volgen) scoort Bolt 64,0, tegen 42,7 voor Gemma en 66,7 voor Qwen. Op Tau2-Bench (agenttaken met tools) is het 52,3 tegen 38,7 en 61,7. Op BFCL-v3 (functies aanroepen) 67,3 tegen 65,0 en 70,6. Bij lange teksten wint Qwen duidelijk: RULER op 64K geeft 85,8 voor Bolt en 95,4 voor Qwen. Kortom: veel beter dan het eigen basismodel in instructies en tools, maar niet overal beter dan Qwen. Dit zijn NVIDIA's eigen metingen; die hebben wij niet nagedaan.
Onze test op een M1 Max
We draaiden het model in LM Studio (llama.cpp met Metal) op een Mac Studio met M1 Max en 32 GB geheugen, met 16.384 tokens context, de aanbevolen instellingen (temperature 1,0, top_p 0,95) en het nadenken aan, want zo staat het standaard. Laden duurde 8 seconden. Het model nam ongeveer 6,2 GB geheugen in beslag. De "4GB" uit de naam zagen wij in deze opzet dus niet terug.
- Snelheid: 40,6 tot 43,1 tokens per seconde bij het genereren.
- Eerste token: 0,3 tot 1,0 seconde bij korte vragen. Een vraag van 7.230 tokens duurde 19,9 seconden tot het eerste token, ongeveer 360 tokens per seconde aan inlezen.
- Nadenken kost tijd: per antwoord schreef het model eerst 150 tot 450 tokens aan overwegingen (in het Engels), waardoor een kort antwoord 5 tot 16 seconden duurde.
De kwaliteit was voor dit formaat sterk. Een Nederlandse samenvatting in precies twee zinnen klopte, al viel het detail over lokale servers weg. Een Python-functie voor palindromen was correct. In een kapotte gemiddelde-functie vond het beide fouten: het eerste element werd overgeslagen en een lege lijst liet het crashen. Een logische puzzel en een tijdrekensom (vertrek 14:47, rit 2 uur 38, 12 minuten vertraging: 17:37) gingen goed. Uit een zakelijke zin haalde het nette JSON met een ISO-datum en het bedrag als getal. Gevraagd om een timer en het weer, riep het beide tools tegelijk aan met de juiste argumenten. Als router verdeelde het vier taken goed over vier agents. Vertalingen NL-EN en EN-NL klonken natuurlijk, maar het gaf ongevraagd drie varianten. Bij de lange tekst van 7.230 tokens bleef het zo lang nadenken dat het binnen 300 tokens niet aan een antwoord toekwam.
Waar het goed voor is, en waarvoor niet
Goed: lokale assistenten en chatbots die snel moeten reageren, tools aanroepen, verzoeken doorsturen naar de juiste agent, gegevens uit tekst halen en korte samenvattingen, ook offline en met privacygevoelige tekst. Minder goed: lange documenten, complexe programmeerklussen en vragen die veel feitenkennis vragen. Daarvoor zijn grotere modellen of Qwen3.5 4B (bij lange context) een betere keus. Het model kan geen beelden of audio verwerken.
Zelf draaien in LM Studio
Zoek in LM Studio op "Nemotron 3.5 Bolt E4B" of download het GGUF-bestand van Hugging Face. Laden kan ook vanaf de terminal met lms load nvidia-nemotron-3.5-bolt-e4b-4gb --context-length 16384; de modelnaam kan bij jou anders zijn. LM Studio biedt het daarna aan via de OpenAI-compatibele API op http://localhost:1234/v1. Met 16 GB geheugen heb je ruimte genoeg.
Licentie
Het model valt onder de OpenMDW License 1.1 en mag commercieel en niet-commercieel gebruikt worden. Het onderliggende Gemma 4-model valt onder Apache 2.0.
Wat we niet hebben gecontroleerd
We hebben de benchmarks van NVIDIA niet zelf nagemeten. Onze test is klein (tien korte taken en één lange) en de antwoorden variëren door de temperature van 1,0. Het nadenken uitzetten en het DFlash-hulpmodel hebben we niet getest. Het bericht op X noemt het model nieuw; volgens de modelkaart staat het sinds 23 oktober 2026 online.
Getest en gecontroleerd op 17 november 2026.
Dit artikel is geschreven met AI (Grok Bot). De testcijfers komen uit onze eigen test op een Mac Studio.
Bronnen
- NVIDIA, modelkaart NVIDIA-Nemotron-3.5-Bolt-E4B-4GB: huggingface.co
- NVIDIA, Nemotron 3.5 Bolt E4B: build.nvidia.com
- Fran Pradas op X (signaal): x.com/franpradasAI


