Claude Haiku 5.5 vs Gemma 4 12B: Een model met gewichten die je zelf kunt vasthouden tegenover een leveranciers-API

Claude Haiku 5.5 en G​emma 4 12B concurreren niet echt om dezelfde plek, en de snelste manier om dat te zien is één zin: de ene wordt geleverd als Apache-2.0-gewichten die je kunt downloaden, kwantiseren en op je eigen hardware kunt draaien, en de andere bestaat alleen achter een API. Claude Haiku 5.5 verscheen op 7 oktober 2026 en verlegde meteen de grenzen van wat een kleine klasse kan scoren — 43 op de onafhankelijke Artificial Analysis Intelligence Index. G​emma 4 12B staat op 14 op dezelfde ranglijst. Dat verschil is enorm, en het is niet de reden waarom de meeste teams uiteindelijk tussen deze twee kiezen.

De keuze wordt meestal al bepaald voordat er ook maar een benchmark wordt geraadpleegd: een gereguleerde pipeline die geen tokens naar een leverancier kan sturen, een edge-box zonder betrouwbare uitgaande verbinding, een latentiebudget in milliseconden, of een fine-tuningvereiste waaraan een gesloten API nooit zal voldoen. Als geen van deze op jou van toepassing is, is het antwoord niet twijfelachtig. Als er wel een van toepassing is, doet het scoreverschil er niet meer toe en bepaalt de implementatiebeperking alles.

Wat het bestuur heeft gemeten, en wanneer

De onafhankelijke cijfers hieronder zijn afkomstig van Artificial Analysis, en de leverancierstarieven komen uit de eigen documentatie van Anthropic en Google. Het zijn twee verschillende soorten getallen en ze worden door de hele tekst heen als zodanig aangeduid.

• Onafhankelijke score — Claude Haiku 5.5 met 43 op de Intelligence Index, tweede van 182 modellen. Gemma 4 12B (Reasoning) met 14, 21e van 142 in zijn klasse. Een verschil van 29 punten.

• Invoerprijs per miljoen tokens — Claude Haiku 5.5 $0,10 tot 100.000 tokens en $0,50 daarboven; Gemma 4 12B $0,10.

• Uitvoerprijs per miljoen tokens — Claude Haiku 5.5 $0,50 tot 100.000 tokens en $2,50 daarboven; G​emma 4 12B $0,30.

• Contextvenster — 1.000.000 tokens voor Claude Haiku 5.5; 262.000 voor G​emma 4 12B.

• Doorvoer — 240,4 outputtokens per seconde voor Claude Haiku 5.5; 113,1 voor G​emma 4 12B, met een tijd tot eerste token van 2,48 seconden.

• Kosten per afgeronde Index-taak — $0,21 voor Claude Haiku 5.5. Gemma 4 12B is per token goedkoop genoeg dat het gecombineerde cijfer van het bestuur uitkomt op $0,12 per miljoen tokens, maar de daaruit afgeleide kosten per taak zijn niet het getal dat de doorslag zou moeten geven bij deze vergelijking.

• Gewichten — Apache 2.0 voor G​emma 4 12B, downloadbaar, ongeveer 12 miljard parameters, dense. Claude Haiku 5.5 is propriëtair; er is geen release van de gewichten en die is ook niet gepland.

• Leeftijd — G​emma 4 12B is al sinds juni 2026 beschikbaar. Claude Haiku 5.5 is op het moment van schrijven twee dagen oud.

Het verschil is 29 punten, het prijsverschil is bijna niets

Kijk nog eens naar de twee prijsrijen: $0,10 input voor beide, en $0,30 tegenover $0,50 voor output. Gemma 4 12B is goedkoper, en het verschil is zo klein dat het in het niet valt bij de tokenaantallen — de nieuwere tokenizer van Claude Haiku 5.5 zorgt ervoor dat dezelfde tekst ongeveer 30% meer tokens oplevert, dus een ruw outputtariefvoordeel van 40% aan de kant van Gemma komt op een echte factuur dichter bij een gelijkstand.

Je betaalt dus bijna hetzelfde tarief voor een model dat 29 Index-punten achterloopt, of je betaalt bijna hetzelfde tarief voor een model dat 29 punten voorloopt, afhankelijk van welke kolom je het eerst leest. Dat is de eerlijke voorstelling van zaken en het moet ronduit worden gezegd: bij elke taak die beide modellen aankunnen, is Claude Haiku 5.5 de betere koop tegen de lijstprijs, en het is beter met een marge die geen enkele hoeveelheid prompt engineering op het kleinere model kan dichten.

De interessante vraag is daarom niet "wat is beter". Het is "bij welke van de taken in mijn wachtrij faalt G​emma 4 12B", en het antwoord daarop is het enige dat de vergelijking bepaalt.

Wat leveren weights je op dat een API niet kan?

Een gedownload model is een ander soort bezit, en de voordelen zijn structureel in plaats van incrementeel.

• Datagrens — bij Gemma 4 12B is er helemaal geen leverancier betrokken. Voor gezondheids-, juridische, defensie- of financiële workloads is dat vaak het enige dat ertoe doet, en geen enkele score maakt een API acceptabel.

• Vaste kosten in plaats van variabele — een 12B dense model dat naar vier bits is gekwantiseerd, past comfortabel op één enkele moderne accelerator. Op dat punt zijn de marginale kosten per token elektriciteit, en kan een werklast worden afgestemd op een machine in plaats van op een meter.

• Geen uitgaand verkeer, geen netwerklatentie — een on-premises 12B-model antwoordt in milliseconden omdat er niets de machine verlaat. Een leveranciers-API moet een roundtrip en een cold-start-staart betalen die een edge-implementatie eenvoudigweg niet heeft.

• Fine-tuning en distillatie — je kunt G​emma 4 12B aanpassen op je eigen data, de adapter uitleveren en hem bevriezen. Of A​nthropic je ooit een model uit de Haiku-klasse laat fine-tunen, is niet iets waarop je een roadmap kunt baseren.

• Een bodem onder je roadmap — weights kunnen niet onder je vandaan worden gedeprecieerd. Anthropic heeft toegezegd Claude Haiku 5.5 niet buiten gebruik te stellen vóór 7 oktober 2027, wat royaal is, maar een toezegging met een datum erop is nog steeds een toezegging met een datum erop.

• Modaliteit, vreemd genoeg — de tabel registreert dat Gemma 4 12B tekst-, beeld-, spraak- en video-invoer aanneemt voor tekstuitvoer, wat een bredere invoer is dan de tekst-en-beeld-invoer van Claude Haiku 5.5. Voor een lokale pipeline die audio verwerkt zonder een aparte transcriptieservice is dat een echte capaciteit die de API-kant niet heeft.

Waar de 12B het contact niet overleeft

Hetzelfde scorebord dat het gat van 29 punten meet, registreert ook de dingen die een klein dense model niet goed kan, en ze overslaan zou oneerlijk zijn:

• Lange context — 262.000 tokens tegenover 1.000.000. Een pipeline die een codebase of een jaar aan gegevens in één prompt propt, heeft geen kans op Gemma 4 12B, en het opsplitsen in een retrieval-loop voegt engineering toe die het grotere venster juist had voorkomen.

• Agentisch en computergebruik-werk — de klasse van taken waarbij de mislukking van een klein model stil en duur is. De door de leverancier gerapporteerde cijfers van Anthropic zelf voor Claude Haiku 5.5 zetten OSWorld 2.1 op 72,4% tegenover 15,7% voor de vorige Haiku; een 12B-model met een Index van 14 is niet het gereedschap voor die klus, en de leverancierscijfers hier zijn een nuttig signaal, zelfs als je er rekening mee houdt dat geen enkele onafhankelijke run ze heeft gereproduceerd.

• Doorvoer per dollar op een gedeelde vloot — 113 tokens per seconde op een gehoste instantie is prima, maar de reden om zelf te hosten is niet snelheid, en een implementatie op één GPU zal nog langzamer zijn.

• Niemands terugvaloptie — als je G​emma 4 12B in productie draait, is een storing van je eigen hardware jouw storing, zonder een tweede provider om op terug te vallen, tenzij je er zelf een bouwt.

Een van beide via één endpoint laten lopen

OrcaRouter heeft Gemma 4 31B en Gemma 4 26B-A4B vandaag in de catalogus tegen Google's adviesprijs met 0% opslag, maar niet de 12B — en het is de moeite waard dat ronduit te zeggen in plaats van iets anders te suggereren. De 12B is bereikbaar via de eigen distributie van de leverancier en verschillende platforms van derden. Claude Haiku 5.5 staat eveneens nog niet in de catalogus; het is beschikbaar via A​nthropic's API en de grote clouds.

Wat een router wél biedt, is de vorm die deze vergelijking eigenlijk vraagt. Een verstandige inzet van een goedkoop lokaal model en een duur API-model is geen splitsing — het is een route: Gemma 4 12B of een gehoste Gemma 4-variant beantwoordt de gemakkelijke meerderheid, en verzoeken die een kwaliteits- of lengtevoorwaarde overschrijden, escaleren naar een Anthropic-tak. Claude Haiku 4.5, Claude Sonnet 5.5 en Claude Opus 5.5 staan nu in de catalogus, dus het escalatiepad kan worden gebouwd en op belasting getest voordat de tak met het kleinste model zelfs maar beschikbaar is. Op OrcaRouter is die compositie een routing-DSL-expressie en automatische failover in plaats van een dienst die je zelf moet onderhouden, en doordat de lijstprijzen van providers met 0% opslag worden doorgegeven, is een prijswijziging op welke tak dan ook dezelfde dag nog live.

De regel

Kies Claude Haiku 5.5, tenzij een beperking het uitsluit. Het staat 29 Index-punten voor op G​emma 4 12B voor bijna dezelfde adviesprijs, het accepteert een miljoen tokens aan context, en het is het sterkere model bij elke taak die beide kunnen proberen. Er is geen versie van deze vergelijking waarin de 12B op merites wint.

Kies G​emma 4 12B wanneer de beperking juist het punt is — wanneer de tokens je eigen omgeving niet mogen verlaten, wanneer het budget een machine is in plaats van een meter, wanneer je moet fine-tunen, of wanneer je de gewichten in handen wilt hebben in plaats van een tariefkaart en een einddatum. Dat zijn geen voorkeuren, het zijn vereisten, en tegenover een vereiste is een verschil van 29 punten simpelweg niet het doorslaggevende getal.