Claude Haiku 5.5 vs GLM 5.3 Flash: Precies gelijk op de benchmark die beide leveranciers citeren

Laat Claude Haiku 5.5 en GLM 5.3 Flash door Terminal Bench 4.0 lopen en je krijgt hetzelfde getal: 0,32828 voor beide. Niet bij benadering — identiek, tot op vijf decimalen, op de benchmark die de leverancier vooropstelt in zijn eigen lanceringsmateriaal en die ook in Z.ai's lanceringsmateriaal vooropstaat. Voor twee modellen die op volledig verschillende stacks zijn gebouwd, door leveranciers in verschillende landen, zes weken na elkaar uitgebracht, is dat een toeval waar je bij stil zou staan.

Het is ook het verkeerde getal om een beslissing op te baseren. De twee modellen lopen op alle andere punten scherp uiteen, en het patroon van dat uiteenlopen is ongewoon genoeg dat het zou moeten veranderen hoe je de belangrijkste claims van beide leveranciers leest. Een van de twee wint de samengestelde index en het kosten-per-taakcijfer. De andere wint vrijwel alles wat op een daadwerkelijke implementatie lijkt.

Ze zijn niet gescheiden op basis van capaciteit. Ze zijn gescheiden op basis van vorm.

Begin met het ene nummer dat zegt: 'deze behoren tot dezelfde modelklasse.'

• SciCode — 0,5498 voor Claude Haiku 5.5 tegenover 0,5162 voor GLM 5.3 Flash. Twee punten voor Anthropic, op een benchmark waar twee punten ruis zijn.

• Terminal Bench 4.0 — 0,32828 tegen 0,32828. Een gelijkspel, precies.

• Contextvenster — één miljoen tokens voor beide.

• Prijs van output, eerste niveau — $0,50 per miljoen tokens voor beide.

Vier rijen, vier bijna-overeenkomsten. Als je hier zou stoppen, zou je concluderen dat deze modellen uitwisselbaar zijn en op prijs kiezen. Die conclusie zou onjuist zijn, en de volgende reeks rijen maakt duidelijk waarom.

Waar ze uiteenlopen, is de richting consistent

De rijen die hen wél scheiden, zijn niet verspreid. Ze clusteren in twee groepen, en elk model bezit één groep volledig.

De agentische groep behoort tot GLM 5.3 Flash.De partiële score op AutomationBench is 0,6037 voor GLM 5.3 Flash tegenover 0,3541 voor Claude Haiku 5.5 — een verschil van 25 punten, het grootste enkele verschil tussen deze twee modellen op enige gedeelde meting. Tau-Bench Banking noteert 0,4722 voor GLM 5.3 Flash; Claude Haiku 5.5 heeft geen gepubliceerd cijfer op die rij. GPQA noteert 0,9121 voor GLM 5.3 Flash; opnieuw geen Anthropic-cijfer om mee te vergelijken. Op de maatstaven voor of een model een taak met meerdere stappen bij elkaar kan houden en tools betrouwbaar kan gebruiken binnen een gestructureerd domein, ligt het model van Z.ai voor met een marge die het verschil in de samengestelde index de andere kant op in het niet doet vallen.

De groep voor samengestelde score en kosten is voor Claude Haiku 5.5. De Artificial Analysis Intelligence Index v4.3.2 staat op 43,40 tegen 41,81 — 1,59 punten, en dat is het getal dat elke samenvatting van deze confrontatie citeert. De kosten per voltooide Index-taak bedragen $0,21 tegen $0,25. De kloktijd per Index-taak bedraagt 424,6 seconden tegen 1.035,4 seconden: het model van Anthropic is in minder dan de helft van de tijd klaar.

Dat is de vorm van de keuze. Claude Haiku 5.5 is sneller, goedkoper per afgeronde opdracht en scoort hoger op het geheel. GLM 5.3 Flash is betrouwbaarder bij de specifieke soort werk waarvoor goedkope modellen worden aangeschaft.

Welke moet je geloven?

Geen van beide, op zichzelf — en de onenigheid zelf is de informatie.

De Intelligence Index is een gewogen combinatie van de categorieën redeneren, wetenschap, programmeren en agentisch werken. Die is ontworpen om met één getal antwoord te geven op de vraag "hoe capabel is dit model ongeveer", en dat doet die goed. Wat die niet kan, is je vertellen of een voorsprong van 1,59 punt uit de categorieën komt waarin jouw workload zich afspeelt of uit de categorieën die die nooit raakt. Hier komt de voorsprong grotendeels uit rijen als SciCode en Humanity's Last Exam — 0,5498 tegen 0,5162, en 0,4439 tegen 0,3985 — terwijl er een tekort van 25 punten op AutomationBench staat met het omgekeerde teken.

Een team dat een code-assistent bouwt op een terminal-loop zal de SciCode-voorsprong opmerken. Een team dat een agent bouwt die een bancaire workflow end-to-end moet afronden, zal de AutomationBench-kloof opmerken, en het zal dat werkelijk elke dag merken. De twee teams kijken naar dezelfde index en zouden tot tegengestelde conclusies moeten komen.

De praktische stap is om de composietscore als een filter te lezen, niet als een rangschikking. Als twee modellen binnen ongeveer twee indexpunten van elkaar liggen, heeft de composietscore je gezegd dat ze in dezelfde band zitten en niets gezegd over welke je moet kiezen. Op dat punt zijn de enige rijen die het lezen waard zijn, die welke bij je workload passen — en als een leverancier een rij die je nodig hebt niet heeft gepubliceerd, is de afwezigheid zelf een datapunt, geen hiaat dat met aannames moet worden opgevuld.

De tokenizer-regel die niemand in de vergelijkingstabel zet

De eigen documentatie van Anthropic bevat één zin die elke prijsvergelijking waarbij Claude Haiku 5.5 betrokken is, verandert, en het is gemakkelijk om eroverheen te lezen. Het model gebruikt de nieuwere tokenizer die het deelt met Claude 4.7 en later, waardoor dezelfde tekst op ongeveer 30% meer tokens uitkomt dan bij het model dat het vervangt.

Zet dat af tegen de tariefkaart en de rekensom wordt minder flatteus dan het prijskaartje doet vermoeden. Het invoertarief van Claude Haiku 5.5 is $0,10 per miljoen tokens tegenover $0,15 voor GLM 5.3 Flash — een voordeel van 1,5×. Reken je 30% meer tokens voor dezelfde prompt, dan wordt het effectieve voordeel bij identieke tekst aanzienlijk kleiner, hoewel het niet verdwijnt. De uitvoertarieven zijn identiek op $0,50 in de eerste schijf, dus daar geldt het tokenizer-effect zonder dat er iets tegenover staat.

Het gemeten resultaat is de eerlijke versie van de bewering: volgens de eigen boekhouding van Artificial Analysis genereerde Claude Haiku 5.5 162.164 outputtokens per Index-taak tegenover 68.673 voor GLM 5.3 Flash — 2,4 keer zoveel — en kwam toch uit op $0,21 per afgeronde taak tegenover $0,25. Het tariefvoordeel overleeft de breedsprakigheid, en wat ervan overblijft is kleiner dan de tariefkaart aangeeft.

Slechts één van deze twee heeft zijn tarieven als vast vermeld. De prijs van Claude Haiku 5.5 stijgt na 100.000 tokens aan prompt naar $0,50 voor input en $2,50 voor output; voor GLM 5.3 Flash is geen vergelijkbare drempel gepubliceerd. Voor het meeste chat- en code-assistentieverkeer geldt die stap nooit. Voor agentwerk met lange documenten of grote contexten geldt die stap voortdurend, en op dat punt slaat de vergelijking om, ruim voorbij alles wat de cijfers van de eerste laag suggereren.

De lijn die het beslist voordat een van de cijfers dat doet

Alles hierboven gaat ervan uit dat je vrij tussen deze twee modellen kunt kiezen. Een groot deel van de teams kan dat niet, en de reden is één enkele regel op een specificatieblad die de benchmarkdiscussie doorgaans begraaft.

GLM 5.3 Flash heeft open gewichten en is uitgebracht onder de MIT-licentie, met in totaal 320 miljard parameters, waarvan 18 miljard actief. Het kan worden gedownload, zelf gehost, fijn afgestemd, gekwantiseerd, aan een versie vastgezet en uitgevoerd binnen een omgeving die u beheert. Claude Haiku 5.5 is propriëtair en alleen via een API beschikbaar, zonder gepubliceerd aantal parameters, zonder licentie en zonder repository.

Als in je eisendocument staat dat het model op je eigen hardware moet draaien, of dat een specifieke checkpoint de komende drie jaar beschikbaar moet blijven, dan is deze vergelijking al voorbij voordat de prijskolom zelfs maar is ingevuld. Dat is geen formaliteit. Het is de meest voorkomende reden dat teams überhaupt op een open-weights middenmodel uitkomen, en het is de reden dat een voorsprong van 25 punten op AutomationBench niet het enige is dat in de richting van Z.ai trekt.

Het snijdt ook de andere kant op, en dezelfde eerlijkheid geldt. Anthropic publiceert een uitfaseringsverbintenis voor Claude Haiku 5.5 van niet eerder dan oktober 2027, en draagt het model op een first-party API met een systeemkaart en een gedocumenteerde evaluatieset. Een open-weights-release is niet automatisch duurzamer — je erft de operationele last samen met de gewichten, en een licentiebestand is geen supportcontract. Welke van die twee je wilt, is een vraag over je team, niet over de modellen.

Beide kanten op één toets, als je het empirisch wilt beslechten.

GLM 5.3 Flash staat in de OrcaRouter-catalogus tegen de lijstprijs van Z.ai met 0% opslag, doorgegeven in plaats van vermengd, dus het tarief hierboven is het tarief op de factuur en elke wijziging die Z.ai doorvoert, komt dezelfde dag nog aan onze kant terecht. Claude Haiku 5.5 staat niet in onze catalogus — het is bereikbaar via de eigen API van Anthropic — en het is beter om dat te vermelden dan het impliciet te laten.

Wat de catalogus wél gemakkelijk maakt, is de vorm van de test waar deze matchup eigenlijk om vraagt. Het verschil tussen de samengestelde index en de agentische rijen is een hypothese over jouw workload, en de enige manier om het op te lossen is beide modellen over dezelfde trace te laten lopen. Met GLM 5.3 Flash op de route en een Anthropic-verbinding aan de andere kant van dezelfde gateway, wordt dat een configuratiewijziging in plaats van twee integraties — één API voor meer dan 200 modellen, één key, automatische failover eronder, en de routing-DSL wanneer je verkeer wilt splitsen op taakklasse en de kosten van één factuur wilt aflezen.

Het oordeel, verwoord zoals de cijfers het ondersteunen.

Als je werk tekst in, tekst uit is, je prompts binnen de eerste prijscategorie blijven en je per token betaalt voor echte volumes, is Claude Haiku 5.5 hier het betere model: hogere samengestelde score, goedkoper per voltooide taak en meer dan twee keer zo snel per taak. De terminal-benchmark-headline stelt niets voor en mag niet worden gebruikt om iets te beslechten.

Als je werk een agent is die zonder supervisie een workflow met meerdere stappen moet voltooien, dan loopt GLM 5.3 Flash voor op de enige gedeelde benchmark die precies dat meet, met 25 punten, en het is de goedkoopste van de twee om aan te passen, omdat je de gewichten kunt vasthouden.

De gelijke stand op 0,32828 is het juiste beeld voor dit paar, maar niet omdat de modellen gelijk zijn. Het is de enige rij waarin twee modellen die verder vrijwel niets gemeen hebben, toevallig op hetzelfde cijfer uitkomen — en dat cijfer behandelen als een samenvatting van de vergelijking is hoe een inkoopbeslissing wordt genomen op basis van het minst informatieve getal in de tabel.