
Karpo Decision 31B vs Kev 27B: Het beter gedocumenteerde model verliest met 14 punten
- OrcaNIEUWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 mln tokens · 184 tok/s
- tencentNIEUWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 mln tokens · 223 tok/s
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 87 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 96 tok/s
- orcaNIEUWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 mln tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 mln tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
Dit is de zeldzame confrontatie waarin beide modellen door dezelfde mensen op hetzelfde instrument werden beoordeeld. Karpo Decision 31B en Kev 27B staan allebei op de Decision Index, het communityboard dat open reproducties van TypeSafe's Jev scoort, en de kloof tussen hen is niet klein: 73.9 Full voor het MachinePulse-model tegenover 59.6 voor de Kev 27B van Jared Palmer, een verschil van veertien punten op identieke privétests. Karpo staat bovenaan de lijst. Kev staat 74e van de 307.
Dat resultaat is ongemakkelijk, want Kev 27B is met grote marge het model dat rigoureuzer is gedocumenteerd, en op het ene kenmerk waarvoor een beslissingsmodel daadwerkelijk wordt ingezet — de eerlijkheid van zijn waarschijnlijkheden — is het meetbaar beter dan het model dat het verslaat. Beide beweringen komen uit dezelfde twee bronnen, en begrijpen waarom ze elkaar niet tegenspreken is het nuttigste onderdeel van deze vergelijking.
Wat elk model is, vóór de scores
Kev 27B is een fine-tune met volledige gewichten van Qwen3.8-27B gepubliceerd door Jared Palmer onder Apache-2.0. De tweede versie, uitgebracht op 30 september 2026, is een gewogen gemiddelde: elke backbone-tensor is 0,85 × het gewicht van de fine-tune plus 0,15 × dat van de vorige versie, waarbij de pointer-head uit de nieuwe run behouden blijft. Het geserveerde checkpoint is 25,6B in de backbone plus een head met 2,6M parameters, 51,3 GB in bf16, met een enkele kalibratietemperatuur van 1,32 die in het head-bestand is ingebakken. De states lopen tot 65.536 tokens, met minstens 8.192 per vraag, en dat getal is gevalideerd in plaats van nominaal — de modelkaart publiceert het gepaarde nauwkeurigheidsverschil in elke bucket van 8k tot 64k ten opzichte van de 8k-baseline, met betrouwbaarheidsintervallen.
Karpo Decision 31B is een fine-tune van Gemma 4 31B, een instructie-afgestemd model, gepubliceerd door MachinePulse op 5 november 2026, eveneens onder Apache-2.0. Het behoudt 31,3B parameters in bf16 plus een 255 × 5.376 fp32-readout — 62,5 GB op schijf — en antwoordt via een lineaire head over optiecodes in plaats van een pointer-head over tokens. De context bedraagt 32.768 tokens per sequentie, per vraag opgesplitst wanneer een verzoek overloopt, met een regelrechte weigering in plaats van truncatie wanneer één enkele vraag niet past.
Zelfde taak, andere engineering. Kev leest een lang document en produceert een distributie. Karpo leest een iets korter document en produceert een distributie, sneller.
De 14 punten, en wat ze heeft voortgebracht

Beide rijen komen van hetzelfde board, dus dit gedeelte is een van de weinige plaatsen waar een directe aftrekking gerechtvaardigd is.
• Volledige score — Karpo 73,9, Kev 59,6.
• Openbare index — Karpo 75.05, Kev 56.69.
• Rangschikking op Volledige score — Karpo 1e (ex aequo met GLiDE 27B op 73,4), Kev 74e van 307.
• Kennis en redeneren — Karpo 65,5 kansgecorrigeerde vaardigheid, Kev 45,7.
• Tools en automatisering — Karpo 88,4, Kev 72,7.
• Kunst en menselijke smaak — Karpo 68,2, Kev 42,7.
• Mediane latentie, één GPU, één verzoek tegelijk — Karpo 94 ms, Kev 135 ms.
De vorm van het verlies is consistent in elke categorie, en de grootste absolute kloof zit bij kennis, met bijna twintig punten. Dat is het punt dat iedereen zou moeten verontrusten die Kev wil gebruiken voor documentbeslissingen: het model is zwaar getraind op document- en developer-toolingwerk — 24.000 van zijn 145.840 trainingsrecords komen uit gelicentieerde taakfamilies, nog eens 7.617 zijn samengestelde lange documenten — en toch haalt het nog steeds twee derde van Karpo's kennisvaardigheid.
Kevs eigen kaart is openhartig over de richting waarin het gaat. Gemeten op zijn eigen breedte-suite tegen TypeSafe's Jev, rapporteert het een index van 52,3 met een betrouwbaarheidsinterval van [49,2; 55,4] tegenover Jevs 54,0 [51,2; 57,0] — een verlies dat het ronduit vermeldt en niet mooier maakt. Een team dat zijn eigen verliezende interval publiceert, is een team waarvan de andere cijfers het voordeel van de twijfel verdienen. Dat is precies wat de 59,6 geloofwaardig maakt in plaats van beschamend.
Het getal dat de andere kant op loopt
Hier is de wending. Kalibratiefout — hoe ver de opgegeven waarschijnlijkheid afwijkt van de waargenomen trefkans — bevoordeelt Kev, en niet nipt.
De tracker registreert een verwachte kalibratiefout van 2,18 punten voor Kev 27B tegenover 4,77 voor Karpo Decision 31B. Simpel gezegd: als Kev 0,8 zegt, heeft hij ongeveer 80% van de tijd gelijk, met een gemiddelde afwijking van twee punten. Als Karpo 0,8 zegt, ligt de gemiddelde afwijking dichter bij vijf punten. De kaart van Kev bevestigt dit van zijn eigen kant, met ECE-cijfers per paneel tussen 0,014 en 0,053 en een vijfvoudige kruisvalidatie die de fitfout verlaagt van 4,8% naar 3,8%.
Dus het model dat slechter is in antwoorden, is beter in weten hoe goed zijn antwoorden zijn. Dat is geen paradox, het is het onderscheid tussen nauwkeurigheid en kalibratie, en het bepaalt welk model waar thuishoort:
• Als de beslissing geautomatiseerd wordt bij een drempelwaarde, is kalibratie de bepalende eigenschap. Een poort ingesteld op 0,9 die afgaat op Karpo's 0,9-antwoorden zal ongeveer twee keer zo vaak onjuist zijn als dezelfde poort op Kevs antwoorden. Kevs lagere nauwkeurigheid kost je doorvoer — meer gevallen vallen onder de drempel en gaan naar beoordeling — en de betere kalibratie betekent dat de gevallen die de lat halen veiliger zijn.
• Als de beslissing wordt beoordeeld of gescoord, domineert nauwkeurigheid. Een mens of een downstreamproces ziet het beste antwoord en de waarschijnlijkheid, en veertien punten nauwkeurigheid betekent veertien punten werk dat correct is uitgevoerd. Kevs kalibratievoordeel levert niets op wanneer niemand drempelwaarden toepast.

Beide modellen leveren dezelfde drie vraagtypen — choice tot 255 opties, noul voor waar/onwaar, score voor een geordende rubric — en beide bieden een System One-vormig HTTP-endpoint, dus de keuze is omkeerbaar in code. Dat is het goede nieuws: je kunt dit in een middag op je eigen data meten in plaats van erover te discussiëren.
De documentlengte is waar de specificaties echt uiteenlopen.
Karpo's plafond van 32.768 tokens geldt per sequentie, en de splitsingsregel is "per vraag, waarbij elk deel de volledige status draagt". Voor honderd vragen over een contract van 20k tokens is dat één pass en geen drama. Voor één vraag over een contract van 40k tokens wordt het verzoek geweigerd — negen van de 140.178 verzoeken in MachinePulse's eigen run mislukten precies op deze manier.
Kev levert toestanden van 65.536 tokens, gevalideerd in buckets, en het langdocumentpaneel is het nuttigste onderdeel op de kaart voor iedereen met echte contracten. Op commerciële overeenkomsten uit CUAD rapporteert het een nauwkeurigheid van 0,874 over 2.194 vragen, waarbij de cijfers per bucket tussen 0,867 en 0,880 blijven liggen, van minder dan 8k helemaal tot 32k–64k tokens. De nauwkeurigheid stort niet in met de lengte. Wat wel verschuift, is de kalibratie: de fout op dat langdocumentpaneel is 0,053, ongeveer drie keer het cijfer voor korte documenten. Bij lange toestanden wordt Kevs vertrouwen losser.
Dus de eerlijke afweging qua lengte: Kev neemt een document aan dat Karpo weigert, en beantwoordt dat iets minder betrouwbaar dan een kort document. Geen van beide modellen zal stilzwijgend afkappen, en dat is belangrijker dan beide cijfers — een beslissingsmodel dat stilletjes de clausule laat vallen waar je naar vroeg, is slechter dan een model dat nee zegt.
Implementatie, gewichten en de licentie delen beide
Beide modellen zijn Apache-2.0 voor gewichten en head, beide vereisen hun eigen loader, en beide falen jammerlijk als je ze als chatmodellen behandelt. Kev heeft een GPU van de 80GB-klasse nodig — een 64k-tokenstatus piekte op 87,1 GB op een H200 — of een Mac met ongeveer 96 GB. Karpo heeft een GPU nodig die 62,5 GB aan bf16-gewichten kan bevatten. Geen van beide heeft een gehoste endpoint van zijn uitgever; Kev wordt geserveerd door de server van zijn eigen repository, Karpo door zijn eigen package. Beide hebben community-quantisaties aangetrokken, wat het gebruikelijke signaal is dat mensen ze daadwerkelijk draaien in plaats van erover te lezen.
Het verschil van 135 ms versus 94 ms is per verzoek op hardware die niet identiek is, dus behandel het als richtinggevend. Wat niet richtinggevend is, is de operationele vorm: Kevs niet-causale attention over de volledige sequentie kost meer per token naarmate toestanden langer worden, terwijl Karpo één gedeelde toestand per verzoek berekent en vragen daarvan aftakt. Als je workload veel vragen over een korte toestand is, is Karpo precies daarvoor gebouwd. Is het één vraag over een lang document, dan is Kev dat.
Welke moet ik uitvoeren?
Kies Kev 27B als je een model een overeenkomst van 64k tokens moet geven, als je een drempel op waarschijnlijkheid wilt toepassen en erop wilt vertrouwen dat die drempel betekent wat hij zegt, en als je waarde hecht aan een leverancier die betrouwbaarheidsintervallen publiceert over zijn eigen verliezen. Je levert ongeveer veertien procentpunten nauwkeurigheid in op een leaderboard waarop beide modellen hebben meegedaan, en je krijgt het beste bewijs uit het veld voor wat die nauwkeurigheid wel en niet dekt.
Kies Karpo Decision 31B als de toestand een screenshot, een ticket of een pagina is — kort, veel vragen, latentiegevoelig — en als de Full-score van het board het bewijs is dat je laat wegen. Je accepteert een kalibratiefout van vijf punten en een plafond van 32k, en je krijgt de huidige koploper op 94 ms.
Wat geen van beide je biedt, is een productie-endpoint. Als de beslissingslaag achter een poort moet zitten die vóór elke tool-call afgaat, zul je er zelf een draaien, of je roept iets gehosts aan. TypeSafe's Jev 1.14 staat in onze catalogus voor precies die rol, en het is het model dat beide checkpoints moesten evenaren — nuttig als controle in een schaduwtest, want een open reproductie die zijn doelwit verslaat op een leaderboard van een derde partij, zou dat ook op jouw verkeer moeten doen. De catalogus bevat ook beide basismodellen, Gemma 4 31B en Qwen3.8-27B, via één API voor 200+ modellen tegen de lijstprijs van de provider, zonder opslag, de goedkoopste manier om vast te stellen of een beslissingslaag überhaupt de moeite waard is om te bezitten voordat je de GPU koopt.
De open vraag die deze confrontatie achterlaat, is de vraag die het scorebord niet kan beantwoorden: of Karpo's voorsprong van veertien punten standhoudt bij een echte werkbelasting, of dat het een voorsprong is die voortkomt uit afstemming op een distributie die dichter bij de privétestset ligt dan die van de concurrent. Kevs modelkaart documenteert zijn trainingsmix tot op het aantal records; die van Karpo niet. Die asymmetrie is geen bewijs voor iets, en juist daarom moet je meten in plaats van een van beide getallen te vertrouwen.

