
Karpo Decision 31B vs Kev 27B: Den bättre dokumenterade modellen förlorar med 14 poäng
- OrcaNYOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M tokens · 184 tok/s
- tencentNYTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M tokens · 223 tok/s
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 87 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 96 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
Detta är en ovanlig matchning där båda modellerna bedömdes med samma instrument av samma personer. Karpo Decision 31B och Kev 27B finns båda på Decision Index, communitylistan som poängsätter öppna reproduktioner av TypeSafe's Jev, och gapet mellan dem är inte litet: 73,9 Full för MachinePulse-modellen mot 59,6 för Jared Palmers Kev 27B, en spridning på fjorton punkter på identiska privata tester. Karpo leder listan. Kev ligger på 74:e plats av 307.
Det resultatet är besvärande, eftersom Kev 27B är den mer rigoröst dokumenterade modellen med god marginal, och i den enda egenskap som en beslutsmodell faktiskt anlitas för – ärligheten i dess sannolikheter – är den mätbart bättre än modellen som slår den. Båda dessa påståenden kommer från samma två källor, och att förstå varför de inte motsäger varandra är det mest användbara i den här jämförelsen.
Vad varje modell är, innan poängen
Kev 27B är en fullviktsfinjustering av Qwen3.8-27B som publicerats av Jared Palmer under Apache-2.0. Dess andra version, som släpptes den 30 september 2026, är ett viktat medelvärde: varje backbone-tensor är 0,85 × den finjusterade vikten plus 0,15 × den föregående versionens, med pekarhuvudet behållet från den nya körningen. Den serverade checkpointen är 25,6B i backbone plus ett huvud med 2,6M parametrar, 51,3 GB i bf16, med en enda kalibreringstemperatur på 1,32 inbakad i huvudfilen. Tillstånden sträcker sig upp till 65 536 token med minst 8 192 per fråga, och den siffran är validerad snarare än nominell – kortet publicerar den parade noggrannhetsskillnaden i varje intervall från 8k till 64k jämfört med 8k-baslinjen, med konfidensintervall.
Karpo Decision 31B är en finjusterad version av Gemma 4 31B som är instruktionstränad, publicerad av MachinePulse den 5 november 2026, även den under Apache-2.0. Den har 31,3B parametrar i bf16 plus en 255 × 5 376 fp32-readout — 62,5 GB på disk — och svarar via ett linjärt huvud över alternativkoder i stället för ett pekarhuvud över tokens. Kontexten är 32 768 tokens per sekvens, uppdelad per fråga när en begäran blir för stor, med ett uttryckligt avslag i stället för trunkering när en enskild fråga inte får plats.
Samma jobb, olika teknik. Kev läser ett långt dokument och producerar en fördelning. Karpo läser ett något kortare och producerar en fördelning, snabbare.
De 14 punkterna, och vad som gav upphov till dem

Båda raderna kommer från samma kort, så det här avsnittet är ett av få ställen där en direkt subtraktion är legitim.
• Fullständigt resultat — Karpo 73,9, Kev 59,6.
• Publikt index — Karpo 75,05, Kev 56,69.
• Rangordnat efter Full score – Karpo 1:a (delad med GLiDE 27B på 73,4), Kev 74:a av 307.
• Kunskap och resonemang — Karpo 65,5 i slumpkorrigerad skicklighet, Kev 45,7.
• Verktyg och automatisering — Karpo 88,4, Kev 72,7.
• Konst och mänsklig smak — Karpo 68.2, Kev 42.7.
• Medianlatens, en GPU, en förfrågan i taget — Karpo 94 ms, Kev 135 ms.
Förlustens form är konsekvent över alla kategorier, och den största absoluta skillnaden finns inom kunskap, på nästan tjugo punkter. Det är den som borde oroa alla som planerar att använda Kev för dokumentbeslut: modellen tränades i hög grad på dokument- och utvecklarverktygsarbete – 24 000 av dess 145 840 träningsposter kommer från licensierade uppgiftsfamiljer, ytterligare 7 617 är sammansatta långa dokument – och den når fortfarande två tredjedelar av Karpos kunskapsförmåga.
Kevs eget kort är uppriktigt om färdriktningen. Mätt på sin egen breddssvit mot TypeSafes Jev rapporterar det ett index på 52,3 med ett konfidensintervall på [49,2; 55,4] mot Jevs 54,0 [51,2; 57,0] – en förlust som det redovisar rakt ut och inte förskönar. Ett team som publicerar sitt eget förlorande intervall är ett team vars övriga siffror förtjänar fördel av tvivlet. Det är just det som gör 59,6 trovärdigt i stället för pinsamt.
Numret som går åt andra hållet
Här är vändningen. Kalibreringsfelet – hur långt den angivna sannolikheten avviker från den observerade träffrekvensen – gynnar Kev, och inte med knapp marginal.
Trackern registrerar ett förväntat kalibreringsfel på 2,18 punkter för Kev 27B mot 4,77 för Karpo Decision 31B. I klartext: när Kev säger 0,8 har den rätt ungefär 80 % av gångerna, med en genomsnittlig avvikelse på två punkter. När Karpo säger 0,8 är den genomsnittliga avvikelsen närmare fem punkter. Kevs modellkort bekräftar detta utifrån sitt eget perspektiv och publicerar ECE-siffror per panel mellan 0,014 och 0,053 samt en femfaldig korsvalidering som sänker anpassningsfelet från 4,8 % till 3,8 %.
Så modellen som är sämre på att svara är bättre på att veta hur bra dess svar är. Det är inte en paradox, det är skillnaden mellan noggrannhet och kalibrering, och det avgör vilken modell som hör hemma var:
• Om beslutet automatiseras vid ett tröskelvärde, är kalibrering den avgörande egenskapen. En grind inställd på 0,9 som slår till för Karpos svar på 0,9 kommer att vara fel ungefär dubbelt så ofta som samma grind för Kevs. Kevs lägre noggrannhet kostar dig genomströmning – fler ärenden faller under tröskelvärdet och går till granskning – och dess bättre kalibrering innebär att de som klarar ribban är säkrare.
• Om beslutet granskas eller poängsätts, dominerar noggrannheten. En människa eller en efterföljande process ser det bästa svaret och sannolikheten, och fjorton poängs noggrannhet är fjorton poängs arbete som utförts korrekt. Kevs kalibreringsfördel ger ingenting när ingen tillämpar tröskelvärden.

Båda modellerna erbjuder samma tre frågetyper – choice med upp till 255 alternativ, noul för sant/falskt, score för en ordnad bedömningsskala – och båda exponerar en System One-formad HTTP-endpoint, så valet är reversibelt i kod. Det är den goda nyheten: du kan mäta detta på dina egna data på en eftermiddag i stället för att argumentera om det.
Dokumentlängden är där specifikationerna faktiskt skiljer sig åt
Karpos tak på 32 768 token gäller per sekvens, och delningsregeln är "per fråga, där varje del bär hela tillståndet". För hundra frågor över ett kontrakt på 20 000 token är det en enda genomkörning och inget drama. För en enda fråga över ett kontrakt på 40 000 token avvisas begäran – nio av de 140 178 begärandena i MachinePulses egen körning misslyckades precis på detta sätt.
Kev hanterar tillstånd på 65 536 token, validerade i intervall, och dess långdokumentpanel är det mest användbara på kortet för alla som har riktiga avtal. På CUAD:s kommersiella avtal rapporterar den en noggrannhet på 0,874 över 2 194 frågor, där siffrorna per intervall ligger mellan 0,867 och 0,880 från under 8k hela vägen till 32k–64k token. Noggrannheten kollapsar inte med längden. Det som förändras är kalibreringen: felet på den panelen för långa dokument är 0,053, ungefär tre gånger så högt som siffran för korta dokument. Det är i långa tillstånd som Kevs självförtroende blir svajigt.
Den ärliga avvägningen när det gäller längd: Kev tar en handling som Karpo vägrar, och den svarar på den något mindre tillförlitligt än den svarar på en kort. Ingen av modellerna kommer tyst att trunkera, vilket är viktigare än någon av siffrorna – en beslutsmodell som i tysthet tappar den klausul du frågade om är sämre än en som säger nej.
Driftsättning, vikter och licensen delar båda
Båda modellerna är Apache-2.0 för vikter och head, båda kräver sin egen loader, och båda misslyckas kapitalt om du behandlar dem som chattmodeller. Kev behöver ett GPU av 80 GB-klass — ett 64k-token-tillstånd toppade på 87,1 GB på en H200 — eller en Mac med ungefär 96 GB. Karpo behöver ett GPU som rymmer 62,5 GB bf16-vikter. Ingen av dem har någon hostad slutpunkt från sin utgivare; Kev serveras av servern i sitt eget repository, Karpo av sitt eget paket. Båda har lockat till sig kvantiseringar från communityn, vilket är den vanliga signalen att folk faktiskt kör dem snarare än läser om dem.
Skillnaden på 135 ms mot 94 ms gäller per förfrågan på maskinvara som inte är identisk, så behandla den som riktningsgivande. Det som inte är riktningsgivande är den operativa formen: Kevs icke-kausala attention över hela sekvensen kostar mer per token när tillstånden blir längre, medan Karpo beräknar ett delat tillstånd per förfrågan och förgrenar frågor från det. Om din arbetsbelastning består av många frågor över ett kort tillstånd är Karpo byggd för exakt det. Om det är en fråga över ett långt dokument är det Kev som gäller.
Vilken ska köras?
Välj Kev 27B om du behöver ge en modell ett avtal på 64k tokens, om du vill sätta en tröskel på sannolikhet och bryr dig om att tröskeln betyder det den säger, och om du värdesätter en leverantör som publicerar konfidensintervall för sina egna förluster. Du accepterar ungefär fjorton poäng i noggrannhet på en resultattavla som båda modellerna tävlade på, och du får fältets bästa bevis för vad den noggrannheten täcker och inte täcker.
{{1}}Välj Karpo Decision 31B{{/1}} om läget är {{2}}en skärmdump, en biljett eller en sida{{/2}} — kort, många frågor, latenskänsligt — och om {{3}}tavlans Full score{{/3}} är det bevis du viktar. Du accepterar {{4}}ett fempunkters kalibreringsfel{{/4}} och {{5}}ett tak på 32k{{/5}}, och du får {{6}}den nuvarande ledaren på 94 ms{{/6}}.
Det ingen av dem ger dig är en produktionsendpoint. Om beslutslagret måste ligga bakom en spärr som utlöses före varje verktygsanrop, kommer du antingen att köra en av dem själv eller anropa något hostat. TypeSafe:s Jev 1.14 finns i vår katalog just för den rollen, och det är modellen som båda checkpoints byggdes för att jaga – användbar som kontroll i ett skuggetest, eftersom en öppen reproduktion som slår sitt mål på en tredjepartstopplista också bör slå det på din trafik. Katalogen har också båda basmodellerna, Gemma 4 31B och Qwen3.8-27B, via ett API för 200+ modeller till leverantörens listpris utan påslag, vilket är det billigaste sättet att avgöra om ett beslutslager är värt att äga överhuvudtaget innan du köper GPU:n.
Den öppna frågan som den här jämförelsen lämnar efter sig är den som resultattavlan inte kan besvara: huruvida Karpos fjortonpunktsledning håller när den möter en verklig arbetsbelastning, eller om det är en sådan ledning som uppstår när modellen trimmats på en distribution som ligger närmare den privata testmängden än konkurrentens. Kevs kort dokumenterar sin träningsmix ända ned till antalet poster; Karpos gör det inte. Den asymmetrin är inte bevis för någonting, och det är anledningen till att mäta i stället för att lita på någon av siffrorna.

