Ett genererat titelkort med rubriken 'Karpo Decision 31B vs Kev 27B' och underrubriken 'Samma resultattavla, fjorton poäng isär — och förloraren har den bättre kalibreringen', fyra chips med texten 'Karpo 73.9 Full', 'Kev 59.6 Full', 'kalibreringsfel 4,8 vs 2,18' och 'identiska privata tester', samt två konturerade kort märkta 'Kev 27B' och 'Karpo Decision 31B' sammanbundna av en linje med texten 'båda betygsatta av Decision Index'.
Guides & Insights

Karpo Decision 31B vs Kev 27B: Den bättre dokumenterade modellen förlorar med 14 poäng

Författare

Elias Hawthorne

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Detta är en ovanlig matchning där båda modellerna bedömdes med samma instrument av samma personer. Karpo Decision 31B och Kev 27B finns båda på Decision Index, communitylistan som poängsätter öppna reproduktioner av TypeSafe's Jev, och gapet mellan dem är inte litet: 73,9 Full för MachinePulse-modellen mot 59,6 för Jared Palmers Kev 27B, en spridning på fjorton punkter på identiska privata tester. Karpo leder listan. Kev ligger på 74:e plats av 307.

Det resultatet är besvärande, eftersom Kev 27B är den mer rigoröst dokumenterade modellen med god marginal, och i den enda egenskap som en beslutsmodell faktiskt anlitas för – ärligheten i dess sannolikheter – är den mätbart bättre än modellen som slår den. Båda dessa påståenden kommer från samma två källor, och att förstå varför de inte motsäger varandra är det mest användbara i den här jämförelsen.

Vad varje modell är, innan poängen

Kev 27B är en fullviktsfinjustering av Qwen3.8-27B som publicerats av Jared Palmer under Apache-2.0. Dess andra version, som släpptes den 30 september 2026, är ett viktat medelvärde: varje backbone-tensor är 0,85 × den finjusterade vikten plus 0,15 × den föregående versionens, med pekarhuvudet behållet från den nya körningen. Den serverade checkpointen är 25,6B i backbone plus ett huvud med 2,6M parametrar, 51,3 GB i bf16, med en enda kalibreringstemperatur på 1,32 inbakad i huvudfilen. Tillstånden sträcker sig upp till 65 536 token med minst 8 192 per fråga, och den siffran är validerad snarare än nominell – kortet publicerar den parade noggrannhetsskillnaden i varje intervall från 8k till 64k jämfört med 8k-baslinjen, med konfidensintervall.

Karpo Decision 31B är en finjusterad version av Gemma 4 31B som är instruktionstränad, publicerad av MachinePulse den 5 november 2026, även den under Apache-2.0. Den har 31,3B parametrar i bf16 plus en 255 × 5 376 fp32-readout — 62,5 GB på disk — och svarar via ett linjärt huvud över alternativkoder i stället för ett pekarhuvud över tokens. Kontexten är 32 768 tokens per sekvens, uppdelad per fråga när en begäran blir för stor, med ett uttryckligt avslag i stället för trunkering när en enskild fråga inte får plats.

Samma jobb, olika teknik. Kev läser ett långt dokument och producerar en fördelning. Karpo läser ett något kortare och producerar en fördelning, snabbare.

De 14 punkterna, och vad som gav upphov till dem

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Båda raderna kommer från samma kort, så det här avsnittet är ett av få ställen där en direkt subtraktion är legitim.

• Fullständigt resultat — Karpo 73,9, Kev 59,6.

• Publikt index — Karpo 75,05, Kev 56,69.

• Rangordnat efter Full score – Karpo 1:a (delad med GLiDE 27B på 73,4), Kev 74:a av 307.

• Kunskap och resonemang — Karpo 65,5 i slumpkorrigerad skicklighet, Kev 45,7.

• Verktyg och automatisering — Karpo 88,4, Kev 72,7.

• Konst och mänsklig smak — Karpo 68.2, Kev 42.7.

• Medianlatens, en GPU, en förfrågan i taget — Karpo 94 ms, Kev 135 ms.

Förlustens form är konsekvent över alla kategorier, och den största absoluta skillnaden finns inom kunskap, på nästan tjugo punkter. Det är den som borde oroa alla som planerar att använda Kev för dokumentbeslut: modellen tränades i hög grad på dokument- och utvecklarverktygsarbete – 24 000 av dess 145 840 träningsposter kommer från licensierade uppgiftsfamiljer, ytterligare 7 617 är sammansatta långa dokument – och den når fortfarande två tredjedelar av Karpos kunskapsförmåga.

Kevs eget kort är uppriktigt om färdriktningen. Mätt på sin egen breddssvit mot TypeSafes Jev rapporterar det ett index på 52,3 med ett konfidensintervall på [49,2; 55,4] mot Jevs 54,0 [51,2; 57,0] – en förlust som det redovisar rakt ut och inte förskönar. Ett team som publicerar sitt eget förlorande intervall är ett team vars övriga siffror förtjänar fördel av tvivlet. Det är just det som gör 59,6 trovärdigt i stället för pinsamt.

Numret som går åt andra hållet

Här är vändningen. Kalibreringsfelet – hur långt den angivna sannolikheten avviker från den observerade träffrekvensen – gynnar Kev, och inte med knapp marginal.

Trackern registrerar ett förväntat kalibreringsfel på 2,18 punkter för Kev 27B mot 4,77 för Karpo Decision 31B. I klartext: när Kev säger 0,8 har den rätt ungefär 80 % av gångerna, med en genomsnittlig avvikelse på två punkter. När Karpo säger 0,8 är den genomsnittliga avvikelsen närmare fem punkter. Kevs modellkort bekräftar detta utifrån sitt eget perspektiv och publicerar ECE-siffror per panel mellan 0,014 och 0,053 samt en femfaldig korsvalidering som sänker anpassningsfelet från 4,8 % till 3,8 %.

Så modellen som är sämre på att svara är bättre på att veta hur bra dess svar är. Det är inte en paradox, det är skillnaden mellan noggrannhet och kalibrering, och det avgör vilken modell som hör hemma var:

• Om beslutet automatiseras vid ett tröskelvärde, är kalibrering den avgörande egenskapen. En grind inställd på 0,9 som slår till för Karpos svar på 0,9 kommer att vara fel ungefär dubbelt så ofta som samma grind för Kevs. Kevs lägre noggrannhet kostar dig genomströmning – fler ärenden faller under tröskelvärdet och går till granskning – och dess bättre kalibrering innebär att de som klarar ribban är säkrare.

• Om beslutet granskas eller poängsätts, dominerar noggrannheten. En människa eller en efterföljande process ser det bästa svaret och sannolikheten, och fjorton poängs noggrannhet är fjorton poängs arbete som utförts korrekt. Kevs kalibreringsfördel ger ingenting när ingen tillämpar tröskelvärden.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Båda modellerna erbjuder samma tre frågetyper – choice med upp till 255 alternativ, noul för sant/falskt, score för en ordnad bedömningsskala – och båda exponerar en System One-formad HTTP-endpoint, så valet är reversibelt i kod. Det är den goda nyheten: du kan mäta detta på dina egna data på en eftermiddag i stället för att argumentera om det.

Dokumentlängden är där specifikationerna faktiskt skiljer sig åt

Karpos tak på 32 768 token gäller per sekvens, och delningsregeln är "per fråga, där varje del bär hela tillståndet". För hundra frågor över ett kontrakt på 20 000 token är det en enda genomkörning och inget drama. För en enda fråga över ett kontrakt på 40 000 token avvisas begäran – nio av de 140 178 begärandena i MachinePulses egen körning misslyckades precis på detta sätt.

Kev hanterar tillstånd på 65 536 token, validerade i intervall, och dess långdokumentpanel är det mest användbara på kortet för alla som har riktiga avtal. På CUAD:s kommersiella avtal rapporterar den en noggrannhet på 0,874 över 2 194 frågor, där siffrorna per intervall ligger mellan 0,867 och 0,880 från under 8k hela vägen till 32k–64k token. Noggrannheten kollapsar inte med längden. Det som förändras är kalibreringen: felet på den panelen för långa dokument är 0,053, ungefär tre gånger så högt som siffran för korta dokument. Det är i långa tillstånd som Kevs självförtroende blir svajigt.

Den ärliga avvägningen när det gäller längd: Kev tar en handling som Karpo vägrar, och den svarar på den något mindre tillförlitligt än den svarar på en kort. Ingen av modellerna kommer tyst att trunkera, vilket är viktigare än någon av siffrorna – en beslutsmodell som i tysthet tappar den klausul du frågade om är sämre än en som säger nej.

Driftsättning, vikter och licensen delar båda

Båda modellerna är Apache-2.0 för vikter och head, båda kräver sin egen loader, och båda misslyckas kapitalt om du behandlar dem som chattmodeller. Kev behöver ett GPU av 80 GB-klass — ett 64k-token-tillstånd toppade på 87,1 GB på en H200 — eller en Mac med ungefär 96 GB. Karpo behöver ett GPU som rymmer 62,5 GB bf16-vikter. Ingen av dem har någon hostad slutpunkt från sin utgivare; Kev serveras av servern i sitt eget repository, Karpo av sitt eget paket. Båda har lockat till sig kvantiseringar från communityn, vilket är den vanliga signalen att folk faktiskt kör dem snarare än läser om dem.

Skillnaden på 135 ms mot 94 ms gäller per förfrågan på maskinvara som inte är identisk, så behandla den som riktningsgivande. Det som inte är riktningsgivande är den operativa formen: Kevs icke-kausala attention över hela sekvensen kostar mer per token när tillstånden blir längre, medan Karpo beräknar ett delat tillstånd per förfrågan och förgrenar frågor från det. Om din arbetsbelastning består av många frågor över ett kort tillstånd är Karpo byggd för exakt det. Om det är en fråga över ett långt dokument är det Kev som gäller.

Vilken ska köras?

Välj Kev 27B om du behöver ge en modell ett avtal på 64k tokens, om du vill sätta en tröskel på sannolikhet och bryr dig om att tröskeln betyder det den säger, och om du värdesätter en leverantör som publicerar konfidensintervall för sina egna förluster. Du accepterar ungefär fjorton poäng i noggrannhet på en resultattavla som båda modellerna tävlade på, och du får fältets bästa bevis för vad den noggrannheten täcker och inte täcker.

{{1}}Välj Karpo Decision 31B{{/1}} om läget är {{2}}en skärmdump, en biljett eller en sida{{/2}} — kort, många frågor, latenskänsligt — och om {{3}}tavlans Full score{{/3}} är det bevis du viktar. Du accepterar {{4}}ett fempunkters kalibreringsfel{{/4}} och {{5}}ett tak på 32k{{/5}}, och du får {{6}}den nuvarande ledaren på 94 ms{{/6}}.

Det ingen av dem ger dig är en produktionsendpoint. Om beslutslagret måste ligga bakom en spärr som utlöses före varje verktygsanrop, kommer du antingen att köra en av dem själv eller anropa något hostat. TypeSafe:s Jev 1.14 finns i vår katalog just för den rollen, och det är modellen som båda checkpoints byggdes för att jaga – användbar som kontroll i ett skuggetest, eftersom en öppen reproduktion som slår sitt mål på en tredjepartstopplista också bör slå det på din trafik. Katalogen har också båda basmodellerna, Gemma 4 31B och Qwen3.8-27B, via ett API för 200+ modeller till leverantörens listpris utan påslag, vilket är det billigaste sättet att avgöra om ett beslutslager är värt att äga överhuvudtaget innan du köper GPU:n.

Den öppna frågan som den här jämförelsen lämnar efter sig är den som resultattavlan inte kan besvara: huruvida Karpos fjortonpunktsledning håller när den möter en verklig arbetsbelastning, eller om det är en sådan ledning som uppstår när modellen trimmats på en distribution som ligger närmare den privata testmängden än konkurrentens. Kevs kort dokumenterar sin träningsmix ända ned till antalet poster; Karpos gör det inte. Den asymmetrin är inte bevis för någonting, och det är anledningen till att mäta i stället för att lita på någon av siffrorna.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.