
Karpo Decision 31B vs Kev 27B: Il modello meglio documentato perde di 14 punti
- OrcaNUOVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M di token · 184 tok/s
- tencentNUOVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M di token · 223 tok/s
- GoogleNUOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M di token · 87 tok/s
- AnthropicNUOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M di token · 96 tok/s
- orcaNUOVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M di token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M di token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M di token · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M di token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M di token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M di token · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenza
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M di token · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenza
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M di token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenza
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M di token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenza
Questo è il raro confronto in cui entrambi i modelli sono stati valutati con lo stesso strumento dalle stesse persone. Karpo Decision 31B e Kev 27B figurano entrambi sul Decision Index, la classifica della community che valuta le riproduzioni aperte di Jev di TypeSafe, e il divario tra loro non è piccolo: 73.9 Full per il modello MachinePulse contro 59.6 per Kev 27B di Jared Palmer, una differenza di quattordici punti su test privati identici. Karpo guida la classifica. Kev è 74º su 307.
Quel risultato è scomodo, perché Kev 27B è il modello documentato con il rigore maggiore, e di gran lunga, e sull’unica proprietà per cui un modello decisionale viene effettivamente impiegato — l’onestà delle sue probabilità — è misurabilmente migliore del modello che lo supera. Entrambe queste affermazioni provengono dalle stesse due fonti, e capire perché non si contraddicono è la cosa più utile in questo confronto.
Che cos'è ciascun modello, prima dei punteggi
Kev 27B è un fine-tune completo dei pesi di Qwen3.8-27B pubblicato da Jared Palmer con licenza Apache-2.0. La sua seconda versione, rilasciata il 30 settembre 2026, è una media ponderata: ogni tensore del backbone è 0,85 × il peso del fine-tune più 0,15 × quello della versione precedente, con la testa pointer mantenuta dalla nuova esecuzione. Il checkpoint servito è di 25,6B nel backbone più una testa da 2,6M parametri, 51,3 GB in bf16, con un'unica temperatura di calibrazione di 1,32 incorporata nel file della testa. Gli stati arrivano a 65.536 token con almeno 8.192 per domanda, e quel dato è convalidato, non nominale — la card pubblica la differenza di accuratezza appaiata per ogni bucket da 8k a 64k rispetto alla baseline di 8k, con intervalli di confidenza.
Karpo Decision 31B è un fine-tune di Gemma 4 31B ottimizzato per le istruzioni, pubblicato da MachinePulse il 5 novembre 2026, anch'esso Apache-2.0. Mantiene 31,3 miliardi di parametri in bf16 più un readout fp32 da 255 × 5.376 — 62,5 GB su disco — e risponde tramite una testa lineare sui codici delle opzioni anziché una testa pointer sui token. Il contesto è di 32.768 token per sequenza, suddiviso per domanda quando una richiesta supera il limite, con un rifiuto netto anziché un troncamento quando una singola domanda non può essere contenuta.
Stesso lavoro, ingegneria diversa. Kev legge un documento lungo e produce una distribuzione. Karpo ne legge uno un po' più breve e produce una distribuzione, più rapidamente.
I 14 punti, e ciò che li ha prodotti

Entrambe le righe provengono dalla stessa scheda, quindi questa sezione è uno dei pochi punti in cui una sottrazione diretta è legittima.
• Punteggio completo — Karpo 73.9, Kev 59.6.
• Indice pubblico — Karpo 75.05, Kev 56.69.
• Classifica per punteggio Full — Karpo 1º (a pari merito con GLiDE 27B a 73,4), Kev 74º su 307.
• Conoscenza e ragionamento — Karpo 65,5 abilità corretta per il caso, Kev 45,7.
• Strumenti e automazione — Karpo 88.4, Kev 72.7.
• Arti e gusto umano — Karpo 68,2, Kev 42,7.
• Latenza mediana, una GPU, una richiesta alla volta — Karpo 94 ms, Kev 135 ms.
La forma della perdita è coerente in ogni categoria, e il divario assoluto più ampio è nella conoscenza, a quasi venti punti. È quello che dovrebbe preoccupare chiunque intenda usare Kev per decisioni documentali: il modello è stato addestrato intensamente su lavoro documentale e di strumenti per sviluppatori — 24.000 dei suoi 145.840 record di addestramento provengono da famiglie di attività concesse in licenza, altri 7.617 sono documenti lunghi assemblati — e raggiunge comunque i due terzi della competenza di Karpo nella conoscenza.
La scheda di Kev è schietta sulla direzione di marcia. Misurata sulla propria suite di ampiezza rispetto a Jev di TypeSafe, riporta un indice di 52,3 con un intervallo di confidenza di [49,2; 55,4] contro il 54,0 [51,2; 57,0] di Jev — una perdita che dichiara apertamente e non maschera. Un team che pubblica il proprio intervallo in perdita è un team i cui altri numeri meritano il beneficio del dubbio. È proprio questo che rende il 59,6 credibile anziché imbarazzante.
Il numero che va nella direzione opposta
Ecco il colpo di scena. L'errore di calibrazione — quanto la probabilità dichiarata si discosta dal tasso di successo osservato — favorisce Kev, e non di poco.
Il tracker registra un errore di calibrazione atteso di 2,18 punti per Kev 27B contro 4,77 per Karpo Decision 31B. In termini semplici: quando Kev dice 0,8, ha ragione circa l'80% delle volte, con uno scarto medio di due punti. Quando Karpo dice 0,8, lo scarto medio è più vicino a cinque punti. La scheda di Kev corrobora ciò dal proprio lato, pubblicando cifre ECE per pannello tra 0,014 e 0,053 e una validazione incrociata quintupla che riduce l'errore di adattamento dal 4,8% al 3,8%.
Quindi il modello che è peggiore nel rispondere è migliore nel sapere quanto sono buone le sue risposte. Non è un paradosso, è la distinzione tra accuratezza e calibrazione, e decide quale modello vada dove:
• Se la decisione è automatizzata a una soglia, la calibrazione è la proprietà determinante. Un gate impostato a 0,9 che scatta sulle risposte di Karpo a 0,9 sarà errato circa il doppio delle volte rispetto allo stesso gate su Kev. La minore accuratezza di Kev ti fa perdere throughput — più casi scendono sotto la soglia e vanno in revisione — e la sua migliore calibrazione significa che quelli che superano il limite sono più sicuri.
• Se la decisione viene valutata o classificata, la precisione domina. Un essere umano o un processo a valle vede la risposta principale e la probabilità, e quattordici punti di precisione sono quattordici punti di lavoro svolto correttamente. Il vantaggio di calibrazione di Kev non serve a nulla quando nessuno applica una soglia.

Entrambi i modelli offrono gli stessi tre tipi di domanda — choice fino a 255 opzioni, noul per vero/falso, score per una rubrica ordinata — ed entrambi espongono un endpoint HTTP modellato su System One, quindi la scelta è reversibile nel codice. Questa è la buona notizia: puoi misurarlo sui tuoi dati in un pomeriggio invece di discuterne.
La lunghezza del documento è il punto in cui le specifiche divergono effettivamente
Il limite di 32.768 token di Karpo è per sequenza, e la regola di suddivisione è «per domanda, con ogni parte che porta lo stato completo». Per cento domande su un contratto da 20k token, si tratta di un solo passaggio e senza complicazioni. Per una sola domanda su un contratto da 40k token, la richiesta viene rifiutata — nove delle 140.178 richieste nell'esecuzione di MachinePulse sono fallite esattamente in questo modo.
Kev fornisce stati da 65.536 token, validati per bucket, e il suo pannello per i documenti lunghi è la cosa più utile della scheda per chiunque abbia a che fare con contratti reali. Sui contratti commerciali CUAD riporta un'accuratezza di 0,874 su 2.194 domande, con i valori per bucket compresi tra 0,867 e 0,880 da meno di 8k fino a 32k–64k token. L'accuratezza non crolla con la lunghezza. Ciò che cambia è la calibrazione: l'errore su quel pannello per i documenti lunghi è 0,053, circa tre volte il valore per i documenti brevi. Gli stati lunghi sono il punto in cui la fiducia di Kev si allenta.
Quindi il compromesso onesto sulla lunghezza: Kev accetterà un documento che Karpo rifiuta, e vi risponderà in modo leggermente meno affidabile di quanto risponda a uno breve. Nessuno dei due modelli troncherà silenziosamente, il che conta più di entrambi i numeri — un modello decisionale che omette silenziosamente la clausola su cui hai chiesto è peggio di uno che dice no.
Distribuzione, pesi e licenza condividono entrambi
Entrambi i modelli sono Apache-2.0 per i pesi e la testa, entrambi richiedono il proprio loader e entrambi falliscono malamente se li si tratta come modelli chat. Kev necessita di una GPU di classe 80 GB — uno stato da 64k token ha toccato un picco di 87,1 GB su una H200 — oppure di un Mac con circa 96 GB. Karpo necessita di una GPU che possa contenere 62,5 GB di pesi bf16. Nessuno dei due ha un endpoint ospitato dal proprio editore; Kev è servito dal server del proprio repository, Karpo dal proprio pacchetto. Entrambi hanno attirato quantizzazioni della community, che è il solito segnale che le persone li stanno effettivamente eseguendo invece di leggerne soltanto.
La differenza di 135 ms rispetto a 94 ms è per richiesta su hardware non identico, quindi va considerata solo indicativa. Ciò che non è indicativo è la forma operativa: l'attenzione non causale di Kev sull'intera sequenza costa di più per token man mano che gli stati diventano più lunghi, mentre Karpo calcola uno stato condiviso per richiesta e dirama le domande da esso. Se il tuo carico di lavoro consiste in molte domande su uno stato breve, Karpo è progettato esattamente per questo. Se consiste in una domanda su un documento lungo, lo è Kev.
Quale eseguire?
Scegli Kev 27B se devi affidare a un modello un contratto da 64k token, se vuoi applicare una soglia sulla probabilità e ti interessa che la soglia significhi ciò che dice, e se apprezzi un fornitore che pubblica intervalli di confidenza sulle proprie perdite. Stai accettando circa quattordici punti di accuratezza su una classifica in cui entrambi i modelli hanno gareggiato, e stai ottenendo la migliore evidenza del settore su cosa quell'accuratezza copra e cosa no.
Scegli Karpo Decision 31B se lo stato è uno screenshot, un ticket o una pagina — breve, molte domande, sensibile alla latenza — e se il punteggio Full della board è l'evidenza che pesi. Stai accettando un errore di calibrazione di cinque punti e un tetto di 32k, e stai ottenendo il leader attuale a 94 ms.
Ciò che nessuno dei due ti offre è un endpoint di produzione. Se il livello decisionale deve stare dietro a un gate che scatta prima di ogni chiamata a uno strumento, dovrai gestirne uno tu stesso oppure chiamare qualcosa di ospitato. TypeSafe's Jev 1.14 è nel nostro catalogo proprio per quel ruolo, ed è il modello che entrambi i checkpoint sono stati realizzati per raggiungere — utile come controllo in uno shadow test, dato che una riproduzione aperta che supera il suo target su una classifica di terze parti dovrebbe superarlo anche sul tuo traffico. Il catalogo include anche entrambi i modelli base, Gemma 4 31B e Qwen3.8-27B, tramite un'unica API per oltre 200 modelli al prezzo di listino del provider, senza ricarichi, che è il modo più economico per stabilire se valga la pena possedere un livello decisionale prima ancora di acquistare la GPU.
La questione aperta che questo confronto lascia è quella a cui la board non può rispondere: se il vantaggio di quattordici punti di Karpo sopravviva al contatto con un carico di lavoro reale, o se sia il tipo di vantaggio che deriva dall'essere stato messo a punto su una distribuzione più vicina al set di test privato rispetto a quella del concorrente. La scheda di Kev documenta il suo mix di addestramento fino al numero di record; quella di Karpo no. Questa asimmetria non è prova di nulla, ed è il motivo per misurare anziché fidarsi dell'uno o dell'altro numero.

