
Karpo Decision 31B vs Nimble v3: la licenza risponde prima della classifica
- OrcaNUOVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M di token · 184 tok/s
- tencentNUOVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M di token · 215 tok/s
- GoogleNUOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M di token · 87 tok/s
- AnthropicNUOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M di token · 97 tok/s
- orcaNUOVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M di token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M di token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M di token · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M di token · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M di token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M di token · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenza
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M di token · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenza
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M di token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenza
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M di token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenza
Due modelli decisionali sono stati rilasciati nello stesso autunno quasi senza alcun annuncio, e si collocano su lati opposti dell'unica domanda che di solito determina un acquisto. Nimble v3 — registrato come Bespoke-Nimble-9B-v3, caricato su Hugging Face il 30 settembre 2026 — è un adattatore LoRA da 9B con licenza CC BY-NC 4.0, che la scheda descrive come «non può essere utilizzato per scopi commerciali». Karpo Decision 31B, creato il 5 novembre 2026 da MachinePulse, è un fine-tune di Gemma 4 da 31.3B con licenza Apache-2.0, con i termini propri di Gemma 4 riportati accanto. Tutto il resto in questo confronto — un divario di 22 punti nella classifica, una differenza di tre volte nelle dimensioni dei pesi, un errore di calibrazione che differisce di un fattore di due e mezzo — è a valle di quel bivio, e la maggior parte dei team lo scopre dopo aver già scelto un vincitore sui benchmark.
Quindi parti dalla licenza, perché è l’unica parte di questo confronto che sia al tempo stesso definita e decisiva. Poi guarda a cosa i numeri possono e non possono dirti, perché da quel lato non c’è quasi nulla di definito.
Cosa contiene effettivamente ciascun repository
Nimble v3 è composto da cinque file: un README, adapter_config.json, adapter_model.safetensors, uno schema_config.json e .gitattributes. È un adattatore PEFT, non un modello autonomo, e richiede Qwen/Qwen3.5-9B come base, che il repository non duplica. La scheda descrive un contesto e domande tipizzate — una scelta tra opzioni, oppure sì o no — e restituisce una probabilità per ciascuna opzione. Bespoke Labs non ha pubblicato alcuna lunghezza del contesto, alcun limite al numero di opzioni, alcuna temperatura né alcuna nota di modifica per la v3; i checkpoint precedenti della famiglia ne documentavano una parte, questo no.
Karpo Decision 31B è un checkpoint completo, 62.5 GB di pesi con 31.3B parametri in bf16, più una testa di readout fp32 da 255 × 5,376. Legge testo, JSON e immagini, accetta fino a 255 opzioni per domanda, limita una sequenza a 32,768 token, suddivide le richieste più lunghe per domanda e rifiuta qualsiasi cosa che ancora non riesca a entrare invece di troncarla. Viene distribuito con un pacchetto Python e un server HTTP nella forma System One, POST /v1/systemone, perché uno stack generico di chat-completions non può eseguirlo: l'attenzione branch e il readout sono entrambi portanti, e caricare il checkpoint come un normale modello di chat non riprodurrà le sue risposte.
La differenza tra i repository ha un risvolto pratico. Il README di Nimble v3 non ti dice come servirlo correttamente; la scheda Karpo sì. L'uno è un checkpoint con un manuale d'uso, l'altro è un checkpoint con una riga di licenza.
Il divario, e gli strumenti a cui dovreste affidarvi per crederci
Sul Decision Index — la bacheca della community che tiene traccia delle riproduzioni aperte di Jev di TypeSafe, ora alla versione 0.4.1 — i due numeri sono 73,86 e 51,06 sul punteggio Full. Si tratta di un divario di 22,8 punti. Il dato Full è quello di cui fidarsi di più, perché i maintainer l'hanno eseguito loro stessi: circa il 60% deriva da test sulle stesse competenze della suite pubblica e il 40% da domini per i quali nessuno ha pubblicato, e nessuno dei due fornitori ha visto in anticipo nessuna delle due metà. La suddivisione di Karpo è 70,94 per le stesse competenze contro 61,5 per i nuovi domini. Quella di Nimble v3 è 52,34 contro 38,2.
I valori pubblici riportati su ciascuna scheda sono esecuzioni effettuate dai fornitori stessi con il kit ufficiale e vanno letti separatamente: 75,05 per Karpo su 140.178 richieste valutate, e 56,88 per Nimble v3 — il valore che la sua scheda riporta sulla vecchia suite 0.2.1, che la riesecuzione del board colloca a 57,19 sulla scala attuale. Entrambi sono stati adottati dal board, che costituisce una vera fase di revisione e non è la stessa cosa di un laboratorio indipendente che mette il modello sul proprio hardware. Nessuno dei due modelli compare su Artificial Analysis. Nessuno al di fuori di questi due repository ha assegnato un punteggio a nessuno dei due.
In pratica, ciò significa che i 22,8 punti sono più affidabili della maggior parte dei confronti tra fornitori e meno affidabili di una singola lettura strumentale di entrambi i modelli. Sono stati prodotti da un'unica organizzazione su un'unica suite con un'unica formula, che è davvero il miglior caso disponibile per i modelli decisionali aperti — e la suite non è ufficiale, la banda di parità è di 0,9 punti e la metà privata non può essere ispezionata da te. Considera la direzione reale e la grandezza approssimativa.
Dove il modello 9B è più vicino di quanto suggerisca il divario dimensionale

Se scomponi i cinque punteggi per categoria della classifica, la storia smette di essere una passeggiata. Su strumenti e automazione, Nimble v3 ottiene 84,24 contro 88,39 di Karpo — quattro punti, da un modello grande un terzo, nella categoria che copre la selezione degli strumenti e il gating degli agenti. È il caso d'uso per cui Bespoke Labs ha creato la famiglia, e sopravvive alla differenza di dimensioni più o meno intatto. Se il tuo livello decisionale esiste per rispondere a "questo agente dovrebbe chiamare lo strumento, e quale?", l'adattatore 9B è nella stessa conversazione del checkpoint 31B.
Ovunque altrove il divario è quello che ti aspetteresti. La comprensione del linguaggio è 60,68 contro 76,78, il recupero 55,48 contro 76,42, la conoscenza 40,96 contro 65,46, le arti e il giudizio su questioni aperte 44,05 contro 68,21. Il vantaggio di Karpo è concentrato esattamente nei punti in cui la capacità extra di un modello da 31B dovrebbe ripagare: contesto più lungo, più conoscenza del mondo, migliore lettura di uno stato denso.
La latenza non segue nemmeno il divario di dimensioni. Sull'hardware di riferimento del tracker — una GPU, una richiesta alla volta — Nimble v3 registra una mediana di 73,9 ms contro i 94,3 ms di Karpo. Venti millisecondi non sono un motivo per scegliere un modello, ma sono un promemoria che un adattatore 9B unito è un oggetto diverso da gestire: entra in un laptop in Q4, si carica in pochi secondi e può stare dentro un ciclo di agente per singolo passo senza una discussione sul budget GPU.
Calibrazione, dove il modello più piccolo non è soltanto più debole ma meno onesto
L'accuratezza ti dice quanto spesso la risposta principale è corretta. La calibrazione ti dice se la probabilità associata a essa può sostenere una soglia e, per un modello decisionale, è l'unico numero che conti sul piano operativo.
La scheda di Karpo riporta un errore di calibrazione atteso di 4,8 punti su 34.411 risposte: confidenza media dell'87,96% rispetto a un'accuratezza effettiva dell'83,19%. Nella fascia più alta, che raccoglie il 68,5% di tutte le risposte, risulta corretto nel 95,7% dei casi pur dichiarando il 98,7%. Eccesso di sicurezza all'estremo superiore, di circa tre punti, con la curva che per il resto segue l'andamento.
Quello di Nimble v3 è di 12,29 punti su 34.833 risposte: una confidenza dell'87,26% a fronte di un'accuratezza del 74,97%. La fascia più alta raccoglie il 67% delle risposte, dichiara il 98,6% e ha ragione nell'89,1% dei casi — una sovrastima di 9,5 punti proprio nella banda in cui una soglia esiste davvero. Più in basso, le fasce intermedie vanno ancora peggio: con un valore dichiarato di 0,85 il modello ha ragione circa il 59% delle volte. Non è un modello con una piccola deriva di calibrazione; è un modello la cui confidenza non può essere usata come soglia senza una ricalibrazione, e la documentazione della famiglia non ha mai promesso il contrario.
Leggi quei due paragrafi insieme e la conclusione onesta è più ristretta di quanto suggerisca la classifica. Karpo è migliore nelle decisioni e migliore nel sapere quanto sono buone le sue decisioni. Nimble v3 costa meno da eseguire e, nell'unica categoria che conta di più per il lavoro degli agenti, è vicino — ma se prevedi di accettare automaticamente sopra 0,9 e di inoltrare a un livello superiore sotto, trascorrerai la prima settimana a mettere a punto per Nimble una correzione che Karpo ti fornisce nella sua scheda.
Il bivio della licenza, detto senza giri di parole
Nimble v3 è CC BY-NC 4.0. Non c'è ambiguità: la scheda indica che non può essere usato per scopi commerciali. Ogni checkpoint precedente di Nimble era Apache-2.0, e il modello base è Apache-2.0, il che non cambia nulla — una base permissiva non allenta un adattatore non commerciale, e l'adattatore è dove risiede il comportamento. Il repository GitHub che contiene il codice di addestramento e curatela del progetto non dichiara alcuna licenza tramite l'API di GitHub, il che rappresenta un problema separato e per certi versi peggiore per chiunque intenda costruirci sopra.
Karpo Decision 31B è Apache-2.0 per i pesi e il codice, con i termini di Gemma 4 riportati accanto nel repository. È l'estremo permissivo dell'open, con la consueta avvertenza di Gemma secondo cui anche la ridistribuzione a valle deve riportare quei termini.
Per un quaderno di ricerca, una valutazione interna o un articolo, la distinzione è invisibile e Nimble v3 è l'opzione più economica. Per qualsiasi cosa che tocchi i ricavi — un gate di instradamento all'interno di un prodotto commerciale, un modello di triage in una pipeline a pagamento, persino uno strumento interno in un'azienda a scopo di lucro — la licenza decide il confronto prima che i 22,8 punti vengano ascoltati. Bespoke Labs ha un percorso API ospitato e un segnaposto per una variante 27B che riporta 65,33 sulla suite pubblica più vecchia, e nessuno dei due cambia i termini sull'adattatore 9B.
Servire uno dei due è un problema di routing prima ancora che un problema di modellazione

I modelli decisionali sono limitati per costruzione: rispondono solo alle domande che gli si pongono, non sanno scrivere, spiegare o restituire un'opzione che non hai fornito. Questo li rende la metà piccola di un pattern a due modelli, e la metà più facile da mantenere in-house. La metà generativa è quella in cui un singolo endpoint si ripaga.
OrcaRouter non esegue nessuno di questi checkpoint, e nessuno dei due avrebbe senso dietro una route chat-completions. I due modelli che invece serve si trovano un livello più in basso: Jev 1.14 di TypeSafe, il target che l'intera board ha lo scopo di riprodurre, e il checkpoint Gemma 4 31B da cui è stato fine-tuned Karpo. Una sola chiave copre entrambi, i prezzi seguono il listino del provider senza nulla in più, così un cambiamento del fornitore ti raggiunge lo stesso giorno. Ciò che si addice a un decision head è il livello di routing che gli sta davanti — un DSL di routing che invia ciascuna classe di richiesta al modello che dovrebbe rispondervi, con failover dietro — così un job notturno di rescoring e una guardrail live condividono un unico contratto, mentre il modello decisionale stesso resta ovunque la sua licenza lo consenta.
Tre cose che cambierebbero questa lettura

Il primo è un cambio di licenza. Un adattatore Nimble utilizzabile commercialmente su una base Qwen3.5-9B, con un contratto di contesto e una temperatura dichiarata, renderebbe l'opzione 9B davvero competitiva per il gating degli agenti — il punteggio di 84.24 sugli strumenti dice che la capacità c'è già. Niente nel materiale pubblico di Bespoke Labs suggerisce che stia arrivando; il passaggio da Apache-2.0 a CC BY-NC è andato nella direzione opposta.
Il secondo è una specifica di contesto e prompt. La scheda di Nimble v3 non documenta nessuno dei due, il che significa che chiunque lo esegua sta indovinando un formato di prompt che le versioni precedenti fornivano. Un modello i cui input vengono ricostruiti dall'utente è un modello i cui numeri sono difficili da riprodurre, e l'errore di calibrazione di 12,3 punti è il tipo di cifra che migliora o peggiora a seconda di come si formula la domanda.
Il terzo è qualsiasi strumento indipendente che li legga entrambi. Il Decision Index è accurato, trasparente sul proprio metodo e onesto sulle proprie fasce di pareggio, e resta pur sempre una classifica della comunità. Il giorno in cui uno dei due modelli comparirà su Artificial Analysis accanto a un valutatore di un hyperscaler, il confronto smetterà di essere aritmetica tra due schede di fornitori e diventerà una misurazione. Non è accaduto per nessuno dei due, e finché non accadrà la posizione difendibile è quella noiosa: Apache-2.0 e meglio calibrato a 31B se puoi eseguirlo, non commerciale ed economico a 9B se non puoi, e nessun motivo per scegliere basandosi solo sul punteggio.
