Una card di titolo generata intitolata "Karpo Decision 31B vs Nimble v3" con il sottotitolo "La licenza risponde prima della classifica." Sotto, due card: "Nimble v3" con "adattatore LoRA 9B", "CC BY-NC 4.0 — nessun uso commerciale" e "51.06 Punteggio totale" accanto a un lucchetto chiuso; e "Karpo Decision 31B" con "checkpoint completo 31.3B", "pesi Apache-2.0" e "73.86 Punteggio totale" accanto a un lucchetto aperto.
Guides & Insights

Karpo Decision 31B vs Nimble v3: la licenza risponde prima della classifica

Autore

Elias Hawthorne

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Due modelli decisionali sono stati rilasciati nello stesso autunno quasi senza alcun annuncio, e si collocano su lati opposti dell'unica domanda che di solito determina un acquisto. Nimble v3 — registrato come Bespoke-Nimble-9B-v3, caricato su Hugging Face il 30 settembre 2026 — è un adattatore LoRA da 9B con licenza CC BY-NC 4.0, che la scheda descrive come «non può essere utilizzato per scopi commerciali». Karpo Decision 31B, creato il 5 novembre 2026 da MachinePulse, è un fine-tune di Gem​ma 4 da 31.3B con licenza Apache-2.0, con i termini propri di Gem​ma 4 riportati accanto. Tutto il resto in questo confronto — un divario di 22 punti nella classifica, una differenza di tre volte nelle dimensioni dei pesi, un errore di calibrazione che differisce di un fattore di due e mezzo — è a valle di quel bivio, e la maggior parte dei team lo scopre dopo aver già scelto un vincitore sui benchmark.

Quindi parti dalla licenza, perché è l’unica parte di questo confronto che sia al tempo stesso definita e decisiva. Poi guarda a cosa i numeri possono e non possono dirti, perché da quel lato non c’è quasi nulla di definito.

Cosa contiene effettivamente ciascun repository

Nimble v3 è composto da cinque file: un README, adapter_config.json, adapter_model.safetensors, uno schema_config.json e .gitattributes. È un adattatore PEFT, non un modello autonomo, e richiede Qwen/Qwen3.5-9B come base, che il repository non duplica. La scheda descrive un contesto e domande tipizzate — una scelta tra opzioni, oppure sì o no — e restituisce una probabilità per ciascuna opzione. Bespoke Labs non ha pubblicato alcuna lunghezza del contesto, alcun limite al numero di opzioni, alcuna temperatura né alcuna nota di modifica per la v3; i checkpoint precedenti della famiglia ne documentavano una parte, questo no.

Karpo Decision 31B è un checkpoint completo, 62.5 GB di pesi con 31.3B parametri in bf16, più una testa di readout fp32 da 255 × 5,376. Legge testo, JSON e immagini, accetta fino a 255 opzioni per domanda, limita una sequenza a 32,768 token, suddivide le richieste più lunghe per domanda e rifiuta qualsiasi cosa che ancora non riesca a entrare invece di troncarla. Viene distribuito con un pacchetto Python e un server HTTP nella forma System One, POST /v1/systemone, perché uno stack generico di chat-completions non può eseguirlo: l'attenzione branch e il readout sono entrambi portanti, e caricare il checkpoint come un normale modello di chat non riprodurrà le sue risposte.

La differenza tra i repository ha un risvolto pratico. Il README di Nimble v3 non ti dice come servirlo correttamente; la scheda Karpo sì. L'uno è un checkpoint con un manuale d'uso, l'altro è un checkpoint con una riga di licenza.

Il divario, e gli strumenti a cui dovreste affidarvi per crederci

Sul Decision Index — la bacheca della community che tiene traccia delle riproduzioni aperte di Je​v di TypeSafe, ora alla versione 0.4.1 — i due numeri sono 73,86 e 51,06 sul punteggio Full. Si tratta di un divario di 22,8 punti. Il dato Full è quello di cui fidarsi di più, perché i maintainer l'hanno eseguito loro stessi: circa il 60% deriva da test sulle stesse competenze della suite pubblica e il 40% da domini per i quali nessuno ha pubblicato, e nessuno dei due fornitori ha visto in anticipo nessuna delle due metà. La suddivisione di Karpo è 70,94 per le stesse competenze contro 61,5 per i nuovi domini. Quella di Nimble v3 è 52,34 contro 38,2.

I valori pubblici riportati su ciascuna scheda sono esecuzioni effettuate dai fornitori stessi con il kit ufficiale e vanno letti separatamente: 75,05 per Karpo su 140.178 richieste valutate, e 56,88 per Nimble v3 — il valore che la sua scheda riporta sulla vecchia suite 0.2.1, che la riesecuzione del board colloca a 57,19 sulla scala attuale. Entrambi sono stati adottati dal board, che costituisce una vera fase di revisione e non è la stessa cosa di un laboratorio indipendente che mette il modello sul proprio hardware. Nessuno dei due modelli compare su Artificial Analysis. Nessuno al di fuori di questi due repository ha assegnato un punteggio a nessuno dei due.

In pratica, ciò significa che i 22,8 punti sono più affidabili della maggior parte dei confronti tra fornitori e meno affidabili di una singola lettura strumentale di entrambi i modelli. Sono stati prodotti da un'unica organizzazione su un'unica suite con un'unica formula, che è davvero il miglior caso disponibile per i modelli decisionali aperti — e la suite non è ufficiale, la banda di parità è di 0,9 punti e la metà privata non può essere ispezionata da te. Considera la direzione reale e la grandezza approssimativa.

Dove il modello 9B è più vicino di quanto suggerisca il divario dimensionale

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

Se scomponi i cinque punteggi per categoria della classifica, la storia smette di essere una passeggiata. Su strumenti e automazione, Nimble v3 ottiene 84,24 contro 88,39 di Karpo — quattro punti, da un modello grande un terzo, nella categoria che copre la selezione degli strumenti e il gating degli agenti. È il caso d'uso per cui Bespoke Labs ha creato la famiglia, e sopravvive alla differenza di dimensioni più o meno intatto. Se il tuo livello decisionale esiste per rispondere a "questo agente dovrebbe chiamare lo strumento, e quale?", l'adattatore 9B è nella stessa conversazione del checkpoint 31B.

Ovunque altrove il divario è quello che ti aspetteresti. La comprensione del linguaggio è 60,68 contro 76,78, il recupero 55,48 contro 76,42, la conoscenza 40,96 contro 65,46, le arti e il giudizio su questioni aperte 44,05 contro 68,21. Il vantaggio di Karpo è concentrato esattamente nei punti in cui la capacità extra di un modello da 31B dovrebbe ripagare: contesto più lungo, più conoscenza del mondo, migliore lettura di uno stato denso.

La latenza non segue nemmeno il divario di dimensioni. Sull'hardware di riferimento del tracker — una GPU, una richiesta alla volta — Nimble v3 registra una mediana di 73,9 ms contro i 94,3 ms di Karpo. Venti millisecondi non sono un motivo per scegliere un modello, ma sono un promemoria che un adattatore 9B unito è un oggetto diverso da gestire: entra in un laptop in Q4, si carica in pochi secondi e può stare dentro un ciclo di agente per singolo passo senza una discussione sul budget GPU.

Calibrazione, dove il modello più piccolo non è soltanto più debole ma meno onesto

L'accuratezza ti dice quanto spesso la risposta principale è corretta. La calibrazione ti dice se la probabilità associata a essa può sostenere una soglia e, per un modello decisionale, è l'unico numero che conti sul piano operativo.

La scheda di Karpo riporta un errore di calibrazione atteso di 4,8 punti su 34.411 risposte: confidenza media dell'87,96% rispetto a un'accuratezza effettiva dell'83,19%. Nella fascia più alta, che raccoglie il 68,5% di tutte le risposte, risulta corretto nel 95,7% dei casi pur dichiarando il 98,7%. Eccesso di sicurezza all'estremo superiore, di circa tre punti, con la curva che per il resto segue l'andamento.

Quello di Nimble v3 è di 12,29 punti su 34.833 risposte: una confidenza dell'87,26% a fronte di un'accuratezza del 74,97%. La fascia più alta raccoglie il 67% delle risposte, dichiara il 98,6% e ha ragione nell'89,1% dei casi — una sovrastima di 9,5 punti proprio nella banda in cui una soglia esiste davvero. Più in basso, le fasce intermedie vanno ancora peggio: con un valore dichiarato di 0,85 il modello ha ragione circa il 59% delle volte. Non è un modello con una piccola deriva di calibrazione; è un modello la cui confidenza non può essere usata come soglia senza una ricalibrazione, e la documentazione della famiglia non ha mai promesso il contrario.

Leggi quei due paragrafi insieme e la conclusione onesta è più ristretta di quanto suggerisca la classifica. Karpo è migliore nelle decisioni e migliore nel sapere quanto sono buone le sue decisioni. Nimble v3 costa meno da eseguire e, nell'unica categoria che conta di più per il lavoro degli agenti, è vicino — ma se prevedi di accettare automaticamente sopra 0,9 e di inoltrare a un livello superiore sotto, trascorrerai la prima settimana a mettere a punto per Nimble una correzione che Karpo ti fornisce nella sua scheda.

Il bivio della licenza, detto senza giri di parole

Nimble v3 è CC BY-NC 4.0. Non c'è ambiguità: la scheda indica che non può essere usato per scopi commerciali. Ogni checkpoint precedente di Nimble era Apache-2.0, e il modello base è Apache-2.0, il che non cambia nulla — una base permissiva non allenta un adattatore non commerciale, e l'adattatore è dove risiede il comportamento. Il repository GitHub che contiene il codice di addestramento e curatela del progetto non dichiara alcuna licenza tramite l'API di GitHub, il che rappresenta un problema separato e per certi versi peggiore per chiunque intenda costruirci sopra.

Karpo Decision 31B è Apache-2.0 per i pesi e il codice, con i termini di Gemma 4 riportati accanto nel repository. È l'estremo permissivo dell'open, con la consueta avvertenza di Gemma secondo cui anche la ridistribuzione a valle deve riportare quei termini.

Per un quaderno di ricerca, una valutazione interna o un articolo, la distinzione è invisibile e Nimble v3 è l'opzione più economica. Per qualsiasi cosa che tocchi i ricavi — un gate di instradamento all'interno di un prodotto commerciale, un modello di triage in una pipeline a pagamento, persino uno strumento interno in un'azienda a scopo di lucro — la licenza decide il confronto prima che i 22,8 punti vengano ascoltati. Bespoke Labs ha un percorso API ospitato e un segnaposto per una variante 27B che riporta 65,33 sulla suite pubblica più vecchia, e nessuno dei due cambia i termini sull'adattatore 9B.

Servire uno dei due è un problema di routing prima ancora che un problema di modellazione

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

I modelli decisionali sono limitati per costruzione: rispondono solo alle domande che gli si pongono, non sanno scrivere, spiegare o restituire un'opzione che non hai fornito. Questo li rende la metà piccola di un pattern a due modelli, e la metà più facile da mantenere in-house. La metà generativa è quella in cui un singolo endpoint si ripaga.

OrcaRouter non esegue nessuno di questi checkpoint, e nessuno dei due avrebbe senso dietro una route chat-completions. I due modelli che invece serve si trovano un livello più in basso: Je​v 1.14 di TypeSafe, il target che l'intera board ha lo scopo di riprodurre, e il checkpoint Gem​ma 4 31B da cui è stato fine-tuned Karpo. Una sola chiave copre entrambi, i prezzi seguono il listino del provider senza nulla in più, così un cambiamento del fornitore ti raggiunge lo stesso giorno. Ciò che si addice a un decision head è il livello di routing che gli sta davanti — un DSL di routing che invia ciascuna classe di richiesta al modello che dovrebbe rispondervi, con failover dietro — così un job notturno di rescoring e una guardrail live condividono un unico contratto, mentre il modello decisionale stesso resta ovunque la sua licenza lo consenta.

Tre cose che cambierebbero questa lettura

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

Il primo è un cambio di licenza. Un adattatore Nimble utilizzabile commercialmente su una base Qwen3.5-9B, con un contratto di contesto e una temperatura dichiarata, renderebbe l'opzione 9B davvero competitiva per il gating degli agenti — il punteggio di 84.24 sugli strumenti dice che la capacità c'è già. Niente nel materiale pubblico di Bespoke Labs suggerisce che stia arrivando; il passaggio da Apache-2.0 a CC BY-NC è andato nella direzione opposta.

Il secondo è una specifica di contesto e prompt. La scheda di Nimble v3 non documenta nessuno dei due, il che significa che chiunque lo esegua sta indovinando un formato di prompt che le versioni precedenti fornivano. Un modello i cui input vengono ricostruiti dall'utente è un modello i cui numeri sono difficili da riprodurre, e l'errore di calibrazione di 12,3 punti è il tipo di cifra che migliora o peggiora a seconda di come si formula la domanda.

Il terzo è qualsiasi strumento indipendente che li legga entrambi. Il Decision Index è accurato, trasparente sul proprio metodo e onesto sulle proprie fasce di pareggio, e resta pur sempre una classifica della comunità. Il giorno in cui uno dei due modelli comparirà su Artificial Analysis accanto a un valutatore di un hyperscaler, il confronto smetterà di essere aritmetica tra due schede di fornitori e diventerà una misurazione. Non è accaduto per nessuno dei due, e finché non accadrà la posizione difendibile è quella noiosa: Apache-2.0 e meglio calibrato a 31B se puoi eseguirlo, non commerciale ed economico a 9B se non puoi, e nessun motivo per scegliere basandosi solo sul punteggio.