Una card di titolo generata intitolata 'MAI Decision 1 vs Nimble v3' con il sottotitolo 'uno scorer ospitato contro una licenza che non puoi distribuire', divisa in due pannelli arrotondati attorno a un disco 'vs'. Il pannello di sinistra, 'Microsoft-Decision-1.1', riporta la sottoriga 'ospitato, per token' e le righe '$0.042 per milione di token', 'endpoint Foundry', '67.78 su AA v2.1' e 'termini di utilizzo'; il pannello di destra, 'Bespoke-Nimble-9B-v3', riporta 'adattatore scaricabile', 'CC BY-NC 4.0', 'LoRA in cinque file', '56.88 su DI 0.2.1' e 'la tua GPU'. Un piè di pagina recita 'I due punteggi pubblicati provengono da kit di valutazione diversi, quindi non sono confrontabili'. Il logo OrcaRouter è inserito in compositing nella striscia bianca sotto l'illustrazione.
Engineering & Research

MAI Decision 1 vs Nimble v3: uno scorer hosted contro una licenza che non puoi distribuire

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

La prima cosa che separa MAI Decision 1 — il modello che Microsoft ha rilasciato a Ignite come Microsoft-Decision-1.1 — da Nimble v3, pubblicato su Hugging Face come Bespoke-Nimble-9B-v3, non è un benchmark. È una clausola di licenza. Nimble v3 è un adattatore LoRA rilasciato con licenza CC BY-NC 4.0, che la scheda del modello riassume con «non può essere utilizzato per scopi commerciali». Il modello di Microsoft è un endpoint ospitato che si noleggia per token, quindi la questione della licenza non si pone mai e anche quella del self-hosting non si pone. Uno di questi puoi metterlo in un prodotto; l'altro puoi metterlo in un notebook. Tutto il resto in questo confronto deriva da quella biforcazione, compreso perché i loro punteggi pubblicati non vadano sottratti l'uno dall'altro.

Che cosa ciascuno è realmente, meccanicamente

Microsoft-Decision-1.1 è un deployment Foundry, attivo dal 17 novembre 2026, post-addestrato da Microsoft su Gemma 4 26B-A4B. Si inviano uno stato e domande tipizzate a un endpoint decisionale, si ricevono indietro probabilità calibrate e l'addebito è di $0,042 per milione di token di input su Global Standard oppure $0,05 nelle zone dati UE e APAC. Non sono disponibili download, percorsi di fine-tuning né opzioni di self-hosting nella scheda del modello. La latenza è di 123 ms per attività secondo la misurazione di Artificial Analysis; il contesto è di 32.768 token di input; legge sia immagini sia testo.

Nimble v3 è un adattatore PEFT da cinque file per Qwen3.5-9B, caricato il 30 settembre 2026 senza alcun annuncio, post sul blog o nota di rilascio da parte di Bespoke Labs. Il repository contiene un README, una configurazione dell'adattatore, i pesi dell'adattatore, una configurazione dello schema e un file gitattributes — questo è l'elenco completo. Il modello di base, il motore di inferenza e la GPU te li porti tu. Il repository del dataset complementare contiene l'intera esecuzione del Decision Index, il motore e le istruzioni di riproduzione, il che è più trasparenza di quanto offrano la maggior parte dei fornitori e anche più lavoro di quanto si aspettino la maggior parte degli acquirenti.

• Pesi — solo ospitati, nessun download rispetto a un adattatore BF16 da 20 GB che assembli su Qwen3.5-9B

• Licenza — Termini di servizio Microsoft vs CC BY-NC 4.0, non commerciale, con una base Apache 2.0 che non allenta la restrizione dell'adattatore

• Interfaccia — un endpoint decisionale con domande tipizzate e probabilità rispetto al tuo codice di inferenza, fissato ai file di prompt e ai token di codice opzione tramite hash

• Contesto — 32.768 token vs 32.768 token, con le richieste di dimensioni eccessive rifiutate anziché troncate

• Immagini — fino a 8 per domanda, da 280 a 1.568 pixel per lato rispetto al solo testo

• Prezzo — $0.042 per milione di token, solo input rispetto a hardware, elettricità e un ingegnere

• Punteggio pubblicato — 67,78 su AA Decision Index v2.1 rispetto a 56,88 su Decision Index 0.2.1

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

I due numeri non sono sullo stesso righello

Quell'ultimo punto elenco è quello che viene strumentalizzato nei post comparativi, quindi vale la pena essere schietti: 56,88 e 67,78 non sono comparabili. Il dato di Nimble v3 proviene da Decision Index 0.2.1, il kit aperto che Bespoke Labs gestisce in prima persona, sul proprio harness, con la propria implementazione di riferimento. Il 67,78 di Microsoft proviene da Artificial Analysis Decision Index v2.1, una diversa composizione di valutazioni con pesi diversi, una diversa funzione di punteggio e un diverso insieme di modelli in campo.

Entrambe le board misurano la stessa famiglia di comportamenti — scegli tra opzioni limitate e vieni valutato sull'accuratezza scontata in base a quanto la tua confidenza dichiarata ha mancato il bersaglio. Ma un composito ponderato di sei valutazioni con un termine di simmetria non è lo stesso strumento di un'esecuzione con kit pubblico, e sottrarre l'uno dall'altro produce un "divario" di 10,9 punti che è in gran parte una differenza di metri di misura. Chiunque ti mostri quella sottrazione è o negligente o ti sta vendendo qualcosa.

Ciò che si può dire senza esagerare è indicativo. La scheda di Nimble v3 riporta un solo numero e nessuna suddivisione, in una famiglia il cui checkpoint precedente pubblicava una tabella molto più completa: 90,12% di concordanza con le etichette di riferimento contro il 93,21% di Jev 1.13.0 su 324 coppie contrastive tenute da parte, e 75,7% contro 76,0% su 3.880 decisioni etichettate da esseri umani in tredici set di dati pubblici. Quelli sono i numeri del primo Nimble, non di v3, e il progetto li indica come proprie misurazioni. Decision 1.1, al contrario, riporta un 67,78 indipendente con sei punteggi parziali pubblicati e un Brier di 0,160 su una classifica che ordina allo stesso modo anche i suoi concorrenti. Se ti serve un numero che puoi difendere in una revisione degli acquisti, solo uno di questi te ne fornisce uno.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

La licenza è tutta la decisione, ed è peggio di quanto sembri.

CC BY-NC 4.0 sull'adattatore significa nessun uso commerciale. Non è una zona grigia che puoi aggirare ragionandoci sopra, e l'ovvia soluzione alternativa non funziona: il modello di base, Qwen3.5-9B, è Apache 2.0, e la scheda di Bespoke lo dice esplicitamente — ma una base permissiva non allenta un adattatore non commerciale, ed è nell'adattatore che risiede il comportamento decisionale. Rimuovi l'adattatore e ottieni un modello generale da 9B che non è affatto un modello decisionale.

C'è un secondo problema, meno discusso. Il repository GitHub del progetto Nimble non riporta alcuna licenza tramite l'API, il che significa che anche il codice di addestramento e curatela non ha termini dichiarati. Se il vostro team legale chiede cosa potete fare con la pipeline che ha prodotto i pesi, la risposta è che il progetto non si è espresso.

Mettilo a confronto con il modello di Microsoft: non puoi scaricarlo, quindi non puoi farne un fork, ma non puoi nemmeno costruire accidentalmente un prodotto su una licenza che vieta il prodotto. Per un team che deve scegliere tra i due, l'inquadramento pratico è che uno è un acquisto e l'altro è un artefatto di ricerca. Se il carico di lavoro è commerciale, il confronto finisce qui e il modello ospitato vince per impostazione predefinita. Se non lo è — un ambiente di valutazione interno, uno studio accademico, un prototipo che intendi sostituire — allora l'adattatore è davvero interessante e il suo ingombro di 20 GB significa che gira su una singola GPU che potresti già possedere.

La realtà del deployment su ciascun lato

Eseguire correttamente Nimble v3 non significa semplicemente caricare l'adattatore e conversare con esso. La scheda del dataset è esplicita: il motore costruisce i prompt che la configurazione dello schema fissa tramite hash e legge ogni richiesta con il pattern di attenzione con cui il modello è stato addestrato; caricare i pesi come un normale modello di chat, o generare testo, non riproduce le sue risposte. Il motore rifiuta di caricarsi se i file dei prompt o i token dei codici di opzione differiscono da quelli dell'addestramento. Servono CUDA, BF16, torch 2.8, transformers 5.17.0, peft e due kernel di attenzione; le richieste oltre il limite di contesto vengono rifiutate anziché accorciate.

Si tratta di un impegno ingegneristico concreto e ti offre qualcosa che il modello hosted non può darti: la possibilità di funzionare senza traffico di rete in uscita, sul tuo hardware, con l'opzione di ispezionare ogni prompt. Per gli ambienti regolamentati in cui una chiamata al modello non può uscire dall'edificio, è l'unico dei due a essere anche solo candidabile — e la licenza non commerciale potrebbe comunque escluderlo, ed è questa la trappola.

Dal lato Microsoft il costo è diverso e inferiore. Una distribuzione Foundry, un endpoint, un nome di distribuzione, una chiave o un token Entra. Colloca la risorsa Foundry nella stessa posizione della tua applicazione se la latenza è importante; usa una distribuzione a zona dati se l'inferenza deve rimanere all'interno della regione, a $0,05 per milione di token anziché $0,042. La tua integrazione è una chiamata HTTPS con un corpo JSON, e la struttura della risposta è costituita da probabilità a cui applichi una soglia.

• Tempo alla prima chiamata — meno di un'ora su Foundry rispetto a una configurazione GPU, una toolchain bloccata e un'esecuzione di riproduzione

• Modalità di guasto — un limite di frequenza o un'interruzione regionale rispetto a un CUDA OOM o a una mancata corrispondenza della versione del kernel

• Percorso di aggiornamento — nessuno: il fornitore rilascia una nuova versione rispetto a un nuovo tag dell'adattatore che puoi fissare o ignorare

• Via d'uscita — nessuna, solo in hosting vs i pesi restano dove sono, soggetto alla licenza

Dove il successore complica la storia

Nimble v3 non è il modello attuale di Bespoke Labs, e questo è importante per chiunque lo stia valutando ora. Nimble-v4-max, caricato il 3 novembre 2026, è un fine-tuning completo di Qwen3.8-27B anziché un adattatore, pubblicato con una cronologia dei tag e una tabella di benchmark: 72,74 su Decision Index 0.3 public, in aumento rispetto a 68,46 in v4.0, su 43 benchmark i cui punteggi per singolo benchmark sono forniti in un file JSON. Richiede circa 55 GB in BF16 e una GPU da 80 GB. È inoltre CC BY-NC 4.0.

La lettura onesta di Nimble v3 oggi è che si tratta della generazione precedente di una linea che si è già evoluta due volte, e il suo unico punteggio pubblicato si riferisce a una versione del kit che il modello attuale ha lasciato alle spalle. Confrontare il prodotto di punta ospitato di un fornitore, vecchio di tre settimane, con un adattatore caricato in sordina e vecchio di due revisioni non è un confronto ad armi pari su nessuno dei due assi. La questione di prodotto è davvero Microsoft-Decision-1.1 contro Nimble-v4-max, e anche lì la risposta sulla licenza resta invariata.

Una chiave, quando stai ancora decidendo

Nessuno dei due modelli è nel catalogo di OrcaRouter, e questo pezzo non intende suggerire il contrario: Microsoft-Decision-1.1 è disponibile solo su Foundry, e un adapter CC BY-NC non è qualcosa che un router commerciale possa servire. Ciò che il catalogo offre è l'ecosistema circostante, ed è proprio da lì che parte la maggior parte delle valutazioni.

L'ambiente circostante è ancora utile, perché entrambe le parti di questo confronto si definiscono rispetto allo stesso rivale. Jev 1.14 è quel rivale: Microsoft-Decision-1.1 lo batte di 1,55 punti sulla classifica indipendente, e il checkpoint precedente di Bespoke si confrontava con Jev 1.13.0 nel proprio README. Jev 1.14 risponde a 0,042 $ per milione di token in entrata e in uscita. Il modello di base Gemma 4 26B A4B, su cui Microsoft ha eseguito il post-training, è instradabile a 0,25 $ per milione di token in input e 2,90 $ in output. Metti J​ev e un modello generale sul tuo traffico etichettato dietro un unico endpoint, con failover automatico, e scopri in un pomeriggio se un modello decisionale si guadagna il suo posto nel percorso — prima di un ciclo di approvvigionamento e prima di acquistare una GPU. Se lo fa, il router resta davanti a qualunque modello decisionale tu distribuisca, così il limite di richieste di un fornitore diventa un nuovo instradamento anziché un incidente.

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

Quello che quel harness non ti dirà è come si comporta Decision 1.1 stesso sui tuoi dati. Per questo hai bisogno di un deployment Foundry e delle tue etichette, e non ci sono scorciatoie per l'etichettatura.

Come scegliere

Scegliete Microsoft-Decision-1.1 se il carico di lavoro è commerciale, se volete un punteggio calibrato potete rivolgervi a un comitato indipendente, se avete bisogno di input di immagini o se preferite noleggiare 123 ms invece di possedere una pipeline GPU. È il caso della maggior parte dei team.

Considera Nimble v3 solo se tutte e tre queste condizioni sono soddisfatte: l'uso è non commerciale, la chiamata al modello non può uscire dalla tua infrastruttura e sei pronto a eseguire il motore del progetto stesso anziché un loader generico. Se anche una sola fallisce, la licenza o l'ingegneria hanno già deciso per te — e se oggi stai scegliendo un Nimble, guarda prima a Nimble-v4-max, perché l'unico punteggio pubblicato di v3 è il numero più vecchio del confronto.

Ciò a cui bisogna resistere è la tabella ordinata. Un 56,88 contro un 67,78 sembra un verdetto e non lo è; sono due kit diversi, due età diverse e due licenze diverse travestite da corsa di cavalli. Il modello che viene distribuito nel tuo prodotto è quello ospitato, e il modello che gira nel tuo laboratorio è quello aperto — questa è la vera divisione, e nessun benchmark la sposta.